User-agent: * # 禁止抓取搜索结果、临时目录 Disallow: /search Disallow: /search? Disallow: /searchEngine Disallow: /searchEngine? Disallow: /downloads/ Disallow: /tmp/ # 对守规矩的爬虫稍微限速(部分搜索引擎支持) Crawl-delay: 3 # 如果有 sitemap,可以在部署后启用 # Sitemap: https://www.158jixie.com/sitemap.xml