robots.txt 爬虫索引规则
文件必须命名为 robots.txt。 网站只能有 1 个 robots.txt 文件。
基本结构
示例
User-agent: *
Allow: /lp
Disallow: /api/
Sitemap: https://www.youtube.com/sitemaps/sitemap.xml
说明
User-agent 爬虫、搜索引擎,* 表示所有 Allow 允许 Disallow 不允许 Sitemap 网站地图
参考
本文采用 CC BY-NC-SA 4.0方式授权。
转载请注明出处和本文链接,说明是否进行修改,不得用于商业用途,使用相同方式共享。