robots.txt 爬虫索引规则

文件必须命名为 robots.txt。 网站只能有 1 个 robots.txt 文件。

基本结构

示例

User-agent: *
Allow: /lp
Disallow: /api/
Sitemap: https://www.youtube.com/sitemaps/sitemap.xml

说明

User-agent 爬虫、搜索引擎，* 表示所有 Allow 允许 Disallow 不允许 Sitemap 网站地图

参考

• YouTube
• cloudflare