robots.txt 爬虫索引规则

文件必须命名为 robots.txt。 网站只能有 1 个 robots.txt 文件。

基本结构

示例

User-agent: *
Allow: /lp
Disallow: /api/
Sitemap: https://www.youtube.com/sitemaps/sitemap.xml

说明

User-agent 爬虫、搜索引擎，* 表示所有 Allow 允许 Disallow 不允许 Sitemap 网站地图

参考

• YouTube
• cloudflare

本文采用 CC BY-NC-SA 4.0方式授权。
转载请注明出处和本文链接，说明是否进行修改，不得用于商业用途，使用相同方式共享。