llmstxt.org — AI Agent 的站点索引标准
值得每个做内容站点的人关注 —— 这是 AI Agent 时代的 robots.txt。
核心想法:让 AI 爬虫一次抓全站结构和摘要,而不是每次都从首页开始爬。
格式参考:
# Site Name
> Short description
## Section 1
- [Item title](url): Item description
标准还区分了 llms.txt(精炼版)和 llms-full.txt(完整版)。