llmstxt.org — AI Agent 的站点索引标准

原文:https://llmstxt.org/

#ai#web#standard

值得每个做内容站点的人关注 —— 这是 AI Agent 时代的 robots.txt。

核心想法:让 AI 爬虫一次抓全站结构和摘要,而不是每次都从首页开始爬。

格式参考:

# Site Name
> Short description

## Section 1
- [Item title](url): Item description

标准还区分了 llms.txt(精炼版)和 llms-full.txt(完整版)。