它到底是什么
llms.txt 是 2024 年提出的一种 Markdown 文件建议,放在网站根目录,用简短的标题、摘要和链接告诉大模型“这个站点有什么、从哪里开始读”。它更像一份给 AI 看的站点导读,而不是技术协议。
它没有成为 W3C、IETF 或主流搜索引擎的正式标准。不同厂商是否读取、如何读取,没有统一承诺。
它不是什么
- 不是 robots.txt 的替代品:抓取许可和内容导读是两件事
- 不是排名因素:没有公开证据表明它直接影响搜索排名
- 不是收录开关:写了不代表会被读取,不写也不代表一定不被读取
- 不是内容质量的替代:空洞的链接列表不会让答案更有依据
哪些情况下值得做
站点大、文档多、产品线复杂、页面层级深,或者你希望给 AI 一个清晰的入口时,llms.txt 的性价比比较高。它尤其适合文档站、开发者工具、产品目录和多语言站点。
如果站点只有几页,先把每页的事实、实体和内部链接做好,收益通常更直接。
怎么写才算合格
一个实用的结构是:H1 写站点名,blockquote 写一句话定位,正文按主题分组,链接用绝对 URL,每行加一句说明。不要把所有页面堆进去,只放最值得被引用的入口。
# 示例品牌 B
> 面向工业采购商的认证零部件供应商,提供规格、认证和交期信息。
## 核心页面
- [产品目录](https://example.com/products): 按型号和材质分类
- [认证与测试](https://example.com/certifications): 可核验的证书与测试方法
- [选型指南](https://example.com/guides/selection): 按场景解释如何选型
## 可选
- [公司信息](https://example.com/about): 工厂位置、成立时间、联系方式
怎么验证有没有用
不要只看“我写了”。看服务器日志里是否有对应爬虫请求,观察品牌词搜索、直接访问、AI 来源 referral 和固定问题集的提及/引用变化。
如果没有任何抓取或引用变化,先回到抓取、实体和事实块,而不是继续堆文件。
优先级建议
- 第一步:确认 AI 爬虫能访问核心页面
- 第二步:统一品牌实体和关键事实
- 第三步:把高频问题做成可引用页面
- 第四步:再补 llms.txt 和 Schema
常见问题
写了 llms.txt 会不会被惩罚?
不会,但也不保证被使用。它是公开的文本文件,风险很低;真正需要避免的是用空泛内容冒充事实。
Google 会用吗?
Google 方面曾公开表示搜索不会使用 llms.txt。它可能被其他工具或实验性爬虫读取,但不应把它当作 Google 的排名手段。
需要 llms-full.txt 吗?
只有在你确实有大量高质量文档、且希望提供完整上下文时才考虑。大多数站点先做好核心页面即可。
先拿到体检单,再决定修什么。
输入一个域名,生成 AI 可见性基线、答案缺口和 P0/P1/P2 修复清单;样例已匿名。