​
LLMs.txt：AI 时代的新型网络标准解析

在当今快速发展的 AI 时代，一个新的网络标准正在悄然兴起 —— LLMs.txt。这个标准虽然简单，却可能对未来的 AI 搜索和内容理解产生深远影响。今天，让我们一起深入了解这个创新性的提案。

​
什么是 LLMs.txt？

LLMs.txt 是一个为大语言模型（LLMs）优化的网站内容标准。与面向搜索引擎的 robots.txt 和 sitemap.xml 不同，LLMs.txt 专门设计用于帮助 AI 系统更好地理解和处理网站内容。

这个标准包含两个核心文件：

  • /llms.txt：提供网站文档的精简导航视图
  • /llms-full.txt：包含完整的文档内容

​
为什么需要 LLMs.txt？

当前的 AI 系统在处理网页内容时面临几个主要挑战：

  1. 上下文窗口限制：AI 模型只能处理有限长度的文本
  2. 冗余信息干扰：HTML 页面中的导航栏、样式表等非核心内容会占用宝贵的处理空间
  3. 结构化信息缺失：传统网页格式并非针对 AI 理解优化

LLMs.txt 通过提供清晰的 Markdown 格式内容，完美解决了这些问题。

​
LLMs.txt 的结构是怎样的？

笔者博客站点的llms.txt文件示例 笔者博客站点的llms.txt文件示例

一个标准的 /llms.txt 文件结构如下：

# 项目名称
> 项目简介

项目背景和重要说明

## 核心文档
- [快速开始](url)：资源描述
- [API 参考](url)：API 文档详情

## 可选内容
- [其他资源](url)：补充信息

而 /llms-full.txt 则包含了完整的文档内容，以 Markdown 格式呈现。

​
谁在使用 LLMs.txt？

这个标准最初由 Answer.AI 的联合创始人 Jeremy Howard 提出，并迅速获得了业界关注。目前已有多家知名企业采用：

  • Mintlify（文档平台，会自动生成 llms.txt 文件）
  • Anthropic（Claude AI 开发商）
  • Cursor（AI 编程工具）

​
示例：Cursor 中的使用 LLMs.txt

Cursor 作为一款先进的 AI 编程工具，充分利用了 LLMs.txt 的优势。当用户在 Cursor 中编程时，AI 助手可以通过 LLMs.txt 快速获取和理解项目相关的文档内容。

以下是一个具体的工作流程：

  1. 文档索引：Cursor 会自动检测并索引项目中的 LLMs.txt 文件
  2. 上下文关联：在编码过程中，AI 助手能够实时关联相关文档内容
1738490448 1738490530

​
自动化生成站点的 LLMs.txt 文件

1738490763

要使用 llmstxt.firecrawl.dev 自动生成 llms.txt 文件，可以按照以下步骤操作：

    1. 访问生成器

打开浏览器，访问 llmstxt.firecrawl.dev。

    1. 输入网站 URL

在页面的输入框中输入您想要生成 llms.txt 的网站 URL。

    1. 生成文件

点击”Generate”按钮，系统将开始处理您的请求。这可能需要几分钟时间，具体取决于网站的大小和内容。

​
结语

LLMs.txt 代表了一个面向 AI 优先的文档新范式。虽然这个标准还在发展初期，但它为解决 AI 系统理解和利用网络内容提供了一个实用的解决方案。对于开发者和内容创作者来说，现在正是了解和采用这一标准的最佳时机。