站点 SEO / LLM 设置 — 使用说明
功能是什么
在 自定义域名 上，单独配置该域名如何被 搜索引擎 抓取，以及是否对 大模型 / AI 爬虫 开放结构化说明与 Markdown 形式的内容。
同一站点若绑定多个域名，每个域名需要各自配置，互不影响。
同一站点若绑定多个域名，每个域名需要各自配置，互不影响。
页面说明（与后台一致）：通过配置
robots.txt 控制搜索引擎收录；开启「LLM Markdown 访问」后，AI 可通过 llms.txt 与 .md 后缀获取站点与页面内容。如何进入
按后台导航进入（与贵方产品路径一致即可），例如：
【应用管理】→【域名管理】→ 选择域名 →【配置】→ 页面中的「SEO 设置」区块
该区块会展示 收录状态、LLM Markdown 访问、
robots.txt 预览，以及 「修改配置」 入口。
收录状态（robots.txt）
收录状态 决定访客域名根路径下的
/robots.txt 如何生成，爬虫会依此判断是否抓取站点。选项 | 含义（概要） |
|---|---|
关闭收录 | 全站不欢迎抓取（等价于对全站 Disallow）。适合暂不对外曝光、或只想完全关闭爬虫的场景。 |
开启收录 | 使用系统预设规则：在允许站点地图、部分公开路径的前提下，屏蔽后台等 /-/ 路径，并声明 Sitemap 地址，便于搜索引擎发现页面。 |
自定义 | 在系统固定的 前半段 与 后半段 规则之间，插入你填写的 自定义 robots.txt 片段（有长度上限，当前模型校验为最多 500 字符）。最终生效内容 = 固定前缀 + 你的自定义 + 固定后缀（页面上会以多块只读区 + 可编辑区展示）。 |
说明：
robots.txt 是建议性协议，恶意爬虫可能不遵守；合规搜索引擎与多数正规机器人会参考它。后台页内通常附有「什么是 robots.txt」外链供延伸阅读。LLM Markdown 访问
区块标题为 「开启 LLM Markdown 访问」，通过开关控制（界面显示 未启用 / 已开启）。
开启后：
- 可通过
https://你的域名/llms.txt与https://你的域名/llms-full.txt（后台会显示可点击的访问地址）获取面向 AI 的站点结构说明类文本。 - AI 还可通过 在页面 URL 末尾加
.md获取对应页面的 Markdown 内容（与页面内提示一致）。
关闭后： 上述能力应对外不可用（具体 HTTP 表现以实现为准，一般为不可访问或 404）。
与收录状态的关系： SEO 收录与 LLM 访问是 两项独立配置，可按需组合（例如：限制搜索引擎收录但仍为 LLM 开通道，或相反——以业务合规要求为准）。
修改与保存流程
- 在 SEO 区块点击 「修改配置」，进入编辑表单。
- 选择 收录状态，若为 自定义，在中间文本框填写自定义规则；按需打开或关闭 LLM Markdown 访问。
- 点击 「保存设置」 提交；可点击 「取消」 放弃修改并返回展示态。
保存后，公开域名上的
/robots.txt（以及开启 LLM 时的 /llms.txt 等）会按新配置生效；若 CDN 或浏览器有缓存，可能需要稍候或刷新后再验证。自定义 robots.txt 的编写提示
- 仅中间 可编辑区域 由你填写；上下只读部分由系统拼接，不要在自定义区重复整份文件头尾，除非你真的需要重复声明（一般不需要）。
- 常用指令：
User-agent、Allow、Disallow、Sitemap等；路径前缀需与实际站点 URL 结构一致。 - 注意 500 字符 上限；尽量简洁、可维护。
- 修改后务必在后台预览整份
robots.txt，并用浏览器或站长工具访问线上/robots.txt复核。
常见问题（简要）
- 为什么新建域名默认像「关闭收录」？ 模型默认状态为
closed（关闭收录），需你显式改为开启或自定义。 - 改完多久生效？ 以请求打到应用为准；若前有代理缓存，以缓存策略为准。
- LLM 开关关了还能访问
.md吗？ 应以当前版本实现为准；设计上开关用于控制 LLM 相关对外能力，请以线上实测或官方说明为准。