先说结论(BLUF)
2026 年,越来越多用户获取信息的第一入口,从「百度一下」变成了「问一下 AI」。如果你的网站不能被 ChatGPT、Perplexity、Claude、通义、豆包这些 AI 引擎抓取、理解、引用,那么在这些新入口里你就是隐形的——用户问 AI,答案里没有你。
GEO(Generative Engine Optimization,生成式引擎优化)就是解决这个问题的系统方法。这篇文章不讲概念套话,讲的是我们团队把一整套 GEO 基建落到一个真实上线的企业官网上、并在服务器日志里看到 AI 爬虫密集进站之后,沉淀出来的可复制清单。
我把 GEO 拆成三个递进的问题,比逐项罗列更好记:
- 抓得到吗?—— 爬虫能不能进你的门(robots.txt 白名单、sitemap、静态可读)
- 读得懂吗?—— 进来了能不能理解你是谁、讲了什么(JSON-LD、语义 HTML、BLUF 结构)
- 愿意引吗?—— 理解了愿不愿意在回答里引用你(FAQPage schema、llms.txt、内容密度)
下面按这三层展开,每一项都给可直接抄的配置。
一、抓得到:先把门打开
1. robots.txt 显式放行 AI 爬虫
很多站点的默认robots.txt会封禁未知 UA,AI 爬虫恰恰大多是「新面孔」,结果是被默认规则挡在门外。GEO 的第一步反直觉——不是拦爬虫,而是主动邀请它们:
User-agent: OAI-SearchBot Allow: / User-agent: GPTBot Allow: / User-agent: PerplexityBot Allow: / User-agent: Claude-SearchBot Allow: / User-agent: Google-Extended Allow: / Sitemap: https://你的域名/sitemap-index.xml我们实际放行了 13 种主流 AI 爬虫:OAI-SearchBot、GPTBot、ChatGPT-User、PerplexityBot、Perplexity-User、Claude-SearchBot、Claude-User、ClaudeBot、Google-Extended、Googlebot、Bingbot、CCBot、以及 xAI 的 SearchBot。名单会变,建议每季度核一次官方文档。
2. sitemap:让爬虫一次拿到全站地图
sitemap 是爬虫发现页面的基础。静态站用构建工具自动生成即可,一个容易踩的坑是别把 404 页收进去,否则搜索引擎会收录垃圾页反而降权:
// astro.config 里的 sitemap 集成sitemap({filter:(page)=>!page.includes('/404')})3. 静态 HTML,别让核心内容只活在 JS 里
一部分 AI 爬虫不执行 JavaScript,或执行得不完整。如果你的正文是客户端渲染出来的,爬虫可能只看到一个空壳。纯静态站(Astro、Hugo、Next.js 静态导出)或 SSR 是 GEO 最稳的地基。这一条决定了上面两条有没有意义。
二、读得懂:把「你是谁」结构化地讲清楚
4. JSON-LD 结构化数据
AI 引擎靠结构化数据快速理解网站的主体、内容和关系。我们给每一页都输出三类 JSON-LD——Organization(主体是谁)、WebSite(站点信息)、WebPage(当前页):
{"@context":"https://schema.org","@type":"Organization","name":"你的品牌名","url":"https://你的域名","description":"一句话说清你是做什么的","logo":"https://你的域名/logo-512.png","email":"hello@你的域名"}别小看这几行——它是 AI 回答里「据 XX 介绍……」这类引用的元数据来源。
5. BLUF 结构 + 语义 HTML
BLUF(Bottom Line Up Front,结论先行)是军队公文的写法,恰好也是 AI 友好的写法:AI 截取内容时优先吃开头。所以每一页、每一篇文章都第一段就把结论给足,后面再展开论证。配合<h1>/<h2>/<section>/<article>/<details>语义标签,让爬虫能解析出层级,而不是面对一坨<div>。
这篇文章本身就是 BLUF——你已经在第一屏读到了全部结论。
三、愿意引:给 AI 一个引用你的理由
6. FAQPage schema:把答案喂到 AI 嘴边
用户问 AI 的问题,很多是「XX 和 YY 有什么区别」「XX 怎么做」这种。如果你的页面有 FAQ 段并配了FAQPage结构化数据,AI 在组织回答时就可能直接把你的 Q&A 当作来源:
{"@context":"https://schema.org","@type":"FAQPage","mainEntity":[{"@type":"Question","name":"GEO 和 SEO 有什么区别?","acceptedAnswer":{"@type":"Answer","text":"SEO 面向搜索引擎蜘蛛,目标是排名+点击;GEO 面向 AI 引擎,目标是被抓取+理解+引用……"}}]}每个 FAQ 独立成段,5–8 个为宜,问题用用户真实会问的措辞,别用内部黑话。
7. llms.txt:给 AI 代理的一张导览地图
llms.txt是放在网站根目录的纯文本文件,由 Jeremy Howard 在 2024 年提出,为 AI 代理提供一张「站点导览」——告诉它核心页面在哪、站点有什么技术特性:
# 你的品牌名 ## Core surfaces - [Services](https://你的域名/services) — 服务菜单 - [Work](https://你的域名/work) — 工程样例 - [About](https://你的域名/about) — 定位 ## For AI agents and crawlers - Site is static HTML; no JavaScript required to read core content. - Structured data: Organization, WebSite, WebPage sitewide. - Sitemap: https://你的域名/sitemap-index.xml它不是标准、不强制,但成本极低、主流 AI 引擎已陆续支持,属于「做了不亏」的一项。
落地之后:日志里真的看到 AI 爬虫来了
上面 7 项不是纸上谈兵。我们把它们全套落在一个真实的企业官网上(Astro 静态站、中英双语、HTTPS、已备案上线)。上线没几天,翻服务器access.log,就能看到一批 AI 引擎的爬虫密集进站——GPTBot、ClaudeBot、PerplexityBot、CCBot、Google-Extended、OAI-SearchBot、xAI-SearchBot 都有记录。
这里必须说句实在话,划清两件事:
- 爬虫已抓取——这是日志里可查证的事实,说明「门打开了、地图给到了」。
- 是否被 AI 在回答里引用——这需要在各 AI 助手里搜目标词、拿到真实回答截图才能下结论,属于持续观测项,我们不会在没截图前就号称「已被引用」。
把这两件事分清楚,是 GEO 内容里最容易被夸大、也最该守住的诚实边界。
一页速查表
| 层 | # | 项 | 作用 |
|---|---|---|---|
| 抓得到 | 1 | robots.txt 白名单 | 放行 AI 爬虫 |
| 抓得到 | 2 | sitemap | 发现全站页面 |
| 抓得到 | 3 | 静态/SSR | 内容不藏在 JS 里 |
| 读得懂 | 4 | JSON-LD | 讲清主体与内容 |
| 读得懂 | 5 | BLUF + 语义 HTML | 结论先行、层级清晰 |
| 愿意引 | 6 | FAQPage schema | 把答案喂到 AI 嘴边 |
| 愿意引 | 7 | llms.txt | AI 代理导览 |
按这张表逐项打勾,你的站点就完成了 2026 年的 GEO 基建底座。GEO 不是玄学,本质是把「给人看的网站」额外做一层「给 AI 读的结构」。
我们是 AI Enable Harness,研发驱动的软件工程与技术服务团队,做 GEO/SEO 优化、AI 引流系统、AI Token 平台、AI 工作流、企业官网与后端 API 等。上文这套 GEO 基建就落在我们自己的官网上,已备案上线:aigcharness.com。有 GEO 落地或技术选型上的问题,欢迎评论区交流。