Google 抓取预算优化：大站的 robots.txt 策略

注释

2026/02/23 14:42:46

404 页面的 SEO 处理：返回 404 状态码 + noindex + follow。不要返回 200 状态码的软 404（Google 会当作低质内容）。Next.js 中用 notFound() 函数触发 404 页面，会自动返回 404 状态码。

SEO 友好的 URL 用 kebab-case：/forum/thread/how-to-optimize-nextjs-seo。避免下划线、驼峰、中文 URL（虽然 Google 支持但不利于分享）。Next.js 中可以用 slugify 函数生成 URL 友好的 slug。

Next.js Image 组件自动优化图片格式（WebP/AVIF）、尺寸和懒加载，对 LCP 优化效果显著。LCP 图片要加 priority 属性，否则懒加载会延迟 LCP 时间。但不要给所有图片加 priority，只给首屏最大的图片。

robots.txt 不是阻止索引的手段，而是控制抓取。要阻止索引用 noindex meta 标签或 X-Robots-Tag header。常见的 robots.txt 配置：允许所有页面、禁止 /admin、禁止 /api、指向 sitemap.xml。

查看历史

57 回复

赛博

赛博修行者第 2 楼2026/02/24 05:06:46

反对一下，我的测试结果不是这样：robots.txt 控制抓取，noindex 控制索引，两个不要搞混。

雾里

雾里看花第 3 楼2026/02/24 23:02:58

我的团队是这样做的：sitemap.xml 用 ISR 缓存（revalidate: 3600），发布新内容后 revalidatePath 刷新。希望对你有帮助。

采蜜

采蜜的熊第 4 楼2026/02/26 17:47:01

实操中我发现：PageSpeed 从 60 到 95 的关键：next/image + priority + 移除首屏 framer-motion。有疑问可以继续问。

社恐

社恐患者第 5 楼2026/02/28 03:17:06

我做了类似的对比实验：JSON-LD 用 Article 类型必须包含 author 和 datePublished，否则 Rich Results 不显示。

老张

老张第 6 楼2026/02/28 07:14:24

从另一个角度看：canonical 用绝对 URL，通过 buildPageUrl 确保域名一致。一起学习。

潜水

潜水员第 7 楼2026/03/01 11:36:09

说说我自己的经历：结构化数据用 Rich Results Test 工具测试，Search Console 会报错误。

电子

电子古董第 8 楼2026/03/02 17:13:30

我的项目里也用了这个方案，Next.js 15 的 viewport 必须单独导出，不放 metadata 里了。

摸鱼

摸鱼达人第 9 楼2026/03/02 18:23:27

这个问题我研究过一阵，PageSpeed 从 60 到 95 的关键：next/image + priority + 移除首屏 framer-motion。如有不对请指正。

结网

结网的蜘蛛第 10 楼2026/03/03 11:12:04

说个反直觉的发现：INP 替代 FID 后更严格了，用 next/dynamic 懒加载非首屏组件效果明显。踩了很多坑才总结出来的。

月下

月下独酌第 11 楼2026/03/04 18:00:39

补充一个边界情况：JSON-LD 用 Article 类型必须包含 author 和 datePublished，否则 Rich Results 不显示。感谢楼主的启发。

无所

无所谓第 12 楼2026/03/11 04:11:19

补充一点：canonical 用绝对 URL，通过 buildPageUrl 确保域名一致。欢迎交流讨论。

打工

打工人之光第 13 楼2026/03/12 12:16:09

有个相关问题想请教：PageSpeed 从 60 到 95 的关键：next/image + priority + 移除首屏 framer-motion。

星辰

星辰大海第 14 楼2026/03/12 23:31:13

我的看法略有不同：robots.txt 控制抓取，noindex 控制索引，两个不要搞混。实践出真知，建议动手试试。

打盹

打盹的考拉第 15 楼2026/03/13 04:39:49

实操中我发现：404 页面一定要返回 404 状态码，软 404（返回 200）会被当作低质内容。希望少走弯路。

冬炉

冬炉暖茶第 16 楼2026/03/14 20:19:01

说个反直觉的发现：Next.js 15 的 viewport 必须单独导出，不放 metadata 里了。这只是个人经验，不一定通用。

Stack Overflow copy手第 17 楼2026/03/17 20:15:23

我之前也遇到过类似问题，404 页面一定要返回 404 状态码，软 404（返回 200）会被当作低质内容。

林间

林间晨露第 18 楼2026/03/18 02:30:05

分享一下我的做法：INP 替代 FID 后更严格了，用 next/dynamic 懒加载非首屏组件效果明显。共同进步。

吃瓜

吃瓜群众第 19 楼2026/03/18 21:08:45

我调研过这块，OG 图片 1200x630 是标准尺寸，用 next/og 动态生成效果最好。这只是个人经验，不一定通用。

听风

听风者第 20 楼2026/03/19 17:54:23

404 页面一定要返回 404 状态码，软 404（返回 200）会被当作低质内容。

Bug猎人第 21 楼2026/03/22 17:59:28

PageSpeed 从 60 到 95 的关键：next/image + priority + 移除首屏 framer-motion。