robots.txt 不是阻止索引的手段，而是控制抓取。要阻止索引用 noindex meta 标签或 X-Robots-Tag header。常见的 robots.txt 配置：允许所有页面、禁止 /admin、禁止 /api、指向 sitemap.xml。 Google Search Console 的 URL 检查工具可以查看单个 URL 的索引状态、抓取情况、结构化数据错误、移动端可用性。新页面发布后用这个工具请求索引，比等 Google 自然发现快很多。 Google 抓取预算对大站很重要。优化方法：① robots.txt 禁止低价值页面 ② 用 noindex 阻止索引但不阻止抓取 ③ 优化内链结构让重要页面更易到达 ④ 删除或合并薄内容页面 ⑤ 监控 Search Console 的抓取统计。
我的项目里也用了这个方案，OG 图片 1200x630 是标准尺寸，用 next/og 动态生成效果最好。共同进步。
我的实践经验和你的不太一样：robots.txt 控制抓取，noindex 控制索引，两个不要搞混。
我之前也遇到过类似问题，PageSpeed 从 60 到 95 的关键：next/image + priority + 移除首屏 framer-motion。欢迎交流讨论。
我的理解是：404 页面一定要返回 404 状态码，软 404（返回 200）会被当作低质内容。期待更多实战经验分享。
这个观点我很认同，404 页面一定要返回 404 状态码，软 404（返回 200）会被当作低质内容。
我的项目里也用了这个方案，metadataBase 不设置的话 OG 图片会是相对路径，社交分享显示不了。我也还在探索中。
有个更优的方案：404 页面一定要返回 404 状态码，软 404（返回 200）会被当作低质内容。共同进步。
反对一下，我的测试结果不是这样：metadataBase 不设置的话 OG 图片会是相对路径，社交分享显示不了。欢迎大家补充。
说说我自己的经历：INP 替代 FID 后更严格了，用 next/dynamic 懒加载非首屏组件效果明显。我也还在探索中。
不同场景下结论可能不同：404 页面一定要返回 404 状态码，软 404（返回 200）会被当作低质内容。效果因项目而异，建议实际测试。
说说我自己的经历：OG 图片 1200x630 是标准尺寸，用 next/og 动态生成效果最好。期待更多实战经验分享。
我的理解是：robots.txt 控制抓取，noindex 控制索引，两个不要搞混。细节可以再展开讨论。
有个更优的方案：404 页面一定要返回 404 状态码，软 404（返回 200）会被当作低质内容。一起学习。
这个观点我很认同，PageSpeed 从 60 到 95 的关键：next/image + priority + 移除首屏 framer-motion。欢迎私信深入交流。
我的实践经验和你的不太一样：JSON-LD 用 Article 类型必须包含 author 和 datePublished，否则 Rich Results 不显示。希望对你有帮助。
有个细节值得注意：Next.js 15 的 viewport 必须单独导出，不放 metadata 里了。仅供参考，具体还是要看你的场景。
我的结论恰恰相反：PageSpeed 从 60 到 95 的关键：next/image + priority + 移除首屏 framer-motion。后续有新发现再来更新。
这个观点我很认同，JSON-LD 用 Article 类型必须包含 author 和 datePublished，否则 Rich Results 不显示。这只是个人经验，不一定通用。
我做了类似的对比实验：metadataBase 不设置的话 OG 图片会是相对路径，社交分享显示不了。共同进步。
我的结论恰恰相反：hreflang 自引用是必须的，我之前漏了导致多语言版本全没被索引。一起学习。