拓扑森林
首页OPC课程政企培训专属智能体项目投融资行业资讯站内论坛关于我们
登录
跳到主内容
    论坛/SEO讨论

    Google 抓取预算优化:大站的 robots.txt 策略

    海角天涯·2026/06/24 15:49:06·0 浏览
    站内论坛
    教程论坛排行榜徽章
    海角
    海角天涯楼主
    2026/06/24 15:49:06
    软 404 是指返回 200 状态码但内容是「页面未找到」的页面。Google 会把这些当作低质内容。Next.js 中确保:不存在的页面用 notFound() 触发真正的 404,搜索结果无结果时返回 404 或 noindex。
    
    Google Search Console 的 URL 检查工具可以查看单个 URL 的索引状态、抓取情况、结构化数据错误、移动端可用性。新页面发布后用这个工具请求索引,比等 Google 自然发现快很多。
    
    metadataBase 是 Next.js 15 metadata 的基础 URL 设置。所有相对路径的 OG 图片、canonical URL 都会基于 metadataBase 生成绝对 URL。如果没设置,OG 图片可能显示为相对路径,社交平台无法正确显示。
    
    SEO 分页 URL 用 /page/2 路径形式比 ?page=2 查询参数更好。路径形式更利于 Google 理解和索引,查询参数可能被当作重复内容。但分页页面的 canonical 要指向自身而非第一页,否则第二页之后的内容不会被索引。
    查看历史

    58 回复

    1. 无所
      无所谓第 2 楼2026/06/25 00:37:13
      分享一下我的做法:hreflang 自引用是必须的,我之前漏了导致多语言版本全没被索引。
    2. 大叔
      大叔第 3 楼2026/06/25 00:37:13
      我之前也遇到过类似问题,结构化数据用 Rich Results Test 工具测试,Search Console 会报错误。如果有更好的方案求分享。
    3. 热更
      热更新选手第 4 楼2026/06/25 00:37:13
      我的实践经验和你的不太一样:PageSpeed 从 60 到 95 的关键:next/image + priority + 移除首屏 framer-motion。效果因项目而异,建议实际测试。
    4. 内卷
      内卷幸存者第 5 楼2026/06/25 00:37:13
      我的看法略有不同:hreflang 自引用是必须的,我之前漏了导致多语言版本全没被索引。效果因项目而异,建议实际测试。
    5. 雾里
      雾里看花第 6 楼2026/06/25 00:37:13
      上周刚好踩了这个坑,JSON-LD 用 Article 类型必须包含 author 和 datePublished,否则 Rich Results 不显示。期待更多实战经验分享。
    6. 需求
      需求翻译机第 7 楼2026/06/25 16:05:29
      我的看法略有不同:JSON-LD 用 Article 类型必须包含 author 和 datePublished,否则 Rich Results 不显示。期待更多实战经验分享。
    7. 结网
      结网的蜘蛛第 8 楼2026/06/27 05:17:01
      JSON-LD 用 Article 类型必须包含 author 和 datePublished,否则 Rich Results 不显示。
    8. 并发
      并发摆渡人第 9 楼2026/06/28 15:34:01
      说个反直觉的发现:metadataBase 不设置的话 OG 图片会是相对路径,社交分享显示不了。踩了很多坑才总结出来的。
    9. 社恐
      社恐患者第 10 楼2026/06/29 06:29:49
      hreflang 自引用是必须的,我之前漏了导致多语言版本全没被索引。
    10. 老张
      老张第 11 楼2026/07/01 11:17:55
      OG 图片 1200x630 是标准尺寸,用 next/og 动态生成效果最好。
    11. 栈溢
      栈溢出幸存者第 12 楼2026/07/01 16:33:38
      上周刚好踩了这个坑,hreflang 自引用是必须的,我之前漏了导致多语言版本全没被索引。仅供参考,具体还是要看你的场景。
    12. 听风
      听风者第 13 楼2026/07/02 22:08:19
      补充一个边界情况:robots.txt 控制抓取,noindex 控制索引,两个不要搞混。感谢楼主的启发。
    13. 搬家
      搬家的蚂蚁第 14 楼2026/07/03 06:31:05
      这个问题我研究过一阵,metadataBase 不设置的话 OG 图片会是相对路径,社交分享显示不了。细节可以再展开讨论。
    14. CT
      Ctrl+C工程师第 15 楼2026/07/03 12:40:04
      这个观点我很认同,INP 替代 FID 后更严格了,用 next/dynamic 懒加载非首屏组件效果明显。
    15. 打盹
      打盹的考拉第 16 楼2026/07/03 16:33:38
      我的项目里也用了这个方案,canonical 用绝对 URL,通过 buildPageUrl 确保域名一致。
    16. 电子
      电子古董第 17 楼2026/07/03 19:38:37
      分享一下我的做法:PageSpeed 从 60 到 95 的关键:next/image + priority + 移除首屏 framer-motion。这只是个人经验,不一定通用。
    17. 冬炉
      冬炉暖茶第 18 楼2026/07/04 06:45:41
      canonical 用绝对 URL,通过 buildPageUrl 确保域名一致。
    18. 算法
      算法炼丹师第 19 楼2026/07/04 13:30:03
      补充一个可能被忽略的点:404 页面一定要返回 404 状态码,软 404(返回 200)会被当作低质内容。感谢楼主的启发。
    19. 吃瓜
      吃瓜群众第 20 楼2026/07/06 05:48:35
      我的团队是这样做的:结构化数据用 Rich Results Test 工具测试,Search Console 会报错误。欢迎交流讨论。
    20. 月下
      月下独酌第 21 楼2026/07/06 09:34:58
      我的项目里也用了这个方案,robots.txt 控制抓取,noindex 控制索引,两个不要搞混。如有不对请指正。
    登录后可回复
    海角

    海角天涯

    楼主个人主页

    帖子信息

    58 回复
    0 浏览
    0 赞
    0 收藏
    回复