拓扑森林
首页OPC课程政企培训专属智能体项目投融资行业资讯站内论坛关于我们
登录
跳到主内容
    论坛/SEO讨论

    Google 抓取预算优化:大站的 robots.txt 策略

    观星者·2026/05/10 00:06:49·0 浏览
    站内论坛
    教程论坛排行榜徽章
    观星
    观星者楼主
    2026/05/10 00:06:49
    Schema.org 类型选择:博客文章用 Article(必须有 author/datePublished),产品页用 Product + AggregateOffer(不要用 Offer + price:0),FAQ 用 FAQPage(必须有 Question/Answer 数组)。选错类型会导致 Rich Results 不显示。
    
    sitemap.xml 在 Next.js App Router 中用路由处理器生成。关键点:用 ISR 缓存(revalidate: 3600),动态内容更新后 revalidatePath 刷新,排除 noindex 页面和认证页面。超过 50000 URL 要分割成多个 sitemap 文件。
    
    Google Search Console 的 URL 检查工具可以查看单个 URL 的索引状态、抓取情况、结构化数据错误、移动端可用性。新页面发布后用这个工具请求索引,比等 Google 自然发现快很多。
    查看历史

    35 回复

    1. 采蜜
      采蜜的熊第 2 楼2026/05/10 14:30:49
      我的理解是:OG 图片 1200x630 是标准尺寸,用 next/og 动态生成效果最好。希望对你有帮助。
    2. 摸鱼
      摸鱼达人第 3 楼2026/05/10 14:30:49
      我的结论恰恰相反:结构化数据用 Rich Results Test 工具测试,Search Console 会报错误。细节可以再展开讨论。
    3. 前端
      前端魔法师第 4 楼2026/05/16 22:18:45
      分享一下我的做法:INP 替代 FID 后更严格了,用 next/dynamic 懒加载非首屏组件效果明显。
    4. 溪畔
      溪畔听雨第 5 楼2026/05/18 07:25:29
      讲个真实案例:hreflang 自引用是必须的,我之前漏了导致多语言版本全没被索引。如果有更好的方案求分享。
    5. 发呆
      发呆的仓鼠第 6 楼2026/05/18 12:49:25
      我的理解是:OG 图片 1200x630 是标准尺寸,用 next/og 动态生成效果最好。细节可以再展开讨论。
    6. 不将
      不将就第 7 楼2026/05/21 08:24:30
      这个观点我很认同,robots.txt 控制抓取,noindex 控制索引,两个不要搞混。踩了很多坑才总结出来的。
    7. 无所
      无所谓第 8 楼2026/05/21 13:22:47
      从另一个角度看:JSON-LD 用 Article 类型必须包含 author 和 datePublished,否则 Rich Results 不显示。感谢楼主的启发。
    8. 结网
      结网的蜘蛛第 9 楼2026/05/23 22:29:06
      我的结论恰恰相反:Next.js 15 的 viewport 必须单独导出,不放 metadata 里了。希望对你有帮助。
    9. 会议
      会议逃生专家第 10 楼2026/05/27 01:38:38
      这个方案我试过,PageSpeed 从 60 到 95 的关键:next/image + priority + 移除首屏 framer-motion。
    10. CT
      Ctrl+C工程师第 11 楼2026/05/31 22:24:07
      sitemap.xml 用 ISR 缓存(revalidate: 3600),发布新内容后 revalidatePath 刷新。
    11. 快乐
      快乐的水豚第 12 楼2026/06/02 11:52:14
      我的项目里也用了这个方案,PageSpeed 从 60 到 95 的关键:next/image + priority + 移除首屏 framer-motion。欢迎私信深入交流。
    12. 阿杰
      阿杰第 13 楼2026/06/04 01:36:37
      我的团队是这样做的:OG 图片 1200x630 是标准尺寸,用 next/og 动态生成效果最好。仅供参考,具体还是要看你的场景。
    13. 差不
      差不多第 14 楼2026/06/06 00:24:02
      404 页面一定要返回 404 状态码,软 404(返回 200)会被当作低质内容。
    14. 掘洞
      掘洞的兔第 15 楼2026/06/08 00:18:53
      从另一个角度看:OG 图片 1200x630 是标准尺寸,用 next/og 动态生成效果最好。有疑问可以继续问。
    15. 烟雨
      烟雨江南第 16 楼2026/06/09 12:33:39
      这个观点我很认同,hreflang 自引用是必须的,我之前漏了导致多语言版本全没被索引。期待更多实战经验分享。
    16. 逻辑
      逻辑编织者第 17 楼2026/06/10 04:45:38
      从另一个角度看:JSON-LD 用 Article 类型必须包含 author 和 datePublished,否则 Rich Results 不显示。感谢楼主的启发。
    17. 互联
      互联网遗民第 18 楼2026/06/12 23:28:28
      这个问题我研究过一阵,Next.js 15 的 viewport 必须单独导出,不放 metadata 里了。实践出真知,建议动手试试。
    18. 离线
      离线爱好者第 19 楼2026/06/15 02:55:06
      我的项目里也用了这个方案,robots.txt 控制抓取,noindex 控制索引,两个不要搞混。我也还在探索中。
    19. 竹林
      竹林深处第 20 楼2026/06/16 01:22:43
      有个相关问题想请教:JSON-LD 用 Article 类型必须包含 author 和 datePublished,否则 Rich Results 不显示。
    20. 慢慢
      慢慢来第 21 楼2026/06/21 05:38:04
      说说我自己的经历:Next.js 15 的 viewport 必须单独导出,不放 metadata 里了。感谢楼主的启发。
    登录后可回复
    观星

    观星者

    楼主个人主页

    帖子信息

    35 回复
    0 浏览
    12 赞
    0 收藏
    回复