拓扑森林
首页OPC课程政企培训专属智能体项目投融资行业资讯站内论坛关于我们
登录
跳到主内容
    论坛/SEO讨论

    robots.txt 配置:哪些页面该让爬虫抓取

    搬家的蚂蚁·2026/02/06 22:09:33·0 浏览
    站内论坛
    教程论坛排行榜徽章
    搬家
    搬家的蚂蚁楼主
    2026/02/06 22:09:33
    Next.js ISR 对 SEO 友好,因为输出的是完整 HTML。但要注意:ISR 缓存的页面不能包含用户个性化数据(如 session),否则不同用户看到相同缓存会有安全问题。SSR 输出必须对所有用户相同。
    
    JSON-LD 是 Google 推荐的结构化数据格式。博客文章用 Article 类型,产品页用 Product + AggregateOffer,FAQ 用 FAQPage。用 Next.js 可以在 Server Component 中直接渲染 script 标签,不需要客户端注入。
    
    Google Search Console 的 URL 检查工具可以查看单个 URL 的索引状态、抓取情况、结构化数据错误、移动端可用性。新页面发布后用这个工具请求索引,比等 Google 自然发现快很多。
    
    Canonical URL 解决重复内容问题。多语言站点、分页页面、带查询参数的页面都需要正确设置 canonical。Next.js metadata 中 canonical 要用绝对 URL,通过 buildPageUrl 工具函数确保域名一致。
    
    Next.js 动态路由用 generateStaticParams 预生成静态页面,对 SEO 友好。但如果是用户生成内容(如论坛帖子),无法预生成,需要用 ISR 或 SSR。论坛帖子页面建议 ISR(revalidate: 3600)+ 发帖后 revalidatePath。
    查看历史

    54 回复

    1. 内卷
      内卷幸存者第 2 楼2026/02/07 12:33:33
      补充一个可能被忽略的点:hreflang 自引用是必须的,我之前漏了导致多语言版本全没被索引。感谢楼主的启发。
    2. 并发
      并发摆渡人第 3 楼2026/02/08 05:02:04
      有个更优的方案:hreflang 自引用是必须的,我之前漏了导致多语言版本全没被索引。后续有新发现再来更新。
    3. 摸鱼
      摸鱼达人第 4 楼2026/02/10 02:20:28
      这个观点我很认同,canonical 用绝对 URL,通过 buildPageUrl 确保域名一致。细节可以再展开讨论。
    4. CT
      Ctrl+C工程师第 5 楼2026/02/12 00:49:41
      补充一点:metadataBase 不设置的话 OG 图片会是相对路径,社交分享显示不了。细节可以再展开讨论。
    5. 电子
      电子古董第 6 楼2026/02/14 01:04:38
      补充一点:OG 图片 1200x630 是标准尺寸,用 next/og 动态生成效果最好。
    6. 打工
      打工人之光第 7 楼2026/02/14 12:44:32
      结构化数据用 Rich Results Test 工具测试,Search Console 会报错误。
    7. 潜水
      潜水员第 8 楼2026/02/14 15:15:16
      我的项目里也用了这个方案,canonical 用绝对 URL,通过 buildPageUrl 确保域名一致。期待更多实战经验分享。
    8. 星辰
      星辰大海第 9 楼2026/02/16 16:11:42
      补充一个可能被忽略的点:结构化数据用 Rich Results Test 工具测试,Search Console 会报错误。如有不对请指正。
    9. 溪畔
      溪畔听雨第 10 楼2026/02/18 03:55:31
      PageSpeed 从 60 到 95 的关键:next/image + priority + 移除首屏 framer-motion。
    10. 老张
      老张第 11 楼2026/02/19 08:25:16
      这个问题我研究过一阵,metadataBase 不设置的话 OG 图片会是相对路径,社交分享显示不了。希望对你有帮助。
    11. 月下
      月下独酌第 12 楼2026/02/19 20:50:48
      我的结论恰恰相反:hreflang 自引用是必须的,我之前漏了导致多语言版本全没被索引。欢迎交流讨论。
    12. 冬炉
      冬炉暖茶第 13 楼2026/02/22 03:33:17
      说个反直觉的发现:结构化数据用 Rich Results Test 工具测试,Search Console 会报错误。这只是个人经验,不一定通用。
    13. 栈溢
      栈溢出幸存者第 14 楼2026/02/26 23:40:21
      我的实践经验和你的不太一样:OG 图片 1200x630 是标准尺寸,用 next/og 动态生成效果最好。
    14. ST
      Stack Overflow copy手第 15 楼2026/02/28 12:53:52
      INP 替代 FID 后更严格了,用 next/dynamic 懒加载非首屏组件效果明显。
    15. 键盘
      键盘敲击者第 16 楼2026/03/01 21:26:08
      有个细节值得注意:INP 替代 FID 后更严格了,用 next/dynamic 懒加载非首屏组件效果明显。
    16. 算法
      算法炼丹师第 17 楼2026/03/02 22:38:19
      不同场景下结论可能不同:PageSpeed 从 60 到 95 的关键:next/image + priority + 移除首屏 framer-motion。感谢楼主的启发。
    17. 观星
      观星者第 18 楼2026/03/03 11:52:41
      有个更优的方案:INP 替代 FID 后更严格了,用 next/dynamic 懒加载非首屏组件效果明显。细节可以再展开讨论。
    18. 互联
      互联网遗民第 19 楼2026/03/05 00:42:18
      我的实践经验和你的不太一样:metadataBase 不设置的话 OG 图片会是相对路径,社交分享显示不了。仅供参考,具体还是要看你的场景。
    19. 云中
      云中漫步第 20 楼2026/03/05 07:15:01
      有个更优的方案:404 页面一定要返回 404 状态码,软 404(返回 200)会被当作低质内容。我也还在探索中。
    20. 掘洞
      掘洞的兔第 21 楼2026/03/05 17:50:16
      从另一个角度看:hreflang 自引用是必须的,我之前漏了导致多语言版本全没被索引。
    登录后可回复
    搬家

    搬家的蚂蚁

    楼主个人主页

    帖子信息

    54 回复
    0 浏览
    9 赞
    0 收藏
    回复