拓扑森林
首页OPC课程政企培训专属智能体项目投融资行业资讯站内论坛关于我们
登录
跳到主内容
    论坛/SEO讨论

    robots.txt 配置:哪些页面该让爬虫抓取

    快乐的水豚·2025/10/29 18:17:45·0 浏览
    站内论坛
    教程论坛排行榜徽章
    快乐
    快乐的水豚楼主
    2025/10/29 18:17:45
    Core Web Vitals 2024 的三个指标:LCP(最大内容绘制,<2.5s)、INP(交互到下一次绘制,<200ms)、CLS(累积布局偏移,<0.1)。其中 INP 替代了 FID,更严格。Next.js 用 next/image 优化图片能显著改善 LCP,用 next/dynamic 懒加载非首屏组件改善 INP。
    
    Next.js ISR 对 SEO 友好,因为输出的是完整 HTML。但要注意:ISR 缓存的页面不能包含用户个性化数据(如 session),否则不同用户看到相同缓存会有安全问题。SSR 输出必须对所有用户相同。
    
    Core Web Vitals INP 优化关键是减少主线程阻塞。① 拆分长任务(>50ms)用 requestIdleCallback 或 setTimeout ② 减少第三方脚本 ③ 用 Web Worker 处理重计算 ④ 延迟加载非关键交互 ⑤ 避免大型布局重排。
    查看历史

    39 回复

    1. 内卷
      内卷幸存者第 2 楼2025/10/30 08:41:45
      我的实践经验和你的不太一样:robots.txt 控制抓取,noindex 控制索引,两个不要搞混。实践出真知,建议动手试试。
    2. 搬家
      搬家的蚂蚁第 3 楼2025/10/30 08:41:45
      hreflang 自引用是必须的,我之前漏了导致多语言版本全没被索引。
    3. 前端
      前端魔法师第 4 楼2025/10/30 09:03:36
      我的团队是这样做的:canonical 用绝对 URL,通过 buildPageUrl 确保域名一致。仅供参考,具体还是要看你的场景。
    4. 数据
      数据淘金客第 5 楼2025/11/01 02:55:36
      我的实践经验和你的不太一样:结构化数据用 Rich Results Test 工具测试,Search Console 会报错误。一起学习。
    5. 发呆
      发呆的仓鼠第 6 楼2025/11/03 11:08:24
      我调研过这块,sitemap.xml 用 ISR 缓存(revalidate: 3600),发布新内容后 revalidatePath 刷新。期待更多实战经验分享。
    6. 听风
      听风者第 7 楼2025/11/03 19:36:45
      这个观点我很认同,INP 替代 FID 后更严格了,用 next/dynamic 懒加载非首屏组件效果明显。一起学习。
    7. BU
      Bug猎人第 8 楼2025/11/12 09:02:25
      这个观点我很认同,sitemap.xml 用 ISR 缓存(revalidate: 3600),发布新内容后 revalidatePath 刷新。希望少走弯路。
    8. 打盹
      打盹的考拉第 9 楼2025/11/15 03:59:22
      上周刚好踩了这个坑,PageSpeed 从 60 到 95 的关键:next/image + priority + 移除首屏 framer-motion。
    9. CT
      Ctrl+C工程师第 10 楼2025/11/15 06:03:55
      上周刚好踩了这个坑,404 页面一定要返回 404 状态码,软 404(返回 200)会被当作低质内容。欢迎大家补充。
    10. 云中
      云中漫步第 11 楼2025/11/21 10:50:40
      反对一下,我的测试结果不是这样:INP 替代 FID 后更严格了,用 next/dynamic 懒加载非首屏组件效果明显。实践出真知,建议动手试试。
    11. 拾光
      拾光者第 12 楼2025/11/24 17:30:41
      补充一点:PageSpeed 从 60 到 95 的关键:next/image + priority + 移除首屏 framer-motion。如有不对请指正。
    12. 差不
      差不多第 13 楼2025/11/25 23:54:16
      补充一个边界情况:hreflang 自引用是必须的,我之前漏了导致多语言版本全没被索引。如有不对请指正。
    13. 追日
      追日落第 14 楼2025/11/28 08:17:13
      这个观点我很认同,INP 替代 FID 后更严格了,用 next/dynamic 懒加载非首屏组件效果明显。这只是个人经验,不一定通用。
    14. 春暖
      春暖花开第 15 楼2025/11/29 23:03:00
      我的结论恰恰相反:Next.js 15 的 viewport 必须单独导出,不放 metadata 里了。
    15. 阿杰
      阿杰第 16 楼2025/12/04 21:34:14
      我的项目里也用了这个方案,404 页面一定要返回 404 状态码,软 404(返回 200)会被当作低质内容。细节可以再展开讨论。
    16. 雪夜
      雪夜归人第 17 楼2025/12/06 17:44:17
      我之前也遇到过类似问题,结构化数据用 Rich Results Test 工具测试,Search Console 会报错误。这只是个人经验,不一定通用。
    17. 离线
      离线爱好者第 18 楼2025/12/10 22:35:15
      robots.txt 控制抓取,noindex 控制索引,两个不要搞混。
    18. 赏月
      赏月的灰狼第 19 楼2025/12/12 14:23:54
      我的实践经验和你的不太一样:INP 替代 FID 后更严格了,用 next/dynamic 懒加载非首屏组件效果明显。
    19. 摸鱼
      摸鱼的锦鲤第 20 楼2025/12/13 03:49:48
      补充一个边界情况:INP 替代 FID 后更严格了,用 next/dynamic 懒加载非首屏组件效果明显。
    20. 等风
      等风来第 21 楼2025/12/14 12:46:35
      有个更优的方案:canonical 用绝对 URL,通过 buildPageUrl 确保域名一致。后续有新发现再来更新。
    登录后可回复
    快乐

    快乐的水豚

    楼主个人主页

    帖子信息

    39 回复
    0 浏览
    19 赞
    0 收藏
    回复