Next.js 中处理软 404 页面的 SEO 方案

Google 抓取预算对大站很重要。优化方法：① robots.txt 禁止低价值页面 ② 用 noindex 阻止索引但不阻止抓取 ③ 优化内链结构让重要页面更易到达 ④ 删除或合并薄内容页面 ⑤ 监控 Search Console 的抓取统计。

robots.txt 不是阻止索引的手段，而是控制抓取。要阻止索引用 noindex meta 标签或 X-Robots-Tag header。常见的 robots.txt 配置：允许所有页面、禁止 /admin、禁止 /api、指向 sitemap.xml。

Canonical URL 解决重复内容问题。多语言站点、分页页面、带查询参数的页面都需要正确设置 canonical。Next.js metadata 中 canonical 要用绝对 URL，通过 buildPageUrl 工具函数确保域名一致。

SEO 分页 URL 用 /page/2 路径形式比 ?page=2 查询参数更好。路径形式更利于 Google 理解和索引，查询参数可能被当作重复内容。但分页页面的 canonical 要指向自身而非第一页，否则第二页之后的内容不会被索引。

Core Web Vitals 2024 的三个指标：LCP（最大内容绘制，<2.5s）、INP（交互到下一次绘制，<200ms）、CLS（累积布局偏移，<0.1）。其中 INP 替代了 FID，更严格。Next.js 用 next/image 优化图片能显著改善 LCP，用 next/dynamic 懒加载非首屏组件改善 INP。