发呆
发呆的仓鼠楼主
robots.txt 不是阻止索引的手段,而是控制抓取。要阻止索引用 noindex meta 标签或 X-Robots-Tag header。常见的 robots.txt 配置:允许所有页面、禁止 /admin、禁止 /api、指向 sitemap.xml。 Google 抓取预算对大站很重要。优化方法:① robots.txt 禁止低价值页面 ② 用 noindex 阻止索引但不阻止抓取 ③ 优化内链结构让重要页面更易到达 ④ 删除或合并薄内容页面 ⑤ 监控 Search Console 的抓取统计。 Next.js 动态路由用 generateStaticParams 预生成静态页面,对 SEO 友好。但如果是用户生成内容(如论坛帖子),无法预生成,需要用 ISR 或 SSR。论坛帖子页面建议 ISR(revalidate: 3600)+ 发帖后 revalidatePath。