以 OpenAI 为例：GPTBot 用于模型训练语料抓取，OAI-SearchBot 用于 ChatGPT 搜索的索引，ChatGPT-User 用于用户提问时的即时取页。三者用途不同，控制策略也应不同——若目标是在 AI 答案中被看见，至少必须放行搜索索引与用户取回两类。Anthropic 对应 ClaudeBot / Claude-SearchBot / Claude-User，Perplexity 对应 PerplexityBot / Perplexity-User。另需注意 Google-Extended 是控制训练使用的令牌而非爬虫本身，Applebot-Extended 同理——只设置 Extended 而不放行本体是常见误配。