Check crawlers IA

outil gratuit · ceeme

Si ton robots.txt bloque les crawlers IA, ton site ne peut pas apparaître dans les réponses IA — aussi bon soit-il. Ce check lit ton robots.txt et indique, par crawler IA, s'il peut entrer, et si tu as déjà un llms.txt.

Essaie aussi: Générateur llms.txt · Preview OG & meta

Pourquoi un site bloquerait-il les crawlers IA ?

Souvent par accident : les plugins de sécurité et les vieilles règles robots.txt bloquent tout ce qu'ils ne connaissent pas. Résultat : ChatGPT, Claude et Perplexity ne peuvent pas lire ton contenu — et ce qu'ils ne connaissent pas, ils ne le recommandent pas.

Quels crawlers cette tool vérifie-t-elle ?

GPTBot et OAI-SearchBot (OpenAI/ChatGPT), ClaudeBot (Anthropic), PerplexityBot, Google-Extended (Gemini), Bingbot (Copilot) et CCBot (Common Crawl).

Mon site bloque un crawler — que faire ?

Adapte ton robots.txt pour que les crawlers IA voulus ne tombent plus sous un blocage, ou demande à ton webmaster. Le scan ceeme gratuit mesure ensuite si tu apparais vraiment dans les réponses.