AI-crawlere forklaret: GPTBot, ClaudeBot, PerplexityBot og din robots.txt

Alle AI-assistenter, der omtaler dit brand, har lært om det et sted – fra træningsdata, fra en løbende crawl eller fra en hentning udløst af en brugers spørgsmål. Hver vej har sin egen crawler, og om de crawlere kan læse dit website, er det mest grundlæggende tekniske input til din AI-synlighed. At blokere dem får ikke AI til at holde op med at omtale dig; det får AI til at omtale dig ud fra ældre oplysninger fra tredjeparter i stedet.

De crawlere, du bør kende

De user agents, du oftest vil se i logs og robots.txt-politikker:

• GPTBot (OpenAI) – indsamler indhold, der kan bruges til at træne modeller.
• OAI-SearchBot og ChatGPT-User (OpenAI) – driver ChatGPT’s søgeindeks og live-hentning af sider, når en brugers spørgsmål kræver aktuelle oplysninger. De påvirker, om ChatGPT kan citere dig i dag.
• ClaudeBot og Claude-SearchBot (Anthropic) – Anthropics crawl- og søgeindeks-agenter til Claude.
• PerplexityBot og Perplexity-User (Perplexity) – indeksering og hentning efter behov til Perplexitys svarmaskine, som viser kilderne tydeligt.
• Google-Extended (Google) – et kontroltoken: Blokerer du det, fravælger du, at dit indhold bruges til at træne Gemini, uden at det påvirker dine placeringer i Google Søgning eller AI Overviews.
• CCBot (Common Crawl) – en nonprofit-crawl, hvis arkiver indgår i træningsdata for mange modeller.

Adgang til træning vs. adgang til søgning

Den vigtigste skelnen går mellem crawlere, der indsamler træningsdata (GPTBot, CCBot, Google-Extended-tokenet), og crawlere, der leverer live-svar (OAI-SearchBot, ChatGPT-User, PerplexityBot, Claude-SearchBot). At blokere træningsbots er et legitimt valg i din indholdspolitik med langsomme, spredte effekter. At blokere søge- og hentebots har en øjeblikkelig effekt: AI-assistenterne mister muligheden for at læse og citere dine aktuelle sider, og dine priser, funktioner og din positionering bliver fremstillet ud fra det, tredjeparter siger om dig.

For de fleste brands, der gerne vil findes, er den fornuftige standard at tillade begge grupper – og som minimum søgegruppen – og derefter kontrollere, at politikken faktisk virker. Tjek robots.txt, men også dit CDN’s regler for bot-håndtering og dine WAF-indstillinger, som ofte blokerer disse agenter i det stille. Dine serverlogs er den endelige sandhed: Hvis PerplexityBot får et 403-svar på din dokumentation, hjælper ingen linje i robots.txt.

En tjekliste til denne uge

• Læs din aktuelle robots.txt, og skriv alle AI-user agents ned, der er blokeret (disallow) – og bekræft så, at hver blokering er tilsigtet.
• Søg i de seneste server- eller CDN-logs efter ovenstående user agents, og kig efter 403- og 429-svar.
• Bekræft, at dine pris-, produkt- og dokumentationssider leverer ren HTML til disse agenter (ikke en tom JavaScript-skal eller en udfordringsside).
• Hold dit sitemap opdateret, så nye sider bliver fundet hurtigt.
• Tjek igen efter enhver ændring af CDN, firewall eller bot-beskyttelse – det er dér, fungerende politikker går i stykker i det stille.

Sådan følger du resultatet

Adgang for crawlere er et input; resultatet er, om svarene bliver bedre. Cited følger begge sider – den markerer AI-crawlere, der er blokeret fra dine sider, og viser, om din omtalerate og dine kildehenvisninger flytter sig, når adgangen er rettet. Cited lanceres snart – skriv dig på ventelisten for at se, hvor du står.