Sperrt dein Shop ChatGPT aus? Was wirklich in deiner robots.txt stehen muss

Ich habe mir angesehen, welche Datei auf meiner eigenen Website am häufigsten von OpenAI abgeholt wird. Nicht die Startseite. Nicht ein Blogartikel. Die robots.txt — 447 Mal in 15 Tagen, allein vom OAI-SearchBot. Das sind 72 Prozent aller seiner Zugriffe.

Die Zahlen stammen aus dem Server-Log von markusstoeger.com, einer Fachseite mit 164 URLs. Nichts Spektakuläres, kein Shop, kein Werbebudget. Bei dir sieht es vermutlich ähnlich aus — du hast nur noch nicht nachgesehen.

Der Bot fragt also vor fast jedem Besuch neu, ob er überhaupt darf. Und genau deshalb entscheidet diese eine Textdatei darüber, ob dein Shop in ChatGPT-Antworten vorkommt oder nicht.

Das Problem: Bei den meisten WooCommerce-Shops steht dort etwas, das nie jemand bewusst hingeschrieben hat.

Es gibt zwei Sorten KI-Crawler, und sie werden ständig verwechselt

Wenn im WordPress-Umfeld über „KI-Bots blockieren" geredet wird, ist fast immer nur eine Sorte gemeint. Tatsächlich gibt es zwei, und sie machen völlig Verschiedenes.

Trainings-Bots holen Inhalte fürs Modelltraining. Bei OpenAI heißt der GPTBot, bei Anthropic ClaudeBot, bei Meta meta-externalagent. Was sie einsammeln, landet im Modell selbst — es sorgt dafür, dass die KI deine Marke überhaupt kennt.

Zitier-Bots arbeiten für die Suchfunktion. OAI-SearchBot baut den Index, aus dem ChatGPT seine Antworten zusammensetzt, und ChatGPT-User ruft eine Seite live ab, wenn gerade jemand danach fragt. Diese beiden holen dich in die Antwort — mit Link, mit Quellenangabe, mit Klick.

Die beiden Sorten haben nichts miteinander zu tun. Sie kommen von unterschiedlichen Servern, tragen unterschiedliche User-Agents und lesen die robots.txt getrennt. Ein Disallow für GPTBot hat null Einfluss darauf, ob ChatGPT dich zitiert.

Wer aber pauschal alles blockiert, was nach KI aussieht, erwischt beide. Das Ergebnis ist absurd: Du schützt Produktbeschreibungen, die ohnehin niemand stehlen will, und verschwindest gleichzeitig aus den Antworten, in denen Kaufentscheidungen fallen.

Wer deinen Shop aussperrt, ohne zu fragen

Bei den Shops, in die ich reinschaue, hat fast nie der Betreiber selbst etwas blockiert. Es waren drei andere:

Sicherheitsplugins. Wordfence und Sucuri stufen unbekannte User-Agents als potenzielle Bedrohung ein. Ein Crawler, den die Regelwerke nicht kennen, fliegt raus — mit derselben Logik, mit der auch Scraper geblockt werden. Für den Zweck ist das richtig. Für OAI-SearchBot ist es tödlich.

Cloudflare. Seit Mitte 2025 blockiert Cloudflare KI-Crawler bei neu angelegten Domains und im kostenlosen Tarif standardmäßig. Wer seinen Shop dort aufgeschaltet hat, ohne die Bot-Einstellungen durchzugehen, sperrt seit dem ersten Tag aus, ohne es zu wissen.

Dein SEO-Plugin. Yoast und Rank Math schreiben eine eigene robots.txt, die die Datei im Dateisystem überschreibt. Was du dort per FTP hinterlegt hast, ist möglicherweise gar nicht das, was ausgeliefert wird.

Der Test dauert zwei Minuten: Ruf deinshop.de/robots.txt im Browser auf. Was da steht, ist das, was die Crawler sehen — egal, was du irgendwo eingetragen hast.

Die Vorlage

So sieht die Datei aus, wenn beide Sorten richtig behandelt werden:

# Zitier-Bots: müssen erlaubt sein, sonst bist du in ChatGPT unsichtbar
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: PerplexityBot
Allow: /

# Trainings-Bots: deine Entscheidung
User-agent: GPTBot
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: Google-Extended
Allow: /

# Alle übrigen: Inhalte ja, interne Endpunkte nein
User-agent: *
Allow: /
Disallow: /wp-admin/
Disallow: /checkout/
Disallow: /warenkorb/
Disallow: /mein-konto/

Sitemap: https://deinshop.de/sitemap.xml

Zwei Dinge dazu.

Checkout, Warenkorb und Konto gehören raus. Nicht aus Geheimniskrämerei, sondern weil diese Seiten für einen Crawler wertlos sind: dynamisch, personalisiert, nicht cachebar. Er verbrennt dort dein Crawl-Budget und findet nichts, was er zitieren könnte.

Bei den Trainings-Bots kann man geteilter Meinung sein. Ein Verlag, der von seinen Texten lebt, hat gute Gründe, GPTBot auszusperren. Ein Shop hat die nicht. Deine Produktbeschreibungen sind kein schützenswertes Werk — sie sind Verkaufsmaterial, und je mehr Modelle deine Marke kennen, desto häufiger fällt ihr Name, wenn jemand nach so einem Produkt fragt. Ich lasse alle rein.

Was du nach der Änderung prüfen solltest

Die robots.txt ist nur die Erlaubnis. Ob sie ankommt, siehst du woanders:

• Im Browser: deinshop.de/robots.txt aufrufen und lesen, was tatsächlich ausgeliefert wird. Wenn dort ein Disallow: / unter einem der Zitier-Bots steht oder ein pauschales für alle — das ist deine Ursache.
• In der Firewall: Bei Wordfence unter Live Traffic nachsehen, ob Crawler geblockt werden. Cloudflare zeigt die AI-Crawler-Einstellungen im Dashboard unter Security.
• In deinen Zugriffen: Ein kostenloses WordPress-Plugin für KI-Crawler-Statistik zeigt dir im Dashboard, welche Bots wirklich vorbeikommen. Such im Plugin-Verzeichnis nach „AI Crawler Analytics".

Nach einer Änderung dauert es keine Woche. OAI-SearchBot liest die Datei mehrmals täglich — bei mir eben 447 Mal in zwei Wochen. Wenn du ihn einlässt, merkt er das schnell.

---

Willst du die nächsten Build- und Audit-Guides, mit allen Stolperfallen? Abonniere den „Built with AI"-Newsletter.

Lieber done-for-you? Wenn ich mir deinen Shop ansehen soll — robots.txt, Firewall-Regeln, Crawl-Budget und was sonst zwischen dir und der KI-Sichtbarkeit steht: Schreib mir kurz. Das ist mein Tagesgeschäft.