KI-Sichtradar

KI-Eignung

KI-Crawler zulassen: robots.txt richtig einstellen

Von Simon Mast, Design Planet · Zuletzt aktualisiert: 01.11.2026

Die robots.txt ist eine kleine Textdatei auf Ihrer Website. Sie sagt Programmen, welche Seiten sie lesen dürfen. Sperrt sie KI-Crawler wie GPTBot oder ClaudeBot, können diese Programme Ihre Firma nicht lesen. Oft passiert das aus Versehen durch Voreinstellungen. Prüfen Sie die Datei unter ihre-firma.ch/robots.txt und entfernen Sie unbeabsichtigte Sperren. Eine Nennung durch KI-Assistenten ist damit nicht garantiert, aber möglich.

Was ist die robots.txt und was sind KI-Crawler?

Die robots.txt liegt im Hauptverzeichnis Ihrer Website und enthält Regeln für automatische Besucher. Ein Crawler ist ein Programm, das Websites abruft und liest, so wie es Suchmaschinen tun. Auch KI-Anbieter setzen Crawler ein. Bekannte Namen sind GPTBot, OAI-SearchBot und ChatGPT-User von OpenAI, ClaudeBot von Anthropic, PerplexityBot von Perplexity und Google-Extended von Google. Jedes Programm meldet sich mit seinem Namen. In der robots.txt können Sie pro Name erlauben oder sperren. Die Datei ist eine Bitte, keine technische Sperre: Seriöse Crawler halten sich daran.

Warum zählt das für Google und KI-Assistenten?

Was ein Crawler nicht lesen darf, kann ein Assistent nicht aus Ihrer Website schöpfen. Ist Ihre Seite für ein KI-Programm gesperrt, fehlen dort Ihre Angaben zu Leistungen, Standort und Kontakt. Die Assistenten antworten dann eher mit dem, was sie von anderen Quellen kennen. Für die klassische Google-Suche gilt eine eigene Regel: Sie betrifft den Googlebot, nicht die KI-Programme. Eine Sperre kann gewollt sein, etwa wenn Sie Ihre Texte nicht für KI-Training freigeben möchten. Dann ist es eine bewusste Entscheidung. Problematisch ist sie nur, wenn niemand sie bewusst getroffen hat.

So prüfen Sie es selbst

Öffnen Sie im Browser die Adresse ihre-firma.ch/robots.txt. Sie sehen reinen Text. Suchen Sie nach «User-agent:» gefolgt von einem der oben genannten Namen oder einem Stern (der Stern steht für alle Programme). Steht darunter «Disallow: /», ist die ganze Website gesperrt. Ein leeres «Disallow:» oder keine Datei bedeutet: alles erlaubt. Der Gratis-Check von KI-Sichtradar liest die Datei ebenfalls und zeigt, welche der sechs bekannten KI-Programme gesperrt sind. Haben Sie Zweifel, fragen Sie die Person, die Ihre Website betreut.

# Alle Programme dürfen lesen, nur der Admin-Bereich bleibt gesperrt
User-agent: *
Disallow: /admin/

# So sähe eine Komplettsperre für GPTBot aus (nur setzen, wenn gewollt)
User-agent: GPTBot
Disallow: /

Sitemap: https://ihre-firma.ch/sitemap.xml

So beheben Sie es

Finden Sie eine unbeabsichtigte Sperre, entfernen Sie die betreffende «Disallow: /»-Zeile oder ersetzen Sie sie durch ein leeres «Disallow:». Bei WordPress prüfen Sie zuerst die Einstellung «Suchmaschinen davon abhalten, diese Website zu indexieren» unter Einstellungen, Lesen. Sie kann eine Komplettsperre erzeugen. Manche Sicherheits- oder SEO-Plugins sowie Hosting-Voreinstellungen sperren KI-Programme automatisch. Ändern Sie die Datei über das Plugin oder per FTP und laden Sie die Adresse danach neu. Die Änderung wirkt, sobald die Crawler die Datei das nächste Mal abrufen.

  1. Öffnen Sie ihre-firma.ch/robots.txt im Browser.
  2. Suchen Sie nach Zeilen mit «Disallow: /» unter «User-agent: *» oder unter einem KI-Namen.
  3. Entscheiden Sie bewusst, welche Programme Ihre Texte lesen dürfen.
  4. Entfernen Sie ungewollte Sperren in der Datei, im Plugin oder in den WordPress-Leseeinstellungen.
  5. Laden Sie die robots.txt neu und prüfen Sie, dass die Sperren weg sind.

So bewertet KI-Sichtradar diesen Punkt

Grün: Es gibt keine robots.txt oder sie sperrt keines der sechs geprüften Programme (GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended). Gelb: Ein oder zwei dieser Programme sind komplett gesperrt. Rot: Drei oder mehr sind komplett gesperrt. Als Sperre zählt «Disallow: /» ohne gleichzeitiges «Allow: /». Teilsperren einzelner Ordner werden nicht gewertet.

Die Bewertung ist eine eigene Methode von KI-Sichtradar und eine Momentaufnahme der Startseite, kein Sicherheitstest und keine Garantie.

Häufige Fragen

Soll ich KI-Crawler überhaupt zulassen?

Das ist Ihre Entscheidung. Wollen Sie, dass KI-Assistenten Ihre Firma korrekt wiedergeben können, müssen die Programme Ihre Seite lesen dürfen. Möchten Sie Ihre Texte nicht für KI freigeben, ist eine Sperre legitim, mit dem Preis geringerer Auffindbarkeit.

Wirkt sich die robots.txt auf mein Google-Ranking aus?

Nur für den Googlebot. Eine Sperre für Google-Extended betrifft laut Google die KI-Nutzung, nicht die normale Suche. Sperren Sie aber «User-agent: *» mit «Disallow: /», kann die Website aus den Suchergebnissen verschwinden.

Garantiert eine offene robots.txt, dass ChatGPT meine Firma nennt?

Nein. Sie ist nur die Voraussetzung dafür, dass Programme Ihre Seite lesen dürfen. Ob ein Assistent Ihre Firma nennt, hängt von vielen weiteren Faktoren ab, und das kann niemand zusichern.

Weiterlesen

Wie steht Ihre Website da?

Der Gratis-Check prüft die Startseite Ihrer Website auf alle Punkte aus dem Ratgeber und zeigt Ihnen den Score, kostenlos und unverbindlich.

Gratis-Check starten