robots.txt für KI-Crawler: Wir haben unser Log gezählt, bevor Meta am 20. November startet

Am 30. Oktober haben Google und Microsoft am selben Tag angekündigt, ein gemeinsames robots.txt-Signal gegen KI-Training zu unterstützen. Am 20. November treten außerdem Metas neue Geschäftsbedingungen in Kraft, die dem Konzern das Crawlen von Webseiten erlauben, die zu einem Geschäftskonto gehören. Unsere robots.txt nennt zehn KI-Kennungen und keine einzige von Meta. Bevor wir daran etwas ändern, wollten wir wissen, wer bei uns tatsächlich anklopft.

Dieser Beitrag ist die Fortsetzung von GEO: Warum uns die KI-Suchmaschinen übersahen. Dort ging es darum, Crawler hereinzulassen. Hier geht es darum, welche Sie hereinlassen wollen.

Kurz gesagt

• Das neue Signal heißt __usage_ai-training, ist ein IETF-Entwurf von Kevin Kelley (Anthropic) und gilt noch bei keinem Anbieter. Google nennt 2027, Microsoft den 1. Februar 2027.
• Meta ist ab 20. November relevant, aber nur, wenn Ihre Seite zu einem Meta-Geschäftskonto gehört. Ob das bei uns zutrifft, ist offen.
• In unserem Log (16.10. bis 05.11.2026) tragen 50.365 Anfragen eine der gesuchten KI-Kennungen, 18.108 davon (36 Prozent) kommen von Scanner-Adressen. Wer ungefiltert zählt, überschätzt die KI-Crawler um mehr als ein Drittel.
• Von Metas Adressen kam in diesen 20 Tagen kein einziger robots.txt-Abruf.

Was ein KI-Crawler ist

Ein KI-Crawler ist ein Programm, das Webseiten abruft, damit der Betreiber die Inhalte für Modelltraining, einen Suchindex oder die Antwort auf eine einzelne Nutzerfrage verwenden kann. Wofür, steht im User-Agent und in der Dokumentation des Betreibers. Die robots.txt lässt sich je Kennung auf Erlauben oder Sperren stellen. Ob sich der Betreiber daran hält, sagt nur seine eigene Dokumentation.

Was die Anbieter selbst schreiben

Die Aufgaben sind getrennt, und genau das macht die Entscheidung möglich:

Stand der Quellen: 05.11.2026, siehe die Links unten. Bei Meta fällt auf, dass meta-externalagent zwei Zwecke nennt. Wer ihn sperrt, schließt Training aus und damit auch das Indexieren für Produkte.

Das gemeinsame Signal

Der IETF-Entwurf draft-kelley-aipref-training-preference-signal-00 ist ein individueller Entwurf, vom 30. Oktober, läuft am 3. Mai 2027 ab und hat keinen formalen Status. Das Token wird als User-Agent-Zeile in die robots.txt geschrieben. Ein gesperrter Pfad bedeutet: nicht für Training verwenden.

Google schreibt, eine Seite mit dem Token und ohne Eintrag für Google-Extended werde behandelt, als hätte sie Google-Extended gesperrt. Die Unterstützung soll 2027 kommen. Microsoft nennt den 1. Februar 2027, den 15. Dezember 2026 für Übergangseinstellungen in den Bing Webmaster Tools und den 1. März 2027, ab dem NoArchive und NoCache nicht mehr als Training- oder Grounding-Präferenz zählen. Für Grounding gibt es bei Bing keine Einstellung für die ganze Website. Sie wird je Seite per Meta-Tag oder Header gesetzt. Anthropic schreibt in seiner Hilfe: Nennt die robots.txt ClaudeBot, hat diese Regel bei Pfaden Vorrang vor einem allgemeinen Signal gegen KI-Training.

Für uns heißt das: Das Token ersetzt keine Einzelregeln, es kommt später dazu. Heute ändert es nichts.

Was in unserem Caddy-Log steht

Der Caddy-Edge auf .181.1 schreibt JSON-Logs für den Host senn-tech.com. Statische Dateien und unsere Monitoring-Adressen sind ausgenommen. Die ältesten erhaltenen Dateien beginnen am 16.10.2026 um 01:26, der Zeitraum ist also 20 Tage und nicht 30. Die Auswertung war rein lesend. 318.289 Anfragen insgesamt, davon 50.365 mit einer der 23 gesuchten Kennungen. 18.108 dieser Anfragen stammen von 70 Adressen, die im Zeitraum mindestens vier verschiedene KI-Kennungen verwenden.

Diese 70 Adressen fragen Pfade wie /prisma/.env und /@fs/home/ubuntu/.aws/credentials ab. Das ist ein Scanner, der sich als Bot ausgibt. Wir zählen ihn getrennt, die Vier-Kennungen-Grenze ist unsere Faustregel und kein Standard.

Eigene Messung, Caddy auf .181.1, Zeitraum 16.10. bis 05.11.2026, Einheit: Anfragen an senn-tech.com. Jede Anfrage zählt einmal, bei mehreren Namen im User-Agent gilt der erste Treffer. Google-Extended taucht nicht auf, weil es laut Google keinen eigenen User-Agent hat.

Was uns an Meta auffällt

Von den 796 übrigen meta-externalagent-Anfragen stammen 606 vom 22.10. und 180 vom 29.10., der Rest sind vereinzelte Treffer. Die Adressen liegen fast alle in 57.141.x.x. 203 Anfragen gingen an /_next/image, der Rest an Seiten wie /de/blog und /de/leistungen.

Aus diesem Adressbereich kam in 20 Tagen kein einziger Abruf von /robots.txt, unter keiner Kennung. Meta nennt einen Cache von bis zu 24 Stunden, das erklärt 20 Tage ohne Abruf nicht. Warum es so ist, wissen wir nicht. Ob der Adressbereich tatsächlich Meta gehört, haben wir nicht gegen eine Liste von Meta geprüft.

Metas Crawler dürfen laut Meta-Dokumentation robots.txt für facebookexternalhit (109 Anfragen bei uns, davon 34 für die robots.txt) und meta-externalfetcher umgehen. Eine Sperre ist deshalb höchstens eine halbe Aussage.

Eine zweite Stelle fiel beim Lesen von robots.ts auf. Jede KI-Kennung hat dort eine eigene Gruppe mit Allow: /. Nach RFC 9309 folgt ein Crawler nur der Gruppe seiner Kennung, die *-Gruppe mit Disallow: /admin gilt für ihn nicht. Im Log hat keine echte KI-Kennung /admin abgerufen, die Lücke ist also theoretisch.

Wie wir die Entscheidung angehen

Es gibt drei Fragen, in dieser Reihenfolge:

1. Gehört die Seite zu einem Meta-Geschäftskonto? Wenn nein, wirkt die Klausel nicht auf Ihre Seite, die robots.txt bleibt trotzdem sinnvoll.
2. Wollen Sie in Antworten von Meta AI vorkommen? Das entscheidet über meta-webindexer.
3. Wollen Sie, dass Inhalte in Training fließen? Das entscheidet über meta-externalagent, mit dem Zusatz, dass er auch Produkte indexiert.

Die Entscheidung steht bei uns noch aus, robots.ts ist am 05.11.2026 unverändert. Meta sagt selbst, Webmaster könnten ihr bevorzugtes Crawl-Verhalten per robots.txt angeben. Ob eine robots.txt-Einstellung begrenzt, was ein Unternehmen mit der Zustimmung gewährt, steht laut Search Engine Journal in keiner der beiden Vorschauen der Bedingungen. Eine Sperre ist ein technisches Signal und kein juristischer Ersatz.

Die Gegenseite sollten Sie mitrechnen. Wer OAI-SearchBot sperrt, verschwindet aus der ChatGPT-Suche. Bei uns ist das mit 8.548 Anfragen der größte Posten. Ob daraus Besucher werden, haben wir nicht gemessen. Wer diese Abwägung für eine eigene Seite braucht, findet unser Angebot unter GEO und SEO prüfen lassen, weitere Einordnungen sammelt der Hub KI einordnen.

Noch zu messen

Drei Schritte, die wir bisher nicht gemacht haben:

• Adressen gegen Herstellerlisten prüfen. Für Anthropic ist das erledigt: Von 1.324 Anfragen mit ClaudeBot- oder Claude-User-Kennung liegen 1.110 in der Liste unter claude.com/crawling/bots.json. Die übrigen 214 kommen großteils aus 160.79.104.0/21, das ARIN Anthropic zuordnet, das aber nicht in der Liste steht. Offen ist der Abgleich für Meta, OpenAI und Perplexity. Methode: die Adressliste des Anbieters laden und jede Absender-Adresse der Kennung dagegen prüfen.
• Meta-Konto klären. Methode: Im Meta Business Manager nachsehen, ob senn-tech.com als Domain oder Link an einem Konto hängt. Ergebnis offen, das muss jemand mit Zugang zum Konto nachsehen.
• Wirkung einer Änderung. Methode: Nach einer Änderung der robots.txt 14 Tage dieselbe Zählung fahren und die 22.10.-Spitze (606 Anfragen an einem Tag) als Vergleich nehmen.

Was belegt ist und was offen bleibt

Belegt, jeweils aus der Primärquelle gelesen: der Inhalt des IETF-Entwurfs, die Ankündigungen von Google und Microsoft, die Aufgaben der Crawler bei OpenAI, Anthropic und Meta. Belegt durch eigene Messung: die Zahlen in der Tabelle für 16.10. bis 05.11.2026.

Offen: wann OpenAI das Signal unterstützt (die OpenAI-Ankündigung lieferte uns einen 403-Fehler, deshalb nennen wir kein Datum), ob Meta es übernimmt, ob die Klausel unsere Seite betrifft, und warum Metas Adressen die robots.txt nicht abrufen. Das Datum 20. November und die Klausel selbst haben wir aus Presseberichten übernommen, weil Metas Bedingungsseite sich bei uns nicht öffnen ließ. Dies ist keine Rechtsberatung.

Quellen zuletzt geprüft: 2026-11-05.

Ihr 10-Minuten-Check

1. curl -s https://ihre-domain/robots.txt aufrufen und nach meta- suchen. Steht nichts darin, ist heute alles erlaubt.
2. Auf dem Reverse Proxy die Logs nach Kennungen zählen, zum Beispiel mit zcat -f access*.log* | grep -c meta-externalagent.
3. Dieselbe Kennung nach Absender-Adresse gruppieren. Ein Absender mit vier oder mehr verschiedenen KI-Namen ist kein Crawler.
4. Prüfen, ob die Domain an einem Meta-Geschäftskonto hängt.
5. Entscheiden, was Training und was Suche für Sie wert ist, und erst dann die robots.txt anfassen.

Weiterführende Quellen

• IETF: Machine-Readable Training Preference Signal
• Google Search Central: AI training control
• Bing: Clearer preferences for training and grounding
• Google: Common crawlers, Google-Extended
• OpenAI: Crawler-Dokumentation
• Anthropic: Crawling und Sperren
• Meta: Web Crawlers
• RFC 9309: Robots Exclusion Protocol
• Search Engine Journal: Meta delays business terms