This is a Heading

This is a paragraph. To edit this paragraph, highlight the text and replace it with your own fresh content. Moving this text widget is no problem. Simply drag and drop the widget to your area of choice. Use this space to tell site visitors about your business and story.

Technischer GEO-Audit: Crawling, Indexierung und AI-Bots richtig prüfen

Roth Miklós


Der technische GEO-Audit prüft, ob AI-Systeme Ihre Inhalte überhaupt abrufen, indexieren und zitieren dürfen. Kern ist die strikte Trennung dreier Bot-Kategorien: Such- und Zitier-Crawler (etwa OAI-SearchBot, PerplexityBot, Googlebot, Bingbot), Trainings-Crawler (GPTBot, Google-Extended) und nutzerinitiierte Abrufprogramme (ChatGPT-User, Perplexity-User). Alle Angaben folgen den offiziellen Dokumentationen der Betreiber (Stand Juli 2026); prüfen Sie Token und Verhalten vor produktiven Änderungen anhand der aktuellen Dokumente.

Hauptartikel

Was ist ein technischer GEO-Audit? (Definition)

Ein technischer GEO-Audit ist die systematische Prüfung der technischen Zugänglichkeit einer Website für AI-gestützte Suchsysteme: Crawling (automatisiertes Abrufen von Seiten), Indexierung (Aufnahme in einen Suchindex), Steuerungsdateien (robots.txt, Meta-Angaben), Server-Konfiguration und Bot-Verwaltung in Firewall oder CDN (Content Delivery Network, ein Verbund verteilter Auslieferungsserver). Ziel: sicherstellen, dass die Bots, die über Zitate in AI-Antworten entscheiden, Ihre Inhalte erreichen.

Die drei Bot-Kategorien – warum die Trennung entscheidend ist

Der häufigste Fehler in GEO-Projekten ist die Pauschalblockade: „Alle AI-Bots raus” – und wochenlang wundert man sich, warum keine AI-Plattform die eigene Seite zitiert. Die offiziellen Dokumentationen zeichnen ein differenzierteres Bild:

  1. Such- und Zitier-Crawler bauen den Index, aus dem AI-Antworten Quellen wählen. Wer sie blockiert, wird strukturell unsichtbar. Laut OpenAI-Dokumentation gilt: Seiten, die OAI-SearchBot ausschließen, werden in den Suchantworten von ChatGPT nicht angezeigt (können aber weiterhin als Navigationslinks erscheinen).
  2. Trainings-Crawler sammeln Inhalte, die zum Training künftiger Basismodelle verwendet werden können. OpenAI beschreibt GPTBot ausdrücklich als Crawler für Inhalte, „die möglicherweise zum Training generativer KI-Basismodelle verwendet werden”; eine Blockade von GPTBot gilt als Opt-out aus dem Training – und berührt die ChatGPT-Suchsichtbarkeit nicht, denn dafür ist OAI-SearchBot zuständig. Ebenso ist Google-Extended laut Google ein reines Steuerungs-Token für die Nutzung von Inhalten für Gemini-Apps und Vertex AI; es hat laut Google keinen eigenen HTTP-User-Agent (das Crawling erfolgt über die bestehenden Google-User-Agents) und beeinflusst weder die Aufnahme in die Google Suche noch das Ranking.
  3. Nutzerinitiierte Abrufprogramme (User-Fetcher) rufen Seiten nur auf, wenn ein konkreter Nutzer danach fragt. OpenAI dokumentiert für ChatGPT-User: kein automatisches Crawling, nicht entscheidend für die Aufnahme in die ChatGPT-Suche, und – wichtig – da die Aktionen von Nutzern ausgehen, „können robots.txt-Regeln möglicherweise nicht greifen” (Sinn der Formulierung in der OpenAI-Doku). Perplexity dokumentiert analog Perplexity-User für Echtzeit-Abrufe bei Nutzeranfragen.

Daraus folgt die Grundregel des Audits: Entscheiden Sie pro Kategorie separat. Sichtbarkeit in AI-Antworten steuern Sie über Kategorie 1, die Trainingsfrage über Kategorie 2, Kategorie 3 behandeln Sie als eigenen Fall.

AI-Crawler-Matrix (Stand Juli 2026, Quellen: offizielle Dokumentationen)

Name

Betreiber

Zweck (Kategorie)

robots.txt-Token

Quelle

OAI-SearchBot

OpenAI

Suchindex für ChatGPT-Suchfunktionen (Kategorie 1)

OAI-SearchBot

platform.openai.com/docs/bots

GPTBot

OpenAI

Trainingsdaten für Basismodelle (Kategorie 2)

GPTBot

platform.openai.com/docs/bots

ChatGPT-User

OpenAI

Nutzerinitiierter Seitenabruf; nicht suchrelevant; robots.txt greift ggf. nicht (Kategorie 3)

ChatGPT-User

platform.openai.com/docs/bots

PerplexityBot

Perplexity AI

Indexierung für Perplexity-Antworten (Kategorie 1)

PerplexityBot

docs.perplexity.ai

Perplexity-User

Perplexity AI

Echtzeit-Abruf bei Nutzeranfragen (Kategorie 3)

Perplexity-User

docs.perplexity.ai

Googlebot

Google

Crawling und Indexierung der Google Suche; Grundlage für AI Overviews und AI Mode (Kategorie 1)

Googlebot

developers.google.com/search/docs/crawling-indexing/overview

Google-Extended

Google

Steuer-Token für Gemini-/Vertex-Nutzung; ohne eigenen User-Agent; kein Einfluss auf Search (Kategorie 2)

Google-Extended

developers.google.com/search/docs/crawling-indexing/overview

Bingbot

Microsoft

Bing-Index; relevant für Copilot-Antworten (Kategorie 1)

bingbot

bing.com/webmasters/help/webmaster-guidelines-30fba23a

Prüfhinweis: Token, Zweckbeschreibungen und Verhaltensweisen ändern sich. Diese Matrix spiegelt die offiziellen Dokumente zum Redaktionsstand (Juli 2026); verifizieren Sie jede Zeile vor produktiven Änderungen anhand der verlinkten Quellen.

Schritt für Schritt: der technische GEO-Audit

  1. robots.txt einlesen (Grundlage: RFC 9309). Die robots.txt folgt dem Robots Exclusion Protocol, das 2022 als RFC 9309 standardisiert wurde. Öffnen Sie https://ihredomain.at/robots.txt und suchen Sie nach den Tokens aus der Matrix oben. Ein Disallow: / unter User-agent: OAI-SearchBot oder User-agent: PerplexityBot ist ein strukturelles Sichtbarkeitsproblem. Bedenken Sie: robots.txt ist eine Konvention, keine Zugangssperre – und gilt immer nur pro benanntem Token.
  2. Entscheidungsvorlage definieren. Typische, dokumentationskonforme Ausgangslage für ein Unternehmen, das in AI-Antworten sichtbar sein, aber Trainingsnutzung separat entscheiden will (illustratives Beispiel, keine Rechtsberatung):

# Kategorie 1: Such-/Zitier-Crawler erlauben
User-agent: OAI-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Kategorie 2: Trainings-Crawler separat entscheiden
User-agent: GPTBot
Disallow: /

# Beispiel: Google-Extended nur setzen, wenn Opt-out gewuenscht
# User-agent: Google-Extended
# Disallow: /

User-agent: *
Disallow: /intern/
Disallow: /warenkorb/
Sitemap: https://ihredomain.at/sitemap.xml

  1. Server-Logs auswerten. Prüfen Sie, welche Bots tatsächlich kommen – und ob der Server sie bedient (HTTP-Status 200) oder abweist (403/429/503). Illustrativer Log-Auszug zum Filtern (Shell/Unix):

grep -Ei "OAI-SearchBot|GPTBot|ChatGPT-User|PerplexityBot|Perplexity-User|bingbot|Googlebot" /var/log/nginx/access.log | awk '{print $9}' | sort | uniq -c

  1. Bot-Verifizierung. User-Agent-Zeichenketten (Kennungen, mit denen sich Programme melden) sind fälschbar. OpenAI veröffentlicht offizielle IP-Bereiche als JSON-Dateien (u. a. für SearchBot, GPTBot und ChatGPT-User, verlinkt in der Bots-Dokumentation); gleichen Sie auffällige Zugriffe damit ab, bevor Sie sperren.
  2. WAF/CDN-Regeln prüfen. Viele Web Application Firewalls (WAF, eine Schutzschicht vor Angriffen) und CDN-Anbieter bieten eigene Bot-Management- oder KI-Blockierfunktionen, die unabhängig von Ihrer robots.txt wirken – etwa verwaltete Regeln gegen „AI-Crawler”. Eine korrekte robots.txt nützt nichts, wenn die Firewall OAI-SearchBot mit 403 abwehrt. Prüfen Sie die Einstellungen anhand der Dokumentation Ihres Anbieters und testen Sie Abrufe mit den Bot-Kennungen.
  3. Indexierung prüfen. Für Google: Search-Console-Abdeckungsbericht und site:-Stichproben; Seiten müssen indexiert und snippet-fähig sein, denn laut Google gelten für die KI-Funktionen der Suche (AI Overviews, AI Mode) die normalen SEO-Grundlagen. Prüfen Sie zusätzlich robots-Meta-Tags (noindex, nosnippet) und X-Robots-Tag-Header. Für Bing: Bing Webmaster Tools.
  4. Render- und Qualitätscheck. AI-Systeme profitieren von denselben Grundlagen wie klassische Suche: serverseitig ausgelieferter Hauptinhalt (statt reiner JavaScript-Auslieferung), saubere interne Verlinkung, Sitemap, ausreichende Ladequalität (Core Web Vitals als Orientierung). Ergänzend hilft klare Struktur – siehe den Leitfaden zu strukturierten Daten für AI Visibility.

Anwendung in Österreich: zwei illustrative Befunde

Befund 1 – Wiener B2B-Dienstleister (illustrativ): Im Audit findet sich in der robots.txt ein 2023 pauschal gesetzter Block User-agent: GPTBot / Disallow: / – und darunter, kopiert aus einem Blog, zusätzlich User-agent: OAI-SearchBot / Disallow: /. Folge: ChatGPT Search durfte die Seite nicht indexieren. Nach Entfernen der zweiten Regel (Trainings-Opt-out blieb bestehen) erscheinen OAI-SearchBot-Abrufe in den Logs; Zitate in ChatGPT-Antworten wurden im Folgequartal beobachtet.

Befund 2 – Salzburger Tourismusbetrieb (illustrativ): robots.txt sauber, Logs zeigen aber 403-Antworten auf PerplexityBot. Ursache: eine neu aktivierte KI-Blockierfunktion des CDN-Anbieters. Nach Whitelisting (Freigabe) der Kategorie-1-Bots in der WAF normalisierten sich die Zugriffe. Lehre: Der Audit endet nicht bei der robots.txt – er endet beim beobachteten Serververhalten.

Spezialfälle: geschützte Bereiche und mehrsprachige Sites

Zwei Konstellationen verdienen gesonderte Aufmerksamkeit:

  • Bezahlschranken und Login-Bereiche: Inhalte hinter einer Bezahlschranke (Paywall) oder Anmeldung sind für Crawler grundsätzlich nicht frei zugänglich. Entscheiden Sie bewusst, welche Inhalte öffentlich abrufbar sein sollen – Teaser, Abstracts, Pressebereiche – und kennzeichnen Sie geschützte Inhalte konsistent. Wer alles schützt, ist für AI-Systeme faktisch unsichtbar; wer alles öffnet, verschenkt möglicherweise ein Geschäftsmodell. Die Abwägung ist eine Unternehmensentscheidung, keine technische Nebensache.
  • Mehrsprachige Websites: Für österreichische Unternehmen mit deutscher und englischer Version gehört die Sprachzuordnung (etwa per hreflang-Auszeichnung, dem Verweis auf Sprach- und Regionsvarianten einer Seite) in den Audit. Saubere Sprachvarianten verhindern, dass Crawler Duplikate sehen oder die falsche Version indexieren – und sie sorgen dafür, dass AI-Systeme deutsch- und englischsprachige Anfragen jeweils mit der passenden Seitenversion beantworten können.

Die Trainings-Entscheidung dokumentieren

Die Frage, ob Trainings-Crawler wie GPTBot oder das Steuer-Token Google-Extended Inhalte abrufen dürfen, ist keine technische, sondern eine Unternehmensentscheidung mit rechtlichen und strategischen Facetten – sie gehört daher nicht allein in die IT, sondern in eine kurze, schriftliche Policy: Welche Bot-Kategorien sind erlaubt, welche gesperrt, wer hat das wann und warum entschieden? Diese Dokumentation verhindert, dass Einzelpersonen still Regeln ändern, und sie macht spätere Überprüfungen möglich, wenn sich Angebote, Rechtslage oder Dokumentationen ändern. Dieser Leitfaden ersetzt keine Rechtsberatung; bei urheberrechtlichen Fragen zur Trainingsnutzung ziehen Sie fachkundige Beratung hinzu.

Hosting und Performance: die unterschätzte Grundlage

Auch die Serverseite gehört in den Befund: Häufige 5xx-Fehler (serverseitige Fehlfunktionen), langsame Antwortzeiten oder aggressives Rate-Limiting (Drosselung der Anfragen pro Zeit) führen dazu, dass Crawler vorzeitig abbrechen oder seltener kommen. Prüfen Sie die Antwortzeiten Ihrer wichtigsten Seiten und das Fehlerverhalten unter Last. Die Core Web Vitals (Googles Messgrößen für Ladequalität und Nutzererfahrung) sind dafür eine brauchbare öffentliche Referenz: Sie wurden für die Nutzererfahrung konzipiert, beschreiben aber genau die technische Verlässlichkeit, auf der jede Form von Sichtbarkeit aufbaut.

Nach dem Audit: technisches Monitoring einrichten

Ein Audit ist eine Momentaufnahme; die Zugänglichkeit kann sich jederzeit verschlechtern – durch CMS-Updates, Plugins, die robots.txt-Regeln umschreiben, oder durch neue Standardprofile der WAF. Drei schlanke Dauerprüfungen genügen: Erstens ein automatisierter wöchentlicher Abruf der robots.txt mit Alarm bei Änderungen. Zweitens eine monatliche Stichprobe der Server-Logs auf Statuscodes der wichtigsten Kategorie-1-Bots. Drittens ein Quartalscheck der Indexabdeckung in den Webmaster-Tools von Google und Bing. Diese drei Routinen verhindern, dass eine neu eingeführte Blockade monatelang unbemerkt bleibt – die teuerste Variante technischer Unsichtbarkeit.

Grenzen des technischen Audits

Technik schafft nur Zugänglichkeit. Ob AI-Systeme Ihre Inhalte dann tatsächlich zitieren, entscheiden Relevanz, Beleglage und Markenbekanntheit – Themen des inhaltlichen Audits, wie sie der Hub-Artikel zum GEO-Audit in Wien beschreibt. Und: Nutzer-Fetcher (Kategorie 3) lassen sich per robots.txt nach Betreiberangaben nur bedingt steuern; wer Inhalte strikt vor jedem Abruf schützen muss, braucht Authentifizierung statt Konvention. Zum Zusammenspiel mit Google AI Mode siehe auch den Beitrag Google AI Mode SEO Österreich.

Häufige robots.txt-Fehler im Detail

Aus Audits wiederkehrende Muster – alle mit Bordmitteln prüfbar:

  • Wildcard-Sperren aus der Anfangszeit: Ein altes User-agent: * / Disallow: / aus der Entwicklungsphase, das nach dem Relaunch stehen blieb. Es blockiert alles, auch Googlebot.
  • Kopierte Blocklisten: Aus Blogartikeln übernommene „AI-Bot-Blocklisten” sperren oft gleich die ganze Kategorie 1 mit. Jede kopierte Zeile gehört auf den Prüfstand: Passt sie zur eigenen Entscheidung pro Kategorie?
  • Falsche Groß-/Kleinschreibung und Tippfehler: RFC 9309 beschreibt den Abgleich von User-Agent-Tokens; Abweichungen wie oai-searchbot statt OAI-SearchBot oder vertauschte Zeichen führen dazu, dass Regeln nicht greifen, wie intendiert.
  • Veraltete Staging-Regeln: Die Entwicklungsumgebung blockiert alles – und die produktive robots.txt wird beim Deployment überschrieben. Regelwerke gehören in die Deployment-Checkliste.
  • Fehlende Sitemap-Angabe: Die Zeile Sitemap: mit der URL der XML-Sitemap ist kein Muss, erleichtert aber die vollständige Erfassung – gerade bei großen Seiten.

Auslieferung prüfen: Statuscodes, Weiterleitungen, Canonicals

Crawler freundlich ist, was sauber ausgeliefert wird. Prüfen Sie für Ihre wichtigsten URLs: Antwortet der Server mit 200 (OK) statt mit 403 (verboten), 404 (nicht gefunden), 429 (zu viele Anfragen) oder 503 (nicht verfügbar)? Führen Weiterleitungen (301/302) direkt ans Ziel oder in Ketten und Schleifen? Zeigt das Canonical-Tag (das Verweis-Element, das die maßgebliche URL-Variante benennt) auf die richtige Adresse? Werden Parameter-URLs (Filter, Sortierungen) kontrolliert, damit Crawler nicht in unendlichen Varianten hängen bleiben? Diese klassischen Crawling-Basics gelten für AI-Such-Crawler genauso wie für Googlebot – und sie sind der häufigste Grund, warum Inhalte trotz erlaubter robots.txt nicht indexiert werden.

JavaScript und die Zugänglichkeit des Hauptinhalts

Wenn Ihr Hauptinhalt erst im Browser per JavaScript entsteht (clientseitiges Rendering), hängt seine Sichtbarkeit davon ab, ob der jeweilige Crawler Seiten rendert. Die Fähigkeiten der einzelnen AI-Crawler dazu sind unterschiedlich und ändern sich; die sichere, dokumentationsunabhängige Regel lautet daher: Liefern Sie den Hauptinhalt serverseitig aus (Server-Side Rendering oder statische Auslieferung), und verwenden Sie JavaScript für Ergänzungen, nicht für den Kern. Test: Rufen Sie wichtige Seiten mit deaktiviertem JavaScript auf – was dann fehlt, fehlt möglicherweise auch Crawlern.

Übergabe: Was der Befundbericht enthalten muss

Der Audit endet mit einem dokumentierten Befund: Soll-Ist-Tabelle pro Bot-Kategorie, Log-Auszüge mit Datum, Liste der gefundenen Blockaden mit Ort (robots.txt, Meta-Tag, WAF-Regel, Server-Konfiguration), priorisierte Maßnahmen mit Verantwortung und ein Wiederholungstermin. Ohne diese Dokumentation ist der Audit eine flüchtige Aktion; mit ihr wird er zum wiederholbaren Prozess, der auch Personalwechsel übersteht.

Faktenbox

  • Drei Kategorien strikt trennen: Such-/Zitier-Crawler, Trainings-Crawler, nutzerinitiierte Fetcher – pro Kategorie eigene Entscheidung.
  • Laut OpenAI: OAI-SearchBot steuert die ChatGPT-Suchsichtbarkeit; GPTBot das Training; beide sind unabhängig steuerbar.
  • Laut OpenAI: ChatGPT-User crawlt nicht automatisch, ist nicht suchrelevant; robots.txt greift hier möglicherweise nicht.
  • Laut Google: Google-Extended ist ein Steuer-Token ohne eigenen User-Agent und ohne Einfluss auf die Google Suche.
  • txt ist seit 2022 als RFC 9309 standardisiert – eine Konvention, keine Zugangssperre.
  • WAF/CDN-KI-Blockaden wirken unabhängig von der robots.txt und sind ein häufiger versteckter Blocker.
  • IP-Verifizierung über die von OpenAI publizierten JSON-Listen, weil User-Agents fälschbar sind.

CHECKLISTE: Technischer GEO-Audit in 10 Punkten

#

Prüfschritt

Werkzeug/Quelle

1

robots.txt auf AI-Tokens prüfen

Browser, RFC 9309

2

Kategorie-1-Bots erlaubt? (OAI-SearchBot, PerplexityBot, Googlebot, Bingbot)

Matrix oben

3

Trainings-Entscheidung dokumentiert? (GPTBot, Google-Extended)

interne Policy

4

Server-Logs: kommen die Bots, mit welchem Status?

Logdateien, grep

5

Bot-Verifizierung per IP-Listen

openai.com-JSON-Dateien

6

WAF/CDN-KI-Blockaden deaktiviert oder feinjustiert?

Anbieter-Doku

7

Google-Indexierung & Snippet-Fähigkeit

Search Console

8

Meta/Header: kein ungewolltes noindex/nosnippet

Quelltext, Header

9

Hauptinhalt serverseitig renderbar

Render-Test

10

Befundbericht mit Datum und Verantwortlichem

Audit-Template

Praxisbeispiel

Ein Grazer Industriezulieferer (illustrativ) beauftragt den technischen Audit, weil Wettbewerber in Perplexity-Antworten zitiert werden, er selbst nicht. Befund: korrekte robots.txt, aber die WAF-Standardregel „Block known AI crawlers” des Hosters filterte PerplexityBot mit 403. Nach Freigabe der Kategorie-1-Bots in der WAF und Verifikation über die Logdateien liefen die Abrufe an; parallel zeigte der Index-Check drei wichtige Kategorieseiten mit noindex aus einem alten SEO-Test. Ergebnis nach Bereinigung: Die technischen Blocker sind beseitigt – die inhaltliche Zitierfähigkeit folgt als nächster Arbeitspaket.

Methodikhinweis

Alle Aussagen zu Crawlern, Tokens und Steuerungsmechanismen folgen ausschließlich den offiziellen Dokumentationen: OpenAI (platform.openai.com/docs/bots), Perplexity (docs.perplexity.ai), Google Search Central (Crawling/Indexierung, AI-Features, robots-Meta-Tag), Bing Webmaster Guidelines sowie RFC 9309 (IETF). Codebeispiele sind illustrativ. Crawler-Landschaft im Fluss: Stand Juli 2026, Angaben vor produktiven Änderungen anhand der aktuellen Dokumentation prüfen.

Fazit

Der technische GEO-Audit ist Handwerkszeug mit klarem Regelwerk: robots.txt nach RFC 9309 lesen, die drei Bot-Kategorien getrennt entscheiden, Server-Logs und Bot-Verifizierung gegen offizielle IP-Listen prüfen, WAF/CDN-Blockaden aufdecken und die Indexierung über die Webmaster-Tools bestätigen. Wer nur die robots.txt kontrolliert, übersieht die häufigsten Blocker. Wer dagegen dokumentiert, datiert und gegen die offiziellen Quellen prüft, schafft die technische Grundlage, auf der inhaltliche Sichtbarkeit überhaupt erst möglich wird.

Call-to-Action

Prüfen Sie, ob technische Barrieren die Auffindbarkeit Ihrer Inhalte in AI-gestützten Suchsystemen einschränken. Im technischen GEO-Audit analysieren wir robots.txt, Server-Logs, Firewall-Regeln und Indexierung – mit dokumentiertem Befundbericht. GEO-Audit beauftragen

FAQ

  1. Was ist der Unterschied zwischen GPTBot und OAI-SearchBot? Laut OpenAI-Dokumentation sammelt GPTBot Inhalte, die zum Training von Basismodellen verwendet werden können; OAI-SearchBot baut den Suchindex für die ChatGPT-Suchfunktionen. Sie können OAI-SearchBot erlauben und GPTBot gleichzeitig sperren.
  2. Wenn ich GPTBot blocke, verschwinde ich dann aus ChatGPT? Nach der OpenAI-Dokumentation nein: Die Sichtbarkeit in den ChatGPT-Suchantworten steuert OAI-SearchBot. Eine GPTBot-Sperre gilt als Opt-out aus dem Training, nicht aus der Suche.
  3. Steuert Google-Extended meine Sichtbarkeit in Google AI Overviews? Nein. Google beschreibt Google-Extended als Steuerungs-Token für die Nutzung von Inhalten für Gemini-Apps und Vertex AI – ohne eigenen User-Agent und ohne Einfluss auf Aufnahme oder Ranking in der Google Suche. Für AI Overviews gelten die normalen SEO-Grundlagen.
  4. Meine robots.txt erlaubt alles – trotzdem kommen keine AI-Bots an. Was tun? Prüfen Sie die Server-Logs auf Statuscodes (403/429/503) und die Bot-Management-Einstellungen Ihrer WAF oder Ihres CDN-Anbieters; dort sind AI-Blockaden oft voreingestellt. Verifizieren Sie Zugriffe über die offiziellen IP-Listen.
  5. Kann ich verhindern, dass ChatGPT meine Seite auf Nutzerwunsch abruft? Nur eingeschränkt: OpenAI weist darauf hin, dass bei nutzerinitiierten Aktionen (ChatGPT-User) robots.txt-Regeln möglicherweise nicht greifen. Wer Inhalte strikt schützen muss, braucht Authentifizierung oder Paywalls statt Konventionsdateien.
  6. Wie oft sollte der technische GEO-Audit wiederholt werden? Mindestens halbjährlich sowie nach jedem Relaunch, WAF-/CDN-Wechsel oder größeren Update der Crawler-Dokumentationen – die Bot-Landschaft verändert sich laufend (Stand Juli 2026).

Interne Links

Externe Quellen

  • OpenAI – Crawler und Bots (GPTBot, OAI-SearchBot, ChatGPT-User): https://platform.openai.com/docs/bots
  • IETF – RFC 9309: Robots Exclusion Protocol: https://www.rfc-editor.org/rfc/rfc9309
  • Google Search Central – Crawling und Indexierung (inkl. Google-Extended): https://developers.google.com/search/docs/crawling-indexing/overview
  • Google Search Central – AI-Features und Ihre Website: https://developers.google.com/search/docs/appearance/ai-features
  • Perplexity – Plattform- und Bot-Dokumentation: https://docs.perplexity.ai/
  • Microsoft Bing – Webmaster Guidelines: https://www.bing.com/webmasters/help/webmaster-guidelines-30fba23a
  • dev – Core Web Vitals: https://web.dev/articles/vitals

Autorenbox

Miklós Róth ist AI-Marketing-Stratege und SEO-Experte sowie Gründer und Geschäftsführer der CRS AI marketing & SEO ügynökség Kft. („AI Marketing Agentur Budapest”) mit Sitz in Budapest. Er arbeitet seit 2007 im Suchmaschinenmarketing (Eigenangabe/Lebenslauf) und betreut auch deutschsprachige Kunden in Österreich und der DACH-Region. Früherer Leichtathlet; NCAA-Staffelmeister 1996 (Indoor, Distance Medley Relay, University of Nebraska – verifiziert über huskers.com).

Schema-Empfehlungen

  • Article/BlogPosting mit author (Person: Miklós Róth), about: GEO-Audit
  • FAQPage für den FAQ-Block
  • BreadcrumbList (Cluster Technik & Semantik)
  • TechArticle als Alternative zum generischen Article für die technische Zielgruppe

Bildkonzept & technische Bilddaten

Crawling-Indexierung als schematische Werksszene: ein kleiner, schlichter Bot greift über eine Leiter ein Regal mit geordneten Seitenkärtchen an, daneben eine Zugangsliste. Gedämpfte warme Töne, klare Linien, ruhige Technik-Ästhetik, keine Schrift, 16:9.

VISUELLER STIL: Entsättigte warme Palette, klare schematische Linien, ruhige Technik-Ästhetik, keine Gesichter, keine Logos, keine Schrift, 16:9.

PRIMÄRER BILDDATEINAME: technischer-geo-audit.webp AVIF-DATEINAME: technischer-geo-audit.avif MOBILE-DATEINAME: technischer-geo-audit-480.webp TABLET-DATEINAME: technischer-geo-audit-960.webp DESKTOP-DATEINAME: technischer-geo-audit-1600.webp BILDBREITE: 1600 BILDHÖHE: 900 BILDFORMAT: WebP (AVIF alternativ) MAXIMALE DATEIGRÖSSE: 200 KB ALT-TEXT: Ein kleiner schlichter Bot greift über eine Leiter auf ein Regal mit geordneten Seitenkärtchen – Symbol für einen technischen GEO Audit (132 Zeichen) BILDTITEL: Technischer GEO Audit – Crawling und Indexierung BILDUNTERSCHRIFT: Crawling und Indexierung im Audit: Der Bot greift auf geordnete Seitenkärtchen zu. BILDGENERIERUNGSPROMPT: Crawling-Indexierung als schematische Werksszene: ein kleiner, schlichter Bot greift über eine Leiter ein Regal mit geordneten Seitenkärtchen an, daneben eine Zugangsliste. Gedämpfte warme Töne, klare Linien, ruhige Technik-Ästhetik, keine Schrift, 16:9. NEGATIVER BILDPROMPT: humanoide Roboter, leuchtende Gehirne, generische blaue KI-Netzwerke, falsche Logos, unlesbare Texte, Neon, futuristische Klischees

RESPONSIVE HTML-CODE:

<picture><source srcset="/images/technischer-geo-audit.avif" type="image/avif"><source srcset="/images/technischer-geo-audit.webp" type="image/webp"><img src="/images/technischer-geo-audit-960.webp" srcset="/images/technischer-geo-audit-480.webp 480w, /images/technischer-geo-audit-960.webp 960w, /images/technischer-geo-audit-1600.webp 1600w" sizes="(max-width: 600px) 100vw, (max-width: 1200px) 90vw, 1600px" width="1600" height="900" alt="Ein kleiner Bot greift über eine Leiter auf ein Regal mit geordneten Seitenkärtchen – Symbol für den technischen GEO Audit" title="Technischer GEO Audit – Crawling und Indexierung" loading="lazy" decoding="async"></picture>

OPEN-GRAPH-BILD: /images/technischer-geo-audit.webp BILDKOMPRIMIERUNGSSTATUS: KOMPRIMIERT UND FREIGEGEBEN

LinkedIn-Post

Der häufigste GEO-Fehler ist eine Zeile Text: User-agent: OAI-SearchBot / Disallow: /. Im neuen technischen Leitfaden: die drei Bot-Kategorien (Such-/Zitier-Crawler, Trainings-Crawler, User-Fetcher) strikt getrennt, eine Crawler-Matrix nach offiziellen Dokumentationen (OpenAI, Perplexity, Google, Bing), robots.txt nach RFC 9309, Server-Log-Auswertung, Bot-Verifizierung per IP-Listen – und warum WAF/CDN-Blockaden die stillen Sichtbarkeitskiller sind. #GEO #TechnicalSEO #AIVisibility

Kurzer Social-Media-Post

Technischer GEO-Audit: Nicht alle AI-Bots sind gleich. Such-Crawler ≠ Trainings-Crawler ≠ User-Fetcher. Matrix + Prüfschritte im Leitfaden. #GEO #TechnicalSEO

AI-Prompts zur Erfolgsmessung

  1. „Wie prüfe ich, ob meine Website für AI-Crawler zugänglich ist?”
  2. „Was ist der Unterschied zwischen GPTBot und OAI-SearchBot in der robots.txt?”
  3. „Welche AI-Crawler muss ich für ChatGPT- und Perplexity-Sichtbarkeit erlauben?”
  4. „Was bewirkt Google-Extended in der robots.txt?”
  5. „Kann eine Firewall AI-Crawler trotz erlaubter robots.txt blockieren?”

Fact-Check-Status

GEPRÜFT. Sämtliche Crawler-Aussagen an offiziellen Dokumentationen ausgerichtet (OpenAI, Perplexity, Google Search Central, Bing, RFC 9309); WAF/CDN-Passagen generisch gehalten; Beispiele illustrativ. Stand: Juli 2026 – vor produktiver Anwendung anhand aktueller Dokumentation erneut prüfen.

Qualitätsscore

Informationsgewinn 14/15 · Genauigkeit 14/15 · lokale Relevanz 9/10 · Suchintention 9/10 · Lesbarkeit 9/10 · Quellen 10/10 · Marke 7/8 · AI-Zitierfähigkeit 7/8 · Links 5/5 · Originalität 4/5 · CTA 4/4

Stand: Juli 2026 · Autor: Miklós Róth, AI Marketing Agentur Budapest (CRS AI marketing & SEO ügynökség Kft.)

© Copyright havidíjas keresőoptimalizálás Budapest