Corpusrank · Crawler-Transparenz

CorpusrankBot.

Diese Seite richtet sich an Seitenbetreiber, Hosting- und Security-Teams. Sie erklärt, was der CorpusrankBot tut, wofür die Daten genutzt werden, und wie Sie ihn steuern, blockieren, verifizieren und freischalten.

Aktiv · CorpusrankBot/1.0

01 Was ist der CorpusrankBot

Ein Bot, auch Web-Robot, Web-Spider oder Web-Crawler genannt, ist eine Software, die einfache, wiederkehrende Aufgaben automatisch und strukturiert ausführt. Die häufigste Anwendung ist das Crawlen von Webseiten.

Der CorpusrankBot ist der Crawler, den Corpusrankaussendet, um öffentlich erreichbare Webinhalte zu erfassen und aktuell zu halten. Er ruft Inhalte im Auftrag des jeweiligen Seitenbetreibers oder einer von ihm beauftragten Agentur ab.

02 Wofür die gesammelten Daten genutzt werden

Die vom CorpusrankBot erfassten Daten fließen in folgende Analysen ein:

Sichtbarkeit einer Domain in KI-gestützter Suche und generativen Antwortsystemen (AI Overviews, AI Mode, ChatGPT, Perplexity, Gemini, Claude)
Brand-Context-Profile, die zeigen, was KI-Systeme über eine Marke „wissen“
Ableitung realistischer Suchanfragen und Query-Sets entlang der Customer Journey
Zitations- und Wettbewerbsanalysen: welche Quellen KI-Systeme zu einem Thema zitieren
Content- und Struktur-Empfehlungen, um die Zitierbarkeit einer Seite in KI-Antworten zu verbessern

03 Wie der CorpusrankBot Ihre Seite crawlt

Der Crawl-Prozess beginnt mit einer Liste von Webseiten-URLs. Besucht der CorpusrankBot diese URLs, speichert er die enthaltenen Links für das weitere Crawlen. Diese Liste, auch „Crawl Frontier“ genannt, wird nach festen Corpusrank-Regeln wiederholt besucht, um eine Seite effizient auf Änderungen abzubilden: neue Inhalte, neue Seiten und tote Links.

Der Crawler liest Inhalte. Er füllt keine Formulare aktiv aus, probiert keine Logins und betreibt kein Preis- oder Inventar-Scraping.

04 So steuern oder blockieren Sie den CorpusrankBot

Auch wenn die meisten Bots harmlos und nützlich sind, möchten Sie das Crawlen vielleicht einschränken. Der einfachste Weg dafür ist die robots.txt. Diese Textdatei enthält Anweisungen, wie ein Bot Ihre Seite verarbeiten soll. Wir befolgen den Robots Exclusion Protocol (RFC 9309).

Wichtig: Die robots.txt muss im obersten Verzeichnis des Hosts liegen, für den sie gilt. Andernfalls hat sie keine Wirkung auf den CorpusrankBot.

Crawlen vollständig unterbinden

Um den CorpusrankBot komplett auszusperren, fügen Sie diese Regel hinzu:

User-agent: CorpusrankBot
Disallow: /

Tempo drosseln statt blockieren

Wir unterstützen die Crawl-delay-Direktive. Der Crawler legt Pausen von bis zu 10 Sekunden zwischen Anfragen ein; höhere Werte werden auf dieses Limit begrenzt. Ist kein Crawl-delaygesetzt, passt der CorpusrankBot die Anfragefrequenz automatisch an die aktuelle Serverlast an.

User-agent: CorpusrankBot
Crawl-delay: 5
Disallow: /intern/     # einzelne Pfade ausschließen

Wildcards (*) in Pfadangaben werden unterstützt.

Verhalten bei robots.txt-Statuscodes

Die robots.txt sollte immer den Statuscode HTTP 200 zurückgeben.
Bei einem 4xx-Code nimmt der Crawler an, dass keine robots.txt existiert und keine Einschränkungen gelten.
Ein 5xx-Code verhindert, dass der CorpusrankBot Ihre Seite crawlt.
Ein 3xx-Code (Weiterleitung) wird verarbeitet.

Subdomains und Vorlaufzeit

Haben Sie Subdomains, legen Sie auf jeder eine eigene robots.txt an. Sonst geht der Crawler davon aus, dass er die Subdomain vollständig crawlen darf.
Änderungen an Ihrer robots.txt erkennt der Crawler innerhalb von bis zu einer Stunde.

Um „File not found“-Einträge in Ihrem Server-Log zu vermeiden, legen Sie eine leere robots.txt an, falls Sie keine Regeln benötigen.

05 So schalten Sie den CorpusrankBot frei

Sitzt vor Ihrer Seite ein CDN oder eine WAF, kann unser Traffic trotz korrekter robots.txtgeblockt oder mit einer Challenge belegt werden. Erlauben Sie uns dann zusätzlich auf Firewall-Ebene:

Cloudflare

WAF Custom Rule: wenn cf.bot_management.verified_bot und User-Agent CorpusrankBot→ Skip / Allow. Alternativ IP-Access-Rule auf unsere Ranges.

Akamai

Im Bot Manager den CorpusrankBot einer erlaubten Kategorie zuordnen oder eine eigene „Friendly Bots“-Kategorie per User-Agent + IP definieren.

AWS WAF / Cloud Armor

Allow-Regel auf unsere IP-Ranges mit höherer Priorität als Block- und Rate-Limit-Regeln, optional plus User-Agent-Match.

nginx / Apache

IPs aus ipranges.json per allow erlauben oder mild rate-limiten statt blocken.

06 Identität & Verifizierung

User-Agent	CorpusrankBot/1.0 (+https://www.corpusrank.com/bot)
Betreiber	Corpusrank
IP-Ranges (JSON)	www.corpusrank.com/bot/ipranges.json
Key-Directory	/.well-known/http-message-signatures-directory
Reverse DNS	*.bot.corpusrank.com (z. B. crawl-01.bot.corpusrank.com)
Kontakt / Abuse	crawler@corpusrank.com

Alle Anfragen kommen aus einem festen, dedizierten IP-Pool, der ausschließlich vom CorpusrankBot genutzt wird. Sie können jede IP, die sich als CorpusrankBot ausgibt, über Forward-Confirmed Reverse DNS prüfen — dasselbe Verfahren wie bei Googlebot:

# 1) Reverse-Lookup der IP → muss auf *.bot.corpusrank.com zeigen
host 116.202.188.185
# 2) Forward-Lookup des Ergebnisses → muss dieselbe IP zurückgeben
host crawl-01.bot.corpusrank.com

Stimmen beide Lookups nicht überein, ist die Anfrage nicht von uns. Zusätzlich können Sie die IP gegen unsere veröffentlichte IP-Liste prüfen. Für kryptografisch signierten Traffic nutzen wir Web Bot Auth (HTTP Message Signatures, RFC 9421) mit dem oben verlinkten Key-Directory.

07 Häufige Fragen

Warum ruft der Bot Seiten ab, die nicht existieren oder seltsame URL-Parameter haben?

Erkennt der CorpusrankBot nicht existierende Seiten, stoppt er in der Regel deren Crawling. Er kann eine nicht mehr vorhandene Seite jedoch weiter ansteuern, wenn andere Seiten im Web auf sie verlinken.

Warum erscheinen Anfragen, die wie Formular- oder Login-Versuche aussehen?

Der CorpusrankBot sendet Formulare nicht aktiv ab. Arbeitet ein Formular jedoch mit der GET-Methode, werden die Eingaben Teil der URL und sind für jeden zugänglich, der die URL kennt — auch für Crawler, die dem Link folgen. Wir empfehlen, solche Formulare auf die POST-Methode umzustellen.

Der Bot befolgt unsere robots.txt nach einer Migration nicht.

Wenn Sie eine Seite migrieren (zum Beispiel von HTTP auf HTTPS), denken Sie daran, auch dierobots.txt mitzumigrieren. Andernfalls findet der Crawler die alten Regeln nicht mehr.

Wie verifiziere ich, dass eine Anfrage wirklich von Corpusrank stammt?

Per Forward-Confirmed Reverse DNS gegen *.bot.corpusrank.com oder durch Abgleich der IP mit unserer veröffentlichten IP-Liste. Beides ist in Abschnitt 06 beschrieben.

Sollte ich den Bot über die IP-Adresse blockieren?

Besser nicht dauerhaft. Wir nutzen einen festen, dokumentierten IP-Pool, der sich aber ändern kann. Steuern Sie das Crawling bevorzugt über die robots.txt und halten Sie sich bei IP-Allowlists an unsere stets aktuelle ipranges.json.

08 Support & weitere Informationen

Allgemeine Informationen zu Bots finden Sie unter robotstxt.org. Maßgeblich für unser Verhalten sind RFC 9309 (Robots Exclusion Protocol) und RFC 9421 (HTTP Message Signatures).

Haben Sie Fragen zum CorpusrankBot, erreichen Sie uns unter crawler@corpusrank.com. Vermuten Sie, dass der Crawler Ihre robots.txt über längere Zeit ignoriert, senden Sie uns bitte Ihre Website-URL und die Log-Einträge der betreffenden Anfragen. Wir klären das umgehend.