hdblog.it blockiert GPTBot
Browser: HTTP 200 · Kontroll-Fetch
| AI-Crawler | robots.txt | Live-HTTP | Verdikt |
|---|---|---|---|
| GPTBotOpenAI (ChatGPT) | — | HTTP 402 | Blockiert |
| ClaudeBotAnthropic (Claude) | — | HTTP 402 | Blockiert |
| PerplexityBotPerplexity | — | — | Zugänglich |
| Google-ExtendedGoogle (Gemini/Vertex) | — | — | Zugänglich |
| CCBotCommon Crawl (Trainingsdaten) | — | — | Zugänglich |
| anthropic-aiAnthropic (Legacy-Token) | — | — | Zugänglich |
robots.txt gefunden
Selbst nachprüfen
curl -A "GPTBot/1.2" -s -o /dev/null -w "%{http_code}\n" https://hdblog.itEin Block hat harte Wirkung: Kann OpenAIs Crawler hdblog.it nicht laden, kann die Seite in ChatGPT nicht zitiert werden — egal wie gut dein Inhalt ist. Solche Blocks kommen meist aus der Hosting-Schicht (CDN/WAF/Baukasten), nicht aus einer bewussten Entscheidung, und bleiben unbemerkt. Der Fix ist meist eine einzige Allow-Regel; die schwerere Frage ist, ob du danach auch wirklich zitiert wirst.
Verwandter Check
Wird hdblog.it in ChatGPT wirklich zitiert?Crawlbarkeit ist nur Schritt eins — eine erreichbare Seite muss in der KI-Antwort auch genannt werden, um den Kunden zu gewinnen.