Cloudflare führt differenzierte KI-Crawler-Steuerung ein (heise.de)

• Cloudflare führt drei Kategorien für KI-Crawler: Search, Agent, Training
• Ab September 2026 standardmäßige Blockade von Trainings- und Agent-Crawlern auf Werbeseiten
• Enterprise-Datenbank BotBase klassifiziert Bots und Nutzungsstufen

"Cloudflare erweitert die Steuerung von KI-Crawlern: Websitebetreiber können Zugriffe künftig nach Einsatzzweck (Suche, Agent, Training) unterscheiden und blockieren. Ab 15. September 2026 werden neue Domains standardmäßig Trainings- und Agent-Crawler blockieren, Suchmaschinen aber zulassen. Zudem führt Cloudflare mit BotBase eine Datenbank für alle verifizierten Bots ein, die eine Klassifizierung und Nutzungsstufen bietet. Die neuen Funktionen stehen allen Kunden, auch im kostenlosen Tarif, zur Verfügung."