Cloudflare introduce controlul diferențiat al crawlerelor AI în funcție de scop (heise.de)

• Cloudflare introduce trei categorii de crawler-e AI: Search, Agent, Training
• Din septembrie 2026, blocarea implicită a crawler-elor de instruire/agent pe noile domenii cu publicitate
• Baza de date enterprise BotBase clasifică roboții și nivelurile de utilizare

"Cloudflare extinde controlul asupra crawlerelor AI: operatorii de site-uri pot acum distinge și bloca accesul în funcție de scop (căutare, agent, instruire). Începând cu 15 septembrie 2026, noile domenii vor bloca implicit crawler-ele de instruire și agent pe site-urile cu publicitate, permițându-le însă pe cele ale motoarelor de căutare. Cloudflare introduce și BotBase, o bază de date de roboți verificați cu clasificări și niveluri de utilizare. Funcțiile sunt disponibile pentru toți clienții, inclusiv în planul gratuit."