Cloudflare vrea ca boții AI să-și anunțe scopul vizitei pe site (search, antrenare etc), altfel amenință că-i va bloca pe toți

Prin serverele Cloudflare trece o mare parte din traficul către website-urile de pe Internet, iar acum compania dă un ultimatum celor din domeniul AI: până la 15 septembrie trebuie ca boții lor să-și identifice clar scopul pentru care intră pe site (search, antrenare AI, agenți AI etc), altfel vor fi blocați la grămadă.

În caz că nu știți, atunci când cineva intră pe site, de exemplu și pe acesta, computerul său se “prezintă”, de exemplu spune ceva de genul “Chrome-Windows” și niște date despre versiunile lor. Iar boții, măcar cei care nu încearcă să se deghizeze în trafic uman, au și ei numele lor, de exemplu Googlebot sau altceva. Mai mult de jumătate din traficul de pe Internet va fi făcut de boți începând cu 2027, a spus chiar Cloudflare într-un raport.

Cloudflare vrea ca toți boții care intră pe un site și citesc conținutul său pentru a se antrena pe respectivul text să se identifice astfel, după scopul lor. Să știi clar dacă un bot intră pe site pentru a folosi articolul tău pentru a afișa apoi rezultate în Google sau Bing, pentru a se antrena cine știe ce model AI sau pentru a face automat niște task-uri pentru un om.

Sunt sute, probabil mii de modele AI diferite în lume. Majoritatea intră pe site-uri pentru a “citi” textul, că-i antrenament gratuit. Poate că pe aceștia vrei să-i blochezi. Pe de altă parte, poate că vrei să permiți accesul unui bot agentic, căruia un om i-a cerut să caute cel mai ieftin colac de baie pentru un copil de 2 ani, iar botul intră acum pe magazine online și cercetează asta.

Cloudflare le cere creatorilor acelor boți să-i identifice clar, astfel încât tu, proprietarul de site, să poți spune “vreau boți agentici și de search, nu vreau boți care se antrenează”, probabil prin comenzi de genul noindex, norobots, notrainingAI și ce-o mai fi.

Cloudflare chiar promite și niște monetizare pentru proprietarii site-urilor de care profită boții și implicit producătorii respectivelor modele AI. Eu nu cred că le poate ieși și acest aspect. În ce-l privește pe primul, însă, adică identificarea corectă a boților, ar putea fi niște șanse de reușită. Cloudflare chiar este într-o poziție unică prin care poate bloca accesul unor astfel de boți la milioane de site-uri de toate tipurile. Treaba asta ar trebui să dea de gândit pe mai multe planuri, dar asta este altă discuție.

Și apoi probabil că Meta va compara Cloudflare pentru nșpe miliarde de dolari și va face ce dorește, dar na… până atunci, poate iese ceva.

Treaba asta cu identificarea boților n-ar fi trebuit însă pornită de Cloudflare sau vreo altă firmă privată. Eu cred că ar fi trebuit reglementată, cerută chiar de autoritățile din UE și alte state, pentru a putea alege, totuși, cine vrei să-ți intre în casă și cine nu.

Citiți mai multe chiar în articolul Cloudflare despre asta.