OpenAI, Google, Microsoft e Anthropic propongono un nuovo segnale di opt-out per la protezione dei contenuti online

OpenAI, Google, Microsoft e Anthropic hanno recentemente annunciato il loro sostegno a un nuovo segnale che può essere inserito nel file robots.txt dei siti web. Questo segnale ha lo scopo di indicare ai crawler se il contenuto di un sito può essere utilizzato per addestrare modelli di intelligenza artificiale. L’iniziativa si inserisce in un contesto di crescente preoccupazione tra i proprietari di siti e gli utenti riguardo al prelievo automatico di contenuti dal web da parte di aziende che raccolgono dati per il training delle AI.

La proposta principale prevede un’estensione delle regole robots.txt, che consentirebbe di aggiungere una sezione dedicata, ad esempio con l’intestazione # AI crawlers. Gli amministratori dei siti potrebbero quindi utilizzare regole come Disallow: / per bloccare l’accesso a tutti i crawler AI, oppure specificare un singolo user-agent, come User-agent: ChatGPT-User, seguito da Disallow: /. È anche possibile limitare l’accesso a percorsi specifici, ad esempio Disallow: /author/benedict-collins, e aggiornare il file nella root del sito.

Tuttavia, è importante notare che questa soluzione funzionerebbe solo con i crawler che rispettano le direttive del robots.txt. Pertanto, viene suggerito di adottare misure di difesa in profondità, combinando più strategie per proteggere i contenuti. Tra le contromisure suggerite ci sono:

• Accesso riservato a utenti registrati: Questa misura filtra i bot, ma potrebbe aumentare il tasso di abbandono tra gli utenti.
• Rate limiting e blocco IP: Queste tecniche sono efficaci contro il traffico concentrato, ma possono essere aggirate con IP rotanti, spesso a pagamento.
• CAPTCHA: Utili contro bot meno evoluti, ma possono risultare invasivi per gli utenti e sono sempre più vulnerabili a modelli di AI avanzati.

Ogni metodo presenta compromessi tra la protezione contro lo scraping e la qualità dell’esperienza utente. Pertanto, si raccomanda di valutare attentamente l’impatto e i costi associati prima di adottare qualsiasi misura.