Come bloccare il crawler bot di OpenAI (GPT)

OpenAI (GPT) gestisce dei crawler bot.

Fondamentalmente, anche GPT deve raccogliere dati per poter continuare ad apprendere e migliorare, motivo per cui esegue il crawling, ma

all'inizio utilizzava i dati di Wikipedia e le notizie di varie agenzie stampa, oltre a gestire un gran numero di crawler, il che ha causato polemiche. Ora, però, gestisce ufficialmente GPTBot, un bot che rispetta i file robots.txt e smette di raccogliere dati se bloccato.

Contenuto correlato: https://platform.openai.com/docs/bots

Ad esempio, se nel file robots.txt si inserisce

si blocca solo GPTBot,

mentre se si vuole bloccare GPTBot e consentire GPTSearch, che è stato recentemente rilasciato, si può fare come segue.

Utilizzando opportunamente le sezioni necessarie, è possibile bloccare il crawling non autorizzato di GPT.