Tema
- #ChatGPT
- #OpenAI
- #rastreador
- #robots.txt
- #GPT
Creado: 2024-07-27
Creado: 2024-07-27 23:29
OpenAI (GPT) opera bots de rastreo.
Básicamente, GPT también necesita recopilar datos para poder seguir aprendiendo y actualizándose, por lo que realiza rastreo,
en sus inicios utilizaba datos de Wikipedia y noticias de diferentes medios de comunicación, y también operaba una gran cantidad de rastreadores, lo que generó controversia. Actualmente, opera oficialmente GPTBot, y este bot respeta robots.txt, por lo que si se bloquea, no recopilará datos.
Información relacionada: https://platform.openai.com/docs/bots
Por ejemplo, si en robots.txt se escribe
solo se bloqueará GPTBot,
y si se quiere permitir GPTSearch y bloquear GPTBot, se puede hacer de la siguiente manera.
Utilizando las partes necesarias de manera adecuada, se puede bloquear el rastreo no autorizado de GPT.
Comentarios0