OpenAI (GPT) crawler bot blokkolása

Az OpenAI (GPT) működtet egy crawler botot.

Alapvetően a GPT-nek is szüksége van adatok gyűjtésére, hogy egyre többet tanulhasson és fejleszthető legyen, ezért végez crawlert,

a kezdeti időszakban a Wikipédia adatait és különféle hírügynökségek híreit használták, valamint számos crawlert működtettek, ami vitákat váltott ki. Jelenleg hivatalosan a GPTBot-ot üzemeltetik, és ez a bot tiszteletben tartja a robots.txt fájlt, így ha letiltják, akkor nem gyűjt adatokat.

Kapcsolódó tartalom: https://platform.openai.com/docs/bots

Például a robots.txt fájlban

így írva csak a GPTBot-ot blokkolja,

a most kiadott GPTSearch engedélyezése és a GPTBot blokkolása érdekében a következőképpen kell eljárni.

A szükséges elemek megfelelő használatával megakadályozható a GPT jogosulatlan crawlere.