OpenAI (GPT) क्रॉलर बॉट को ब्लॉक करना

OpenAI (GPT) क्रॉलर बॉट संचालित करता है।

मूल रूप से, GPT को भी डेटा एकत्र करना होगा ताकि वह लगातार सीख सके और अपग्रेड हो सके, इसलिए यह क्रॉलिंग करता है,

शुरुआती दौर में, इसने विकिपीडिया डेटा और विभिन्न समाचार संगठनों की खबरों का उपयोग किया था, और इसने बड़ी संख्या में क्रॉलर संचालित किए थे, जिसके कारण विवाद हुआ था। लेकिन अब, यह आधिकारिक तौर पर GPTBot संचालित करता है और यह बॉट robots.txt का पालन करता है, इसलिए यदि आप इसे ब्लॉक करते हैं, तो यह डेटा एकत्र नहीं करेगा।

संबंधित सामग्री: https://platform.openai.com/docs/bots

उदाहरण के लिए, robots.txt में

इस तरह से लिखने पर, केवल GPTBot को ब्लॉक किया जाएगा और

हाल ही में जारी किए गए GPTSearch को अनुमति दी जाएगी, और यदि आप GPTBot को ब्लॉक करना चाहते हैं, तो आप इसे इस तरह से कर सकते हैं।

आवश्यक हिस्सों का सही उपयोग करके, आप GPT की अनधिकृत क्रॉलिंग को रोक सकते हैं।