Google की नई Gemini लाइनअप - प्रायोगिक

Google ने हाल ही में Gemini के नए मॉडल लॉन्च किए हैं।

वास्तव में, ये आधिकारिक संस्करण नहीं हैं, बल्कि प्रयोगात्मक (Experimental) संस्करण हैं।

ये मॉडल इस प्रकार हैं:

• Gemini 1.5 Pro Exp
• Gemini 1.5 Flash Exp
• Gemini 1.5 Flash 8B Exp

सबसे पहले, 1.5 Pro Exp और 1.5 Flash Exp को पिछले संस्करणों के अपडेट के रूप में देखा जा सकता है। वास्तव में, जब आप इनका परीक्षण करते हैं, तो 1.5 Pro Exp में पिछले 1.5 Pro की तुलना में थोड़ा बेहतर प्रदर्शन दिखाई देता है, (बेंचमार्क प्रदर्शन में भी सुधार हुआ है। हालांकि मैंने डेटा नहीं लिया है, लेकिन इसे मौजूदा जारी किए गए संस्करणों में से सर्वश्रेष्ठ माना जा सकता है।) 1.5 Flash Exp के मामले में भी, हालाँकि यह सर्वश्रेष्ठ नहीं है, लेकिन एंट्री-लेवल संस्करणों में यह सबसे बेहतर सुधार के साथ आया है।

इन दोनों संस्करणों को कुछ हफ़्तों के अंदर मौजूदा संस्करण 1.5 Pro और 1.5 Flash में शामिल कर लिया जाएगा। (चूँकि पहले 001 संस्करण था, इसलिए यह 002 संस्करण में अपडेट हो जाएगा।)

यदि आप चार्ट को देखें, तो Gemini 1.5 Pro Exp संस्करण दूसरे स्थान पर है, और छठे स्थान पर Gemini 1.5 Flash Exp है।

मजेदार बात यह है कि 1.5 Flash Exp, 10वें और 11वें स्थान पर मौजूद Gemini 1.5 Pro से भी ऊपर है।

पहले 5 स्थानों पर प्रत्येक कंपनी के प्रमुख संस्करण हैं (GPT 4o, Gemini 1.5 Pro, Grok 2), और 6वाँ और 7वाँ स्थान प्रत्येक कंपनी की एंट्री-लेवल लाइन (GPT 4o mini, Gemini 1.5 Flash) हैं। कुछ समय पहले तक Claude 3.5 Sonnet शीर्ष पर था... लेकिन इस उद्योग का विकास वास्तव में बहुत तेज़ है।

वैसे, व्यक्तिगत रूप से, मुझे लगता है कि ये दोनों संस्करण (1.5 Pro, 1.5 Flash) कुछ समय बाद आधिकारिक संस्करण बन जाएँगे, और मेरी जिज्ञासा 1.5 Flash 8b संस्करण को लेकर है।

पहले बेंचमार्क को एक बार देखते हैं।

ऊपर दिए गए बेंचमार्क को देखते हुए, 1.5 Flash 8b Exp का प्रदर्शन लगभग मौजूदा Claude 3 Sonnet के समान है, और यह मौजूदा 1.5 Flash से थोड़ा कम है, लेकिन Llama 3 70 b आदि के समान प्रदर्शन दिखाता है।

Flash, Pro का हल्का संस्करण है, और Flash 8b उससे भी ज़्यादा हल्का संस्करण है। (शायद ऐसा ही होगा?)

मैंने कुछ परीक्षण स्वयं किए हैं, जिनमें से कुछ हमारे 'दुरुमिस' सेवा में अक्सर उपयोग किए जाने वाले वाक्य परीक्षण हैं।

• अनुवाद करना।
• सारांश बनाना।
• लेख लिखना।

अन्य परीक्षण अन्य जगहों पर भी उपलब्ध हैं, इसलिए मैंने कुछ ही परीक्षण किए हैं। उदाहरण के लिए, जब JSON संरचना वाले जटिल टेक्स्ट का अनुवाद किया गया, तो Flash ने संतोषजनक परिणाम नहीं दिए, लेकिन Pro लाइनअप ने निश्चित रूप से संतोषजनक परिणाम दिए। इसके अलावा, Pro Exp संस्करण में और भी बेहतर परिणाम प्राप्त हुए।

सारांश और लेखन में, Flash और Flash 8b दोनों ने संतोषजनक परिणाम दिए। ऐसा लगता है कि यदि कार्य बहुत जटिल नहीं है, तो सरल कार्यों के लिए Flash 8b का उपयोग किया जा सकता है।

प्रदर्शन और पैरामीटर को देखते हुए, Google Flash 8b की कीमत को आधिकारिक लॉन्च के समय काफी कम रखेगा।

मुझे लगता है कि वे इसे अन्य कंपनियों के उत्पादों को नुकसान पहुँचाने के लिए मूल्य निर्धारण करेंगे, लेकिन लॉन्च होने पर, मैं फिर से "दूसरी बार" मूल्य सूची लेकर आऊँगा।