Google ने हाल ही में Gemini के नए मॉडल लॉन्च किए हैं।

वास्तव में, यह आधिकारिक संस्करण नहीं है, बल्कि एक प्रायोगिक संस्करण (प्रयोगात्मक) है।

ये मॉडल इस प्रकार हैं:

• Gemini 1.5 Pro Exp
• Gemini 1.5 Flash Exp
• Gemini 1.5 Flash 8B Exp

सबसे पहले, 1.5 Pro Exp और 1.5 Flash Exp को मौजूदा संस्करणों का अपडेट माना जा सकता है। वास्तव में, जब आप परीक्षण करते हैं, तो 1.5 Pro Exp में मौजूदा 1.5 Pro की तुलना में थोड़ा बेहतर प्रदर्शन होता है (बेंचमार्क प्रदर्शन में भी सुधार हुआ है। हालांकि मेरे पास डेटा नहीं है, लेकिन यह मौजूदा रिलीज़ किए गए संस्करणों में सबसे अच्छा है)। 1.5 Flash Exp के मामले में भी, यह निश्चित रूप से सबसे अच्छा नहीं है, लेकिन यह एंट्री लेवल वर्जन के लिए सबसे अच्छा है।

कहा जा रहा है कि इन दो संस्करणों को आने वाले हफ़्तों में मौजूदा संस्करण 1.5 Pro और 1.5 Flash में शामिल किया जाएगा (चूँकि यह पहले 001 संस्करण था, इसलिए इसे 002 संस्करण में अपडेट किया जाएगा)।

यदि आप चार्ट को देखते हैं, तो Gemini 1.5 Pro Exp संस्करण दूसरे स्थान पर है, और Gemini 1.5 Flash Exp छठे स्थान पर है।

दिलचस्प बात यह है कि Gemini 1.5 Flash Exp 10वें और 11वें स्थान पर स्थित Gemini 1.5 Pro से ऊपर है।

पहले 5 स्थानों पर प्रत्येक कंपनी के प्रमुख संस्करण हैं (GPT 4o, Gemini 1.5 Pro, Grok 2), और 6वें और 7वें स्थान पर प्रत्येक कंपनी की एंट्री लाइन (GPT 4o mini, Gemini 1.5 Flash) हैं। Claude 3.5 Sonnet कुछ समय के लिए शीर्ष पर था... इस उद्योग में विकास की गति वास्तव में...

वैसे भी, व्यक्तिगत रूप से, इन दोनों संस्करणों (1.5 Pro, 1.5 Flash) को जल्द ही आधिकारिक संस्करण में अपडेट कर दिया जाएगा। वर्तमान में, मुझे 1.5 Flash 8b संस्करण में दिलचस्पी है।

पहले, आइए बेंचमार्क पर एक नज़र डालते हैं।

ऊपर दिए गए बेंचमार्क से, हम देख सकते हैं कि 1.5 Flash 8b Exp का प्रदर्शन लगभग मौजूदा Claude 3 Sonnet के समान है, और यह मौजूदा 1.5 Flash से थोड़ा ऊपर या नीचे है, लेकिन यह लगभग Llama 3 70 b के समान प्रदर्शन दिखाता है।

Flash Pro का एक हल्का संस्करण है, और Flash 8b उससे भी हल्का संस्करण है (शायद?)।

मैंने पहले कुछ प्रत्यक्ष परीक्षण किए हैं, जिसमें हमारे द्वारा उपयोग किए जाने वाले कई वाक्य परीक्षण शामिल हैं।

• अनुवाद करना।
• सारांशित करना।
• लेखन।

अन्य परीक्षणों को अन्य स्थानों पर भी किया जाता है, इसलिए मैंने बस कुछ परीक्षण किए। जब जटिल JSON संरचना वाले पाठ का अनुवाद किया गया, तो Flash ने संतोषजनक परिणाम नहीं दिया, लेकिन Pro लाइनअप ने निश्चित रूप से संतोषजनक परिणाम दिए। इसके अलावा, Pro Exp संस्करण में थोड़ा साफ-सफाई परिणाम आया है।

सारांश और लेखन में, Flash और Flash 8b ने भी संतोषजनक परिणाम दिए हैं। सरल कार्यों के लिए Flash 8b का उपयोग करना संभव है, जब तक कि यह बहुत जटिल कार्य नहीं है।

जब मैं प्रदर्शन और पैरामीटर देखता हूं, तो ऐसा लगता है कि Google आधिकारिक रिलीज में Flash 8b की कीमत काफी कम रखने जा रहा है।

मुझे लगता है कि यह अन्य कंपनियों के लाइनअप को काफी नुकसान पहुंचाएगा। लॉन्च होने पर, मैं फिर से कीमतों के साथ वापस आऊंगा।