Google'ın Yeni Gemini Serisi - Deneysel

Google, yakın zamanda Gemini'nin yeni modellerini piyasaya sürdü.

Aslında tam sürüm değil, deneysel (Experimental) bir sürüm.

Bu modeller şunlardır:

• Gemini 1.5 Pro Exp
• Gemini 1.5 Flash Exp
• Gemini 1.5 Flash 8B Exp

Öncelikle 1.5 Pro Exp ve 1.5 Flash Exp, önceki sürümlerin güncellenmiş versiyonları olarak düşünülebilir. Gerçekten de test ettiğinizde, 1.5 Pro Exp'nin önceki 1.5 Pro'ya kıyasla performansının biraz daha arttığını ve (ölçütlendirme performansı da iyileşti. Verileri getirmedim ama piyasaya sürülen önceki sürümler arasında en iyi seviyede olduğunu söyleyebiliriz.) 1.5 Flash Exp'nin de elbette en iyi olmamakla birlikte, giriş seviyesi sürümler arasında en iyi şekilde geliştiğini görüyoruz.

Bu iki sürümün önümüzdeki birkaç hafta içinde önceki 1.5 Pro ve 1.5 Flash sürümlerine yansıtılması planlanıyor. (Önceki sürüm 001 ise, 002 sürümüne güncellenecek gibi görünüyor.)

Tabloya baktığımızda, Gemini 1.5 Pro Exp sürümü 2. sırada ve 6. sırada Gemini 1.5 Flash Exp yer alıyor.

İlginç olan, 10 ve 11. sırada yer alan Gemini 1.5 Pro'dan bile 1.5 Flash Exp'nin daha üst sırada olması.

1-5. sıralar her şirketin amiral gemisi sürümlerine ait (GPT 4o, Gemini 1.5 Pro, Grok 2) ve 6-7. sıralar ise her şirketin giriş seviyesi ürünlerine (GPT 4o mini, Gemini 1.5 Flash) ait. Bir süre Claude 3.5 Sonnet en üst sırada yer almıştı... Bu sektördeki gelişme hızı gerçekten de...

Neyse, şahsi olarak bu iki sürümün (1.5 Pro, 1.5 Flash) zamanla resmi sürüm olacağını düşünüyorum ve şu anda merak ettiğim şey 1.5 Flash 8b sürümü.

Önce ölçütlendirmeye bir bakalım.

Yukarıdaki ölçütlendirmeye baktığımızda, 1.5 Flash 8b Exp'nin performansının kabaca önceki Claude 3 Sonnet ile aynı olduğunu ve yukarı aşağı olarak önceki 1.5 Flash'tan biraz daha düşük olmasına rağmen, Llama 3 70 b gibi benzer bir performans sergilediğini görüyoruz.

Flash, Pro'nun hafifletilmiş bir sürümü iken, Flash 8b'nin ondan da çok daha hafifletilmiş bir sürüm olduğunu görebiliyoruz. (Muhtemelen öyledir, değil mi?)

Önce birkaç tane doğrudan testi denedim, durumis hizmetimizde sıkça kullandığımız metin testi.

• Çevirmek.
• Özetlemek.
• Yazı yazmak.

Diğer testler başka yerlerde de mevcut, bu yüzden birkaç tanesini kısaca test ettim. Karmaşık JSON yapısına sahip metinleri çevirdiğimde, Flash tatmin edici bir sonuç üretmedi, ancak Pro serisinde kesinlikle tatmin ediciydi. Dahası, Pro Exp sürümünde daha temiz bir çıktı elde edildi.

Özetleme ve yazı yazma konusunda Flash'ın yanı sıra Flash 8b de tatmin edici sonuçlar verdi. Çok karmaşık olmayan görevlerde, Flash 8b'yi kullanılabileceğini gösteren bir durum.

Performans ve parametrelerine baktığımızda, Google'ın Flash 8b'yi resmi sürümde oldukça uygun fiyatlı bir şekilde piyasaya süreceği anlaşılıyor.

Muhtemelen piyasadaki diğer ürünlere büyük zarar verecek şekilde fiyatlandıracaklardır. Piyasaya sürüldüğünde, tekrar "tekrar" fiyat listesini getirerek bu konuya döneceğim.