Bu, AI tarafından çevrilen bir gönderidir.
Dil Seç
Text summarized by durumis AI
- Google, yeni deneysel modeller olan Gemini 1.5 Pro Exp, Gemini 1.5 Flash Exp ve Gemini 1.5 Flash 8B Exp'yi yayınladı. Özellikle Gemini 1.5 Pro Exp, önceki sürümden daha iyi performans gösterirken, Gemini 1.5 Flash Exp, giriş seviyesi modelleri arasında en iyisi olarak güncellendi.
- Gemini 1.5 Flash 8B Exp, Claude 3 Sonnet ile benzer bir performans sergilerken, Flash serisinin hafif bir versiyonu olarak karşımıza çıkıyor. Karmaşık JSON yapılı metin çevirisinde Pro serisine göre biraz yetersiz kalsa da, özetleme ve metin oluşturma işlerinde tatmin edici sonuçlar veriyor.
- Google, resmi olarak yayınlandığında Gemini 1.5 Flash 8B Exp'yi uygun fiyatlı olarak sunarak diğer serilere büyük bir etki yaratması bekleniyor. Yayınlandıktan sonra fiyat listesini tekrar karşılaştırmalı olarak analiz edip paylaşacağız.
Google, son zamanlarda Gemini'nin yeni modellerini yayınladı.
Aslında tam sürüm değil, deneysel (Experimental) sürüm.
Bu modeller şunlardır:
- Gemini 1.5 Pro Exp
- Gemini 1.5 Flash Exp
- Gemini 1.5 Flash 8B Exp
Öncelikle 1.5 Pro Exp ve 1.5 Flash Exp, önceki sürümlerin güncellemeleri olarak düşünülebilir. Aslında test ettiğimizde 1.5 Pro Exp'nin, önceki 1.5 Pro'ya kıyasla biraz daha iyi performans gösterdiğini (benchmark performansı da iyileştirildi. Verileri almadım ama piyasaya sürülen önceki sürümler arasında en iyi diyebiliriz.) 1.5 Flash Exp'nin de elbette en iyi olmasa da, giriş seviyesi versiyonlar arasında en iyi seviyeye yükseldiğini gördük.
Bu iki sürümün, birkaç hafta içinde önceki 1.5 Pro ve 1.5 Flash sürümlerine yansıtılması bekleniyor. (Daha önce 001 sürümüydü, bu nedenle 002 sürümüne güncellenecek.)
Kaynak: Chatbot Arena
Tabloya baktığımızda Gemini 1.5 Pro Exp sürümü 2. sırada ve 6. sırada da Gemini 1.5 Flash Exp yer alıyor.
İlginç olanı, 1.5 Flash Exp'nin 10 ve 11. sırada bulunan Gemini 1.5 Pro'dan daha üst sırada olması.
1-5 arası her şirketin amiral gemisi sürümleri (GPT 4o, Gemini 1.5 Pro, Grok 2) ve 6, 7 her şirketin giriş seviyesi modelleri (GPT 4o mini, Gemini 1.5 Flash). Bir süredir Claude 3.5 Sonnet en üst sırada yer alıyordu ama... Bu sektörün gelişme hızı gerçekten...
Her neyse, şahsen bu iki sürüm (1.5 Pro, 1.5 Flash) zamanla resmi sürüm olacak ve şu an merak ettiğim 1.5 Flash 8b sürümü.
Öncelikle bir benchmark'a bakalım ve konuşalım.
Kaynak: Chatbot Arena
Yukarıdaki benchmark'a baktığımızda 1.5 Flash 8b Exp'nin performansının önceki Claude 3 Sonnet'e benzer olduğunu ve 1.5 Flash'tan biraz daha düşük ama Llama 3 70 b gibi benzer bir performans gösterdiğini görüyoruz.
Flash, Pro'nun hafifletilmiş versiyonu ve Flash 8b ondan da daha hafifletilmiş bir versiyon olduğunu anlıyoruz. (Muhtemelen öyledir?)
Öncelikle birkaç doğrudan testi yaptım, hizmetimizde sıkça kullanılan cümle testi.
- Çeviri yapmak.
- Özetlemek.
- Yazı yazmak.
Diğer testler başka yerlerde de mevcut olduğu için birkaçını basitçe test ettim ve karmaşık JSON yapılı metinlerin çevirisinde Flash memnun edici bir sonuç vermedi ama Pro serisinde kesinlikle memnun edici. Üstelik Pro Exp versiyonunda daha temiz bir sonuç çıktı.
Özetleme ve yazı yazmada Flash'ta olduğu gibi Flash 8b'de de memnun edici sonuçlar alındı. Çok zorlu işler değilse, basit işler için Flash 8b'nin kullanılabileceği görülüyor.
Performans veya parametreleri göz önüne alındığında Google, resmi sürümde Flash 8b'nin fiyatını oldukça düşük tutmayı planlıyor gibi görünüyor.
Muhtemelen diğer şirketlerin ürünlerine ciddi bir darbe vuracak şekilde fiyatlandıracaklar. Piyasaya çıktığında tekrar "tekrar" fiyat listesini getireceğiz.
