Ini adalah postingan yang diterjemahkan oleh AI.
Pilih Bahasa
Teks yang dirangkum oleh AI durumis
- Google telah meluncurkan model eksperimental baru, termasuk Gemini 1.5 Pro Exp, Gemini 1.5 Flash Exp, dan Gemini 1.5 Flash 8B Exp. Khususnya, Gemini 1.5 Pro Exp telah ditingkatkan kinerjanya dibandingkan dengan versi sebelumnya, dan Gemini 1.5 Flash Exp telah ditingkatkan ke tingkat terbaik di antara versi entri.
- Gemini 1.5 Flash 8B Exp menunjukkan kinerja yang sebanding dengan Claude 3 Sonnet dan merupakan versi ringan dari jajaran Flash. Dalam hal terjemahan teks dengan struktur JSON yang kompleks, kinerjanya sedikit lebih rendah daripada jajaran Pro, tetapi dalam hal peringkasan dan penulisan, ia menunjukkan hasil yang memuaskan.
- Google diperkirakan akan menawarkan Gemini 1.5 Flash 8B Exp dengan harga yang lebih murah saat diluncurkan secara resmi, yang akan berdampak besar pada jajaran produk dari perusahaan lain. Setelah diluncurkan, kami akan membagikan analisis perbandingan harga lagi.
Google baru-baru ini meluncurkan model baru Gemini.
Sebenarnya bukan versi resmi, melainkan versi percobaan (Experimental).
Model-model tersebut adalah:
- Gemini 1.5 Pro Exp
- Gemini 1.5 Flash Exp
- Gemini 1.5 Flash 8B Exp
Untuk 1.5 Pro Exp dan 1.5 Flash Exp, dapat dianggap sebagai pembaruan dari versi sebelumnya. Ketika diuji, 1.5 Pro Exp menunjukkan peningkatan kinerja dibandingkan 1.5 Pro sebelumnya (kinerja benchmark juga meningkat. Meskipun tidak menyertakan data, tetapi di antara versi yang diluncurkan sebelumnya, dapat dianggap sebagai yang terbaik). 1.5 Flash Exp juga tentu saja bukan yang terbaik, tetapi merupakan peningkatan paling signifikan di antara versi entry-level.
Kedua versi tersebut akan diterapkan ke versi 1.5 Pro dan 1.5 Flash sebelumnya dalam waktu beberapa minggu (versi sebelumnya adalah 001, jadi kemungkinan akan diperbarui ke 002).
Sumber: Chatbot Arena
Jika melihat tabel, versi Gemini 1.5 Pro Exp berada di peringkat kedua, dan Gemini 1.5 Flash Exp di peringkat keenam.
Yang menarik adalah 1.5 Flash Exp lebih tinggi daripada Gemini 1.5 Pro yang berada di peringkat 10 dan 11.
Peringkat 1 hingga 5 ditempati oleh versi unggulan masing-masing perusahaan (GPT 4o, Gemini 1.5 Pro, Grok 2), sedangkan peringkat 6 dan 7 ditempati oleh lini entry-level masing-masing perusahaan (GPT 4o mini, Gemini 1.5 Flash). Selama ini Claude 3.5 Sonnet berada di peringkat teratas ... kecepatan perkembangan industri ini benar-benar ...
Pokoknya, secara pribadi, kedua versi (1.5 Pro, 1.5 Flash) akan segera menjadi versi resmi, dan yang ingin saya ketahui sekarang adalah versi 1.5 Flash 8b.
Mari kita bahas setelah melihat benchmark-nya.
Sumber: Chatbot Arena
Melihat benchmark di atas, kinerja 1.5 Flash 8b Exp kurang lebih sama dengan Claude 3 Sonnet, sedikit lebih rendah atau lebih tinggi dari 1.5 Flash sebelumnya, tetapi mirip dengan Llama 3 70 b.
Flash adalah versi ringan dari Pro, dan Flash 8b adalah versi yang jauh lebih ringan (mungkin begitu?).
Saya telah mencoba beberapa tes langsung, termasuk tes kalimat yang sering digunakan dalam layanan kami.
- Menerjemahkan.
- Meringkas.
- Menulis.
Karena ada banyak tes lain di tempat lain, saya hanya mencoba beberapa tes. Ketika menerjemahkan teks dengan struktur JSON yang kompleks, Flash tidak menghasilkan output yang memuaskan, tetapi Pro menghasilkan output yang memuaskan. Selain itu, versi Pro Exp menghasilkan output yang lebih bersih.
Untuk meringkas dan menulis, Flash dan bahkan Flash 8b menghasilkan output yang memuaskan. Terlihat bahwa Flash 8b dapat digunakan untuk tugas sederhana yang tidak terlalu rumit.
Melihat kinerjanya dan parameternya, Google tampaknya akan menetapkan harga Flash 8b yang sangat murah saat diluncurkan secara resmi.
Mungkin akan ditetapkan dengan harga yang sangat rendah sehingga akan memberikan dampak besar pada jajaran produk perusahaan lain. Kita tunggu saja saat diluncurkan, dan saya akan kembali membahasnya bersama daftar harga.
