Lini Baru Gemini dari Google - Eksperimental

Google baru-baru ini merilis model-model baru Gemini.

Sebenarnya, ini bukan versi resmi, melainkan versi eksperimental (Experimental).

Model-model tersebut adalah sebagai berikut:

• Gemini 1.5 Pro Exp
• Gemini 1.5 Flash Exp
• Gemini 1.5 Flash 8B Exp

Untuk Gemini 1.5 Pro Exp dan 1.5 Flash Exp, dapat dianggap sebagai pembaruan dari versi sebelumnya. Jika diuji, Gemini 1.5 Pro Exp menunjukkan peningkatan kinerja sedikit dibandingkan dengan Gemini 1.5 Pro sebelumnya (performa tolok ukur juga meningkat. Meskipun tidak menyertakan datanya, versi ini dapat dianggap sebagai yang terbaik di antara versi yang sudah dirilis). Gemini 1.5 Flash Exp juga mengalami peningkatan, meskipun bukan yang terbaik, namun termasuk yang paling unggul di antara versi dasarnya.

Kedua versi ini dikabarkan akan diterapkan pada versi 1.5 Pro dan 1.5 Flash yang ada dalam beberapa minggu ke depan. (Jika sebelumnya versi 001, maka akan diperbarui ke versi 002).

Jika melihat tabelnya, Gemini 1.5 Pro Exp berada di peringkat ke-2, dan Gemini 1.5 Flash Exp di peringkat ke-6.

Yang menarik adalah Gemini 1.5 Flash Exp berada di peringkat lebih tinggi daripada Gemini 1.5 Pro yang berada di peringkat 10 dan 11.

Peringkat 1 hingga 5 ditempati oleh versi andalan masing-masing perusahaan (GPT 4o, Gemini 1.5 Pro, Grok 2), dan peringkat 6 dan 7 ditempati oleh lini dasar masing-masing perusahaan (GPT 4o mini, Gemini 1.5 Flash). Selama ini Claude 3.5 Sonnet berada di peringkat teratas… sungguh luar biasa kecepatan perkembangan industri ini…

Pokoknya, secara pribadi, kedua versi ini (1.5 Pro, 1.5 Flash) akan menjadi versi resmi dalam waktu dekat, dan yang saat ini masih membuat penasaran adalah versi 1.5 Flash 8b.

Mari kita lihat dulu hasil tolok ukurnya.

Berdasarkan tolok ukur di atas, performa Gemini 1.5 Flash 8B Exp kira-kira setara dengan Claude 3 Sonnet yang sudah ada, dan berada di atas dan bawah Claude 3 Sonnet, meskipun sedikit lebih rendah daripada Flash yang sudah ada, namun menunjukkan performa yang mirip dengan Llama 3 70 b.

Flash adalah versi ringan dari Pro, dan Flash 8b adalah versi yang jauh lebih ringan daripada Flash (mungkin begitu?).

Pertama-tama, saya telah melakukan beberapa pengujian langsung, yaitu pengujian kalimat yang sering digunakan dalam layanan kami.

• Menerjemahkan.
• Merangkum.
• Menulis.

Ada banyak pengujian lain di tempat lain, jadi saya hanya melakukan beberapa pengujian sederhana. Ketika menerjemahkan teks dengan struktur JSON yang kompleks, Flash tidak menghasilkan output yang memuaskan, tetapi lini Pro memberikan hasil yang memuaskan. Selain itu, versi Pro Exp menghasilkan output yang lebih rapi.

Untuk meringkas dan menulis, Flash dan Flash 8b menghasilkan output yang memuaskan. Tampaknya Flash 8b dapat digunakan untuk tugas-tugas sederhana yang tidak terlalu kompleks.

Melihat performa dan parameternya, Google kemungkinan akan menetapkan harga Flash 8b yang cukup rendah saat rilis resmi.

Mungkin harganya akan cukup rendah untuk memberikan dampak besar pada lini produk perusahaan lain. Kita tunggu saja peluncurannya, dan saya akan kembali lagi dengan daftar harga yang baru.