Google의 새 Gemini 라인업

Google이 최근 Gemini 의 새로운 모델들을 출시했다.

사실 정식 버전은 아니고 실험용( Experimental ) 버전.

그 모델들은 다음과 같다.

Gemini 1.5 Pro Exp
Gemini 1.5 Flash Exp
Gemini 1.5 Flash 8B Exp

우선 1.5 Pro Exp 와 1.5 Flash Exp 의 경우에는 기존 버전의 업데이트라고 보면 된다. 실제로 테스트해보면, 1.5 Pro Exp 의 경우에는 기존 1.5 Pro 와 비교해서 조금 더 성능이 올라갔고, ( 벤치마크 성능도 향상되었다. 자료를 가져오진 않았지만 기존 출시된 버전중에는 최고 수준이라고 보면 된다. ) 1.5 Flash Exp 의 경우에도 당연히 최고는 아니지만, 엔트리 버전중에서는 가장 훌륭한 수준으로 향상되었다.

두개의 버전의 경우에는 수주내에 기존 버전 1.5 Pro 와 1.5 Flash 로 반영된다고 한다. ( 기존에 001 버전이었으니 002 버전으로 업데이트 될듯 하다. )

출처 : Chatbot Arena

표를 확인해 보면, Gemini 1.5 Pro Exp 버전이 2위에 있고, 6위에 Gemini 1.5 Flash Exp 가 있다.

재미있는것은 10,11위에 있는 Gemini 1.5 Pro 보다도 1.5 Flash Exp 가 상위에 있다는것이다.

1~5위까지는 각 회사들의 플래그 쉽 버전들이고 ( GPT 4o , Gemini 1.5 Pro , Grok 2 ) 6,7 위는 각 회사의 엔트리 라인 ( GPT 4o mini , Gemini 1.5 Flash ) 이다. 한동안 Claude 3.5 Sonnet 이 최상위였는데.... 이 업계의 발전 속도는 진짜..

아무튼 개인적으로 두개의 버전 ( 1.5 Pro , 1.5 Flash )는 시간 지나면 곧 정식버전이 될꺼고, 현재 궁금증을 가지고 있는것은 1.5 Flash 8b 버전.

우선 벤치 마크를 한번 보고 이야기 하자.

출처 : Chatbot Arena

위의 벤치 마크를 보면 1.5 Flash 8b Exp 의 성능은 대충 기존의 Claude 3 Sonnet 과 비슷하고 위아래로 는 대충 기존 1.5 Flash 보다는 떨어지지만, Llama 3 70 b 등과 비슷한 성능을 보여준다.

Flash 가 Pro 의 경량화 버전인데, Flash 8b 는 그보다도 훨씬 경량화 된 버전이라는것을 알 수 있다. (아마도 그렇겠지? )

우선 몇가지 직접 테스트를 해봤는데, 우리 서비스에서 많이 사용하는 문장 테스트.

번역하기.
요약하기.
글 작성하기

다른 테스트는 다른곳에도 많으니까, 간단히 몇가지를 테스트 해봤는데, 복잡한 JSON 의 구조로 된 텍스트를 번역했을 경우, Flash 에서는 만족스러운 결과물이 출력되지 않았으나, 확실히 Pro 라인업에서는 만족. 게다가 Pro Exp 버전에서는 좀 더 깔끔한 결과물이 출력되었다.

요약,글 작성에서는 Flash는 물론이고, Flash 8b 에서도 만족스러운 결과물을 보여줬다. 고도의 어려운 작업이 아닌이상 단순한 작업들은 Flash 8b 를 활용할 수있는게 보이는 대목.

성능이나 파라메터를 확인했을때 구글에서는 정식 출시에서는 Flash 8b의 가격을 상당히 저렴하게 책정할듯 하다.

아마도 기존의 타사의 라인업들에 큰 데미지를 줄 정도로 책정할 거 같은데, 출시되면, 그때 다시 "또" 가격표를 들고 돌아와 보겠다.

Google의 새 Gemini 라인업 - Experimental

댓글0