이번에 이틀동안 연달아 구글과 OpenAI 에서 새로운 AI 와 관련된 내용들을 엄청나게 발표했다.

일반적으로 사람들이 사용하기에 궁금한 부분은 크게 2가지.

성능과 가격. ( 물론 더 많은 기능들이 있지만 그건 전문 블로거들분들이 리뷰해주니까..)

Open AI - GPT

OpenAI 가 늘 그렇듯 신형 4o 는 기존 GPT-4T 보다 저렴해졌다. 성능이야 다른 많은 블로그를 검색하면 너무나도 많은 리뷰가 나오니까 패스하고, 여기서는 우선 가격만 놓고 이야기.

기본적으로 Open AI 는 GPT 3.5 Turbo 이후 처음에 GPT 4 가 나온뒤 신제품이 나올때는 매번 가격을 낮췄다. 물론 성능은 업그레이드. 현재로써는 당연히 저렴한 비용을 선택해야 할 경우에는 3.5 Turbo . 나머지 케이스는 4o 를 사용하면 될듯.

Anthopic - Claude 3

최근 Anthropic 은 신제품 발표가 없긴 하지만 가성비로 사용할 수 있는 Haiku 와 고성능의 Opus 때문에 논외로 할 수 없는 LLM 회사.

Input 토큰 가격 기준으로는 3사 중에서 가장 저렴한 Haiku 는 간단하게 텍스트들을 처리할때는 제일 저렴.

심지어, 이번에 Gemini Flash 가 나오기 전까지만 해도 Haiku 는 Gemini 1.0 Pro 보다도 성능이 좋아서 매우 유용한 LLM.

Google - Gemini

구글은 2개의 가격 시스템을 유지하고 있다.

하나는 AI Studio 다른 하나는 Vertex AI.

AI Studio 는 다른 회사들과 마찬가지로 Token 기반 가격으로 되어 있고, Vertex AI 는 특이하게도 글자 기반 가격으로 되어 있다.

위의 표를 기준으로 생각하면 1 토큰이 평균 3글자미만(1~2글자) 일 경우에는 Vertex AI 에서 사용하는게 저렴하고, 3글자 이상일경우에는 AI Studio 가 더 저렴. 근데, 보통 영문은 당연히 글자수가 넘으니까, AI Studio 가 더 저렴. 한글도 요즘은 1토큰이 여러글자인 경우가 많아서..

아무튼 입력 토큰이나 성능만 놓고 봐도 Gemini 1.5 Flash 가 1.0 Pro 보다 훨씬 낫고. 고성능의 작업이 필요한 경우에는 1.5 Pro 가 우세.

종합

성능만 놓고 봤을때 MMLU 기준으로 GPT-4o > Opus > 1.5 Pro 순인듯.

고도의 지적 작업이 필요한 경우에는 GPT-4o. 조금은 가격이 더 저렴한것을 사용하려면 Gemini 1.5 Pro 를 사용해도 괜찮을것 같다. 저게 실제로 사용해보면 체감이 살짝 다르기 때문에 사용자마다 잘 맞는것을 사용하면 된다.

저렴하게 대량의 텍스트 작업을 해야 할 경우에는 2가지 선택지가 있는데,

Input 대비 Output 의 비율이 낮은 경우 ( 예를들면 대량의 문서를 입력하고 짧은 결과물을 출력해야 하는 경우 )에는 Claude 3 Haiku 가 제일 저렴하다. 대신에 Haiku 는 출력비용이 높아서, 반대로 Output 의 비율이 높은 경우 ( 예를들면 특정한 텍스트를 입력한뒤, 이것을 수정,변경하는 작업을 지시하는 경우 ) 에는 Gemini 1.5 Flash 를 추천한다. 그런 경우에는 출력 비용이 제일 저렴한게 Flash 이다.

요약 및 결론

"나는 가격은 상관없이 무조건 최고로 복잡한 작업을 할것이다." -> GPT - 4o

"그런데, 입력 토큰의 크기가 128K 가 넘는다." ( GPT - 4o 는 128K 이하만 가능 ) -> Opus

"고성능이 필요하지만, 가격이 좀 더 저렴하거나 혹은 토큰의 크기가 200K 가 넘는다." ( Opus 는 200K 이하만 가능 ) -> Gemini 1.5 Pro

나는 최고로 저렴한 LLM 이 필요하다. -> Haiku

그런데, Input/Output 비율에서 Output 이 조금 더 많거나 혹은 200K 토큰을 넘는다. -> Gemini 1.5 Flash