제미나이 4 하이드로젠 가격과 성능, 실사용 에이전트 평가 5위와 개발자 반응
AI 모델 평가 사이트 Arena(arena.ai)가 11월 12일, Gemini 4 Hydrogen(제미나이 4 하이드로젠)이 실사용 에이전트 평가 종합 5위라고 밝힘
문서 작성, 조사 같은 지식 업무만 따지면 4위로 올라 Opus 5.5, Sonnet 5.5, GPT-6 Astra를 앞섬 (Arena 발표 기준)
상위 5개 모델 가운데 가장 빠름. 작업당 비용은 Carbon 다음으로 쌈
Hydrogen은 같은 날 출시된 3.8 Flash 후속 모델임. API 가격은 입력 $1.50, 출력 $7.50 (100만 토큰당)
성능 자체는 좋다는 평이 많지만, 모델 이름과 가격 정책에는 불만이 나옴
Agent Arena 발표 내용
실제 사용자가 맡긴 작업의 기록으로 매긴 순위라서 흔한 벤치마크와 다름.
Agent Arena는 사용자가 에이전트에게 맡긴 작업 세션 290만 건 이상의 기록으로 순위를 매김. 모델끼리 투표 대결하는 기존 방식이 아님
사용자가 "완료됐다"고 확인한 비율, 칭찬과 불만, 지시를 잘 따르는지, 명령어 실수, 없는 도구를 부르는지 같은 신호를 합산함
지식 업무(Work)는 문서 작성, 전문 조사, 계획, 글쓰기 같은 사무직 작업을 뜻하고, 전체 작업의 69%로 가장 큰 카테고리임
6천 건 넘는 Hydrogen 세션을 토대로 한 발표임. Hydrogen은 막 등록돼 '잠정' 표시가 붙어 있음
실사용 순위와 속도
1위는 11월 9일 나온 Claude Fable 5.2로, 다른 모델을 큰 차이로 앞섬.
종합 점수: Fable 5.2 30.5%, Opus 5.5 19.5%, Gemini 4 Carbon 16.9%, Sonnet 5.5 16.1%, Hydrogen 14.8% (11월 11일 리더보드 기준)
바로 아래인 Fable 5.1과 GPT-6 Astra까지는 오차 범위 안이라 사실상 5~7위가 비슷함
작업 하나에 걸린 시간(중간값): Hydrogen 5.6분, Carbon 9.9분, Opus 5.5 14.3분, Fable 5.2 16.4분, Sonnet 5.5 18.1분
작업당 비용(중간값): Carbon $1.43, Hydrogen $1.61, Sonnet 5.5 $3.35, Opus 5.5 $5.66, Fable 5.2 $7.48
10분 안에 끝난 작업 비율이 82%로, GPT-6.1 Sol(55%)과 Sonnet 5.5(44%)보다 훨씬 높음
단서가 있음. Hydrogen은 세션 6,465건으로 Carbon(6만 건)보다 훨씬 적고 '잠정' 표시가 붙어 있어, 세션이 쌓이면 순위가 바뀔 수 있음
Gemini 4 Hydrogen이란
구글이 11월 12일 내놓은 3.8 Flash 후속으로, 빠른 실행용 모델임. 상위 모델 Carbon에서 만든 파생 모델임.
생각 단계를 low, medium, high, xhigh 네 단계로 조절함
외부 평가(Artificial Analysis)에서 생각 단계 high 기준 51점으로 상위 모델 Argon(50점)을 넘고, xhigh에선 54점
터미널 작업 성공률 57%로 3.8 Flash(18.2%)의 세 배, 작업 속도는 2.5배 빠름 (구글 발표)
쓸 수 있는 곳: Gemini API와 AI Studio, 제미나이 앱, 구글 검색, 워크스페이스. Antigravity는 Pro와 Ultra 구독자만 선택 가능
가격, 실제로는 올랐다는 지적
표기 가격은 3.8 Flash와 같지만, 지금 쓰는 사람 입장에선 비싸짐.
API 가격은 입력 $1.50, 출력 $7.50으로 3.8 Flash 정가와 같음
그런데 3.8 Flash는 프로모션으로 정가보다 싸게 쓸 수 있어서, 지금 갈아타면 오히려 요금이 오름
12월부터 Carbon과 Argon이 $4/$20로 두 배로 오르면서, Hydrogen은 Gemini 4 가운데 유일한 저가 모델이 됨
VentureBeat는 Haiku 5.5, GPT-6 Luna 같은 가장 싼 경쟁 모델의 최저 요금보다 토큰당 최대 15배 비싸다고 지적함
해커뉴스에서는 "구글이 싸고 빠른 등급을 버리는 거냐"는 우려가 나옴
개발자 반응
성능은 좋다는 평이 많고, 이름과 가격에는 불만이 모임. 해커뉴스 출시글 447점, 댓글 289개 (11월 13일 확인).
가장 위에 달린 댓글은 이름 불만임. 앱에서 3.8 Flash가 갑자기 "4 Hydrogen"으로 바뀌어 뭔지 검색해 왔다는 사람이 많음. 원소 번호로 보면 Carbon(6)보다 Hydrogen(1)이 작은데 성능은 Argon(18)보다 위라서 순서를 짐작할 수 없다는 지적
반대로 워크스페이스 계정에까지 바로 배포된 건 의외라는 반응. 예전엔 두 달 가까이 기다리기도 했음
"역대 최고의 제미나이 출시 같다", "Anthropic 아닌 싼 모델 처음으로 이미지를 HTML로 잘 바꿈" 등 실력 평가는 좋은 편
Zapier CEO는 자사 업무 자동화 평가에서 Argon과 사실상 동점(51.1% 대 51.3%)인데 작업당 비용이 절반이라고 밝힘
Box CEO는 자사 평가에서 정확도가 74%에서 79%로 오르고, 시간은 절반 이하, 토큰은 12% 줄었다고 공개함
Arena 발표 트윗에는 "5위에서 4위로 가는 선 하나가 차트의 전부"라는 시큰둥한 댓글이 달림
한 세션 안에서 Carbon과 Hydrogen을 바꿔 쓰는 Antigravity의 Orchestrator는 "그냥 기본으로 해 주지 왜 새 개념을 만드냐"는 회의가 나옴
Reddit에서는 Antigravity에서 학생 계정이 Hydrogen을 고를 수 없다는 불만이 올라옴
국내는 클리앙에 첫 글이 막 올라온 수준임 (조회 266, 댓글 1, 11월 13일 확인)
댓글