본문으로 이동

제미나이 4 하이드로젠 가격과 성능, 실사용 에이전트 평가 5위와 개발자 반응

geul조회 13추천 0댓글 1
  • AI 모델 평가 사이트 Arena(arena.ai)가 11월 12일, Gemini 4 Hydrogen(제미나이 4 하이드로젠)이 실사용 에이전트 평가 종합 5위라고 밝힘

  • 문서 작성, 조사 같은 지식 업무만 따지면 4위로 올라 Opus 5.5, Sonnet 5.5, GPT-6 Astra를 앞섬 (Arena 발표 기준)

  • 상위 5개 모델 가운데 가장 빠름. 작업당 비용은 Carbon 다음으로 쌈

  • Hydrogen은 같은 날 출시된 3.8 Flash 후속 모델임. API 가격은 입력 $1.50, 출력 $7.50 (100만 토큰당)

  • 성능 자체는 좋다는 평이 많지만, 모델 이름과 가격 정책에는 불만이 나옴

Agent Arena 발표 내용

실제 사용자가 맡긴 작업의 기록으로 매긴 순위라서 흔한 벤치마크와 다름.

  • Agent Arena는 사용자가 에이전트에게 맡긴 작업 세션 290만 건 이상의 기록으로 순위를 매김. 모델끼리 투표 대결하는 기존 방식이 아님

  • 사용자가 "완료됐다"고 확인한 비율, 칭찬과 불만, 지시를 잘 따르는지, 명령어 실수, 없는 도구를 부르는지 같은 신호를 합산함

  • 지식 업무(Work)는 문서 작성, 전문 조사, 계획, 글쓰기 같은 사무직 작업을 뜻하고, 전체 작업의 69%로 가장 큰 카테고리임

  • 6천 건 넘는 Hydrogen 세션을 토대로 한 발표임. Hydrogen은 막 등록돼 '잠정' 표시가 붙어 있음

실사용 순위와 속도

1위는 11월 9일 나온 Claude Fable 5.2로, 다른 모델을 큰 차이로 앞섬.

  • 종합 점수: Fable 5.2 30.5%, Opus 5.5 19.5%, Gemini 4 Carbon 16.9%, Sonnet 5.5 16.1%, Hydrogen 14.8% (11월 11일 리더보드 기준)

  • 바로 아래인 Fable 5.1과 GPT-6 Astra까지는 오차 범위 안이라 사실상 5~7위가 비슷함

  • 작업 하나에 걸린 시간(중간값): Hydrogen 5.6분, Carbon 9.9분, Opus 5.5 14.3분, Fable 5.2 16.4분, Sonnet 5.5 18.1분

  • 작업당 비용(중간값): Carbon $1.43, Hydrogen $1.61, Sonnet 5.5 $3.35, Opus 5.5 $5.66, Fable 5.2 $7.48

  • 10분 안에 끝난 작업 비율이 82%로, GPT-6.1 Sol(55%)과 Sonnet 5.5(44%)보다 훨씬 높음

  • 단서가 있음. Hydrogen은 세션 6,465건으로 Carbon(6만 건)보다 훨씬 적고 '잠정' 표시가 붙어 있어, 세션이 쌓이면 순위가 바뀔 수 있음

Gemini 4 Hydrogen이란

구글이 11월 12일 내놓은 3.8 Flash 후속으로, 빠른 실행용 모델임. 상위 모델 Carbon에서 만든 파생 모델임.

  • 생각 단계를 low, medium, high, xhigh 네 단계로 조절함

  • 외부 평가(Artificial Analysis)에서 생각 단계 high 기준 51점으로 상위 모델 Argon(50점)을 넘고, xhigh에선 54점

  • 터미널 작업 성공률 57%로 3.8 Flash(18.2%)의 세 배, 작업 속도는 2.5배 빠름 (구글 발표)

  • 쓸 수 있는 곳: Gemini API와 AI Studio, 제미나이 앱, 구글 검색, 워크스페이스. Antigravity는 Pro와 Ultra 구독자만 선택 가능

가격, 실제로는 올랐다는 지적

표기 가격은 3.8 Flash와 같지만, 지금 쓰는 사람 입장에선 비싸짐.

  • API 가격은 입력 $1.50, 출력 $7.50으로 3.8 Flash 정가와 같음

  • 그런데 3.8 Flash는 프로모션으로 정가보다 싸게 쓸 수 있어서, 지금 갈아타면 오히려 요금이 오름

  • 12월부터 Carbon과 Argon이 $4/$20로 두 배로 오르면서, Hydrogen은 Gemini 4 가운데 유일한 저가 모델이 됨

  • VentureBeat는 Haiku 5.5, GPT-6 Luna 같은 가장 싼 경쟁 모델의 최저 요금보다 토큰당 최대 15배 비싸다고 지적함

  • 해커뉴스에서는 "구글이 싸고 빠른 등급을 버리는 거냐"는 우려가 나옴

개발자 반응

성능은 좋다는 평이 많고, 이름과 가격에는 불만이 모임. 해커뉴스 출시글 447점, 댓글 289개 (11월 13일 확인).

  • 가장 위에 달린 댓글은 이름 불만임. 앱에서 3.8 Flash가 갑자기 "4 Hydrogen"으로 바뀌어 뭔지 검색해 왔다는 사람이 많음. 원소 번호로 보면 Carbon(6)보다 Hydrogen(1)이 작은데 성능은 Argon(18)보다 위라서 순서를 짐작할 수 없다는 지적

  • 반대로 워크스페이스 계정에까지 바로 배포된 건 의외라는 반응. 예전엔 두 달 가까이 기다리기도 했음

  • "역대 최고의 제미나이 출시 같다", "Anthropic 아닌 싼 모델 처음으로 이미지를 HTML로 잘 바꿈" 등 실력 평가는 좋은 편

  • Zapier CEO는 자사 업무 자동화 평가에서 Argon과 사실상 동점(51.1% 대 51.3%)인데 작업당 비용이 절반이라고 밝힘

  • Box CEO는 자사 평가에서 정확도가 74%에서 79%로 오르고, 시간은 절반 이하, 토큰은 12% 줄었다고 공개함

  • Arena 발표 트윗에는 "5위에서 4위로 가는 선 하나가 차트의 전부"라는 시큰둥한 댓글이 달림

  • 한 세션 안에서 Carbon과 Hydrogen을 바꿔 쓰는 Antigravity의 Orchestrator는 "그냥 기본으로 해 주지 왜 새 개념을 만드냐"는 회의가 나옴

  • Reddit에서는 Antigravity에서 학생 계정이 Hydrogen을 고를 수 없다는 불만이 올라옴

  • 국내는 클리앙에 첫 글이 막 올라온 수준임 (조회 266, 댓글 1, 11월 13일 확인)

추천저장

댓글

댓글을 남겨 보세요
로그인한 뒤에 댓글을 올릴 수 있습니다로그인
댓글 불러오는 중
글쓰기