본문으로 이동geul.io

Reflection AI Beam 공개, 501B 오픈 웨이트 모델의 성능과 공개 일정 정리

올린이 geul날짜 조회 2
  • 미국 AI 스타트업 Reflection AI가 2026년 10월 5일(현지 시간) 첫 오픈 웨이트 모델 Beam을 발표함

  • 전체 매개변수 501B 가운데 토큰마다 23B만 쓰는 MoE 모델이고, 코딩과 추론, 에이전트 작업을 겨냥함

  • 지금은 얼리 액세스 신청만 받음. 가중치와 기술 보고서는 10월 중 Apache 2.0 라이선스로 공개 예정

  • 회사가 낸 벤치마크로는 GLM 5.2와 비슷하고, Kimi K3나 DeepSeek V4.1 Flash보다는 낮은 항목이 많음

  • 2024년에 성능 부풀리기 논란이 있었던 Reflection 70B와는 다른 회사, 다른 모델임

Beam은 어떤 모델인가

  • 오픈 웨이트 모델: 학습을 마친 가중치 파일을 내려받아 자기 서버에서 돌리고 고쳐 쓸 수 있게 공개하는 모델

  • 구조는 희소 MoE(Mixture-of-Experts). 여러 전문가 망 가운데 일부만 골라 계산해서, 크기에 비해 추론 비용이 적음

    • 전체 501B, 토큰마다 쓰는 매개변수 23B

  • 컨텍스트는 최대 1M 토큰

    • 강화 학습 때는 256K까지 썼고, 중간 학습(midtraining)에서 1M으로 늘렸다고 밝힘

  • 글만 다루는 모델. 이미지나 음성 입력은 받지 않음

  • 추론을 얼마나 길게 할지 조절하는 길이 페널티를 넣어 학습함. 쓸데없이 긴 답을 줄이려는 장치

  • Reflection은 Beam이 시리즈의 첫 모델이고, 다음 모델을 이미 학습 중이라고 함

공개 일정과 쓰는 법

  • 10월 6일 현재 가중치는 아직 내려받을 수 없음

  • 공식 블로그에서 얼리 액세스를 신청할 수 있고, 신청 창구는 Reflection Playground(platform.reflection.ai)임

  • 10월 안에 공개할 것

    • 가중치 (Apache 2.0, 상업적으로 써도 됨)

    • 기술 보고서와 모델 카드

    • 모델을 돌리고 평가하고 미세 조정하는 개발 도구

  • API 가격, 지원할 추론 엔진(vLLM, SGLang 등), 양자화 버전은 발표에 없음

  • 한국어 성능도 따로 밝히지 않음. SWEBench Multilingual은 프로그래밍 언어 여러 개를 보는 시험이라 한국어와는 상관없음

벤치마크 비교: GLM 5.2, Kimi K3, DeepSeek V4.1 Flash

  • 모두 Reflection이 공식 블로그에 낸 수치이고, 외부 검증은 아직 없음

  • 빈칸은 Reflection이 표에 싣지 않은 점수

벤치마크

Beam

Inkling

GLM 5.2

Kimi K3

DeepSeek V4.1 Flash

SWEBench Verified

80.9

77.6

SWE Bench Pro v1

65.5

54.3

62.1

Terminal Bench v2.1

80.1

63.8

81.0

88.3

90.6

DeepSWE v1.1

44.4

44.0

68.0

74.2

HLE (도구 없이)

36.2

29.7

40.5

46.9

39.1

GPQA Diamond

90.5

87.2

91.2

93.5

90.9

MCP Atlas

78.7

76.0

77.8

82.3

BrowseComp

77.4

77.1

91.2

  • Inkling은 Thinking Machines Lab이 7월 15일에 낸 975B 오픈 웨이트 모델

  • 같은 미국산인 Inkling보다는 대부분 항목에서 높음

  • 중국산 GLM 5.2와는 비슷하고, Kimi K3와 DeepSeek V4.1 Flash에는 대체로 못 미침

  • Reflection이 내세우는 강점은 효율

    • 고난도 추론 벤치마크에서 GLM 5.2와 비슷한 점수를 내면서 추론 연산은 3~4배 적게 쓴다고 함

    • 2T가 넘는 Qwen 3.8 Max와 비교하면 차이가 더 크다고 함

어떻게 학습했나

  • 사전 학습: 토큰 23.8조 개, NVIDIA GB300 GPU 6,144개로 4주가 안 걸림

    • 웹 데이터, 공개 데이터, 라이선스를 산 데이터를 섞음

  • 강화 학습: GB300 GPU 10,500개로 4주 동안 롤아웃(모델이 과제를 직접 풀어 보는 시도)을 1억 회 넘게 돌림

  • 안전 정렬에는 교사 모델 여러 개로 증류하는 방식(MOPD)을 씀

  • 공식 글에 학습 곡선, 전문가 부하 분산, 층별 안정성 그래프를 자세히 실었음. 기술 보고서는 가중치와 함께 나옴

Reflection AI는 어떤 회사인가

  • 2024년 3월 세워진 미국 스타트업

    • Google DeepMind에서 Gemini 보상 모델을 이끈 Misha Laskin, AlphaGo를 함께 만든 Ioannis Antonoglou가 창업함

  • 엔비디아가 이끈 투자 라운드에서 20억 달러를 받음

  • 7월에는 Nebius와 10억 달러 규모 컴퓨팅 계약을 맺음

  • 중국 오픈 모델에 기대기 꺼리는 기업과 정부를 겨냥해 "미국산 오픈 모델"을 내세움

Reflection 70B와 헷갈리지 말 것

  • 2024년 9월 화제가 된 Reflection 70B는 OthersideAI의 Matt Shumer가 Llama 3.1을 고쳐 만든 모델

  • 발표 때 밝힌 성능이 외부 측정에서 나오지 않았고, Shumer가 사과함

  • 이름만 비슷할 뿐 Beam을 만든 Reflection AI와는 관계가 없음

커뮤니티 반응

  • Hacker News에서 288점, 댓글 76개를 받음 (10월 6일 확인)

  • 회의적인 쪽

    • "가중치도 기술 문서도 없이 신청 링크만 있다"는 지적과 "말은 쉽다, 가중치를 보여 달라"는 반응

    • DeepSeek V4.1 Flash보다 크고 돌리기 비싼데, 잰 항목 전부에서 낮다는 비판

    • 투입한 GPU와 데이터에 비해 결과가 아쉽다는 의견

    • 공식 글의 퍼즐 예시가 "며칠 전에 나온 문제"라고 했지만, 2025년 8월 LessWrong에 이미 올라온 문제라는 지적

  • 반기는 쪽

    • 새로 들어온 회사가 처음부터 1등일 수는 없고, 버전을 거듭하며 나아질 것이라는 의견

  • 중국 모델을 꺼리는 정부와 기업을 노린 "미국산 대안"이라는 점은 대부분 알아봄

  • Reflection 직원이 댓글로 학습 중 GPU, CPU, PCIe 버스, 네트워크까지 모두 감시했다고 설명함

좋아요저장

댓글

로그인 후 댓글을 남길 수 있습니다.

아직 댓글이 없습니다.