Jev, LLM 대신 에이전트의 빠른 판단을 맡는 AI 모델
TypeSafe AI의 Jev는 텍스트 생성 대신 분류와 구조화된 의사결정에 특화된 모델
회사 측에 따르면 분류 작업에서 비교 대상 LLM 대비 추론은 최대 200배 빠르고, 비용은 최대 400분의 1
LLM이 추론과 생성을 맡고, Jev가 모델 선택이나 도구 실행 전 위험 판단을 담당하는 방식으로 활용
동작 방식
현재 상태와 질문을 입력하면 정해진 타입의 답과 확률을 반환
보정된 의사결정을 위한 강화학습인 RLCD로 학습한 ‘System One’ 모델
하나의 상태에 여러 질문을 보내면 병렬로 처리. 질문 추가에 따른 응답 시간 변화가 작고, 추가 질문의 토큰 비용만 발생한다는 설명
Choice: 선택지별 확률과 전체 신뢰도 반환Score: 순서가 있는 기준에 따라 연속 점수, 분포, 신뢰도 반환Noul: 예·아니요 질문에서 진술이 참일 확률 반환
LangChain 연동과 활용
langchain-typesafe의TypeSafeClassifier로 상태와 질문을 전달하고 분류 결과를 받는 방식텍스트, 구조화된 데이터, LangChain 메시지를 입력으로 지원
모델 라우팅: 단순한 요청에는 저렴하고 빠른 모델, 복잡한 요청에는 성능이 높은 모델을 선택
도구 실행 검사:
AutoModeMiddleware로 도구 호출의 위험성을 평가하고 실행 전에 차단고객 문의 긴급도 판별, 이메일 분류, 브라우저 에이전트 등에도 활용 가능
의미
에이전트가 매 판단마다 범용 LLM을 호출하면서 생기는 지연과 비용을 줄이는 접근
자유로운 추론과 텍스트 생성에는 LLM을, 반복적인 분류와 판단에는 Jev를 사용하는 역할 분담
제시된 속도와 비용 수치는 회사 측의 분류 작업 비교 결과이며, 에이전트 전체 성능이 같은 비율로 개선된다는 의미는 아님