Perspective: MoE 설계의 진짜 가치는 한 번 잘 쓰는 것이 아니라 여러 번 싸게 부르는 에이전트 시대에 있다

핵심 주장

Mellum2의 MoE 구조와 멀티모달 제거는 기능 부족이 아니라, AI를 단일 호출이 아닌 연속 파이프라인으로 부르는 에이전트 시대에 비용·지연을 동시에 압축하기 위한 명시적 트레이드오프 선택이다.

근거

• Mellum2는 전체 120억 파라미터 중 토큰당 25억 개만 활성화하는 MoE 아키텍처로, 동급 오픈 모델 대비 추론 속도 2배 이상을 달성했다고 JetBrains가 발표했다.
• JetBrains는 Mellum2의 설계 의도로 라우팅·오케스트레이션, RAG 파이프라인, 서브 에이전트 등 '멀티 모델 호출이 빈번한 지연 민감형 워크로드'를 명시했다.
• 텍스트·코드 전용으로 멀티모달을 의도적으로 배제해 모델을 경량·고효율로 유지했으며, Apache 2.0 라이선스로 상업적 무료 사용이 가능하다.

반론

• 추론 속도가 2배 빠르더라도 코드 완성·오류 탐지 정확도가 GPT-4o나 Claude 3.5 Sonnet 수준에 미치지 못한다면, 빠르지만 틀린 제안을 수정하는 비용이 속도 이득을 상쇄할 수 있다.
• 현재 대부분의 국내 개발팀은 여전히 AI를 단발성 질의응답 방식으로 사용하고 있어, 에이전트 파이프라인 최적화라는 Mellum2의 핵심 강점이 실제 작업 환경에서 체감되지 않을 수 있다.
• MoE 구조는 파라미터 일부만 활성화하지만 전체 모델을 메모리에 올려야 하므로, 온프레미스 배포 시 하드웨어 요구사항이 예상보다 높아 중소 팀의 실질적 도입 장벽이 될 수 있다.

적용 조건

• AI 호출이 단발성이 아니라 RAG, 서브 에이전트, 오케스트레이션 등 연속 파이프라인 형태로 설계된 워크플로우에서만 속도·비용 우위가 의미 있다.
• 이미지·음성·영상 등 멀티모달 입력이 필요한 작업에는 적용 불가 — Mellum2는 텍스트·코드 전용이다.
• 정확도보다 응답 지연과 운영 비용이 우선 최적화 대상인 환경(예: 대규모 코드 리뷰 자동화, CI/CD 파이프라인 내 AI 삽입)에서 트레이드오프가 유리하게 작동한다.

한국 독자 의미

국내에서 JetBrains IDE(IntelliJ, PyCharm)를 주력으로 쓰는 자바·코틀린 백엔드 개발팀과 AI 도구 온프레미스 도입을 검토 중인 기업은 Mellum2를 Apache 2.0 무료 상업 라이선스 기반의 비용 기준선 모델로 즉시 평가 대상에 올릴 수 있다.

이 관점을 쓰는 글

• content/briefs/introducing-mellum2-a-12b-mixture-of-experts-model-by-jetbrains.md

마지막 검토

2026-06-02