MoE (Mixture-of-Experts, 전문가 혼합)

정의

하나의 AI 모델 안에 여러 개의 '전문가(expert)' 유닛을 두고, 입력이 들어올 때마다 라우터가 가장 적합한 일부 유닛만 선택적으로 활성화하는 신경망 아키텍처다.

핵심 특징

  • 전체 파라미터 수는 크게 유지하면서 실제 연산에 쓰이는 파라미터는 일부에 불과해, 모델 용량과 추론 속도를 동시에 확보할 수 있다.
  • Mellum2의 경우 12B 전체 파라미터 중 토큰당 2.5B만 활성화해 연산량을 약 5분의 1 수준으로 줄였다.
  • 에이전트처럼 AI 호출이 수십 번 반복되는 워크로드에서 비용·속도 양면의 이점이 극대화된다.
  • 라우팅 설계의 품질이 성능을 좌우하며, 전문가 유닛이 제대로 분화되지 않으면 Dense 모델 대비 이점이 줄어드는 것이 알려진 한계다.

관련 항목

  • [[mellum2]]
  • [[ai-agent]]

인용 출처

haruzine 관점

파라미터를 '얼마나 많이' 쌓느냐보다 '얼마나 골라 쓰느냐'로 경쟁 축이 이동하고 있다는 신호.

마지막 검토

2026-06-02