온프레미스 AI 배포 (On-premise AI Deployment)

정의

기업이 외부 클라우드 서비스를 이용하지 않고 자체 서버 인프라에 AI 모델을 직접 설치·운영하는 배포 방식이다.

핵심 특징

  • 데이터가 외부로 전송되지 않아 보안·규정 준수(컴플라이언스) 요건이 까다로운 기업에 적합하다.
  • 모델이 가벼울수록 온프레미스 운영에 필요한 GPU·서버 비용이 줄어들어, 경량 모델의 채택 유인이 크다.
  • Mellum2는 멀티모달 기능 배제로 모델을 경량화해 온프레미스 환경에서도 적은 자원으로 구동 가능하도록 설계됐다.

관련 항목

  • [[mellum2]]

인용 출처

haruzine 관점

클라우드 AI 접근이 규제상 어려운 금융·의료·공공 분야에서 경량 오픈소스 모델의 온프레미스 배포 수요가 실질적 시장으로 부상하고 있다.

마지막 검토

2026-06-02