노타, 문샷AI '키미 K3' 경량화…구동 GPU 8장에서 4장으로 줄였다

[테크수다 기자 도안구 eyeball@techsuda.com] AI 모델 경량화·최적화 기업 노타가 문샷AI의 초거대 AI 모델 '키미 K3(Kimi K3)'를 경량화해 구동에 필요한 그래픽처리장치(GPU) 수를 최대 절반으로 줄였다고 5일 밝혔다. 노타는 자체 개발한 '비균일 전문가 프루닝(Non-uniform Expert Pruning)' 기술을 적용해 전문가 모듈을 각각 25%, 50% 줄인 경량화 모델 2종을 공개했다. 이로써 모델 구동에 필요한 엔비디아 B300 GPU는 기존 8장에서 각각 6장과 4장으로 줄었다. 매개변수 2조 8000억 개 규모의 프론티어급 모델에서도 경량화 기술력을 입증했다는 평가가 나온다.

주요 내용

• 엔비디아 B300 GPU 소요량을 기존 8장에서 6장·4장으로 줄여 추론 효율과 연산 인프라 활용도를 높였다.
• 업스테이지 '솔라 오픈2'에 이어 매개변수 2조8000억 개 규모 프론티어급 모델에서도 경량화 기술을 적용했다.
• 추가 양자화가 어려운 초거대 전문가 혼합(MoE) 모델에 자체 개발한 '비균일 전문가 프루닝' 기술을 썼다.

키미 K3는 입력값에 따라 필요한 모듈만 선택적으로 활성화하는 전문가 혼합(Mixture-of-Experts·MoE) 구조로 연산 효율을 끌어올린 프론티어급 오픈웨이트 AI 모델이다. 성능이 높은 만큼 구동에 엔비디아의 최신 고성능 GPU인 B300 8장이 필요해 기업과 개발자에게는 비용과 인프라 부담이 컸다. 프론티어급 모델의 활용도를 높이려면 핵심 성능을 유지하면서 모델 크기와 연산량을 줄이는 경량화가 필수적이다.

그러나 키미 K3는 학습 단계부터 가중치와 활성값을 각각 4비트, 8비트로 낮춰 설계된 탓에 숫자의 정밀도를 낮추는 일반적인 양자화 방식만으로는 추가 압축 여지가 크지 않았다.

노타는 비균일 전문가 프루닝 기술로 이 문제를 풀었다. 모델 층별 특성과 모듈 중요도를 분석해 핵심 전문가는 남기고 기여도가 낮은 모듈만 골라 제거하는 방식이다. 모든 층을 같은 비율로 줄이던 기존 방식과 달리 층마다 제거 비율을 다르게 적용해 성능 저하를 최소화했다. 노타가 자체 평가한 결과에 따르면 층별 전문가를 같은 비율로 제거하는 REAP(Router-weighted Expert Activation Pruning) 방식보다 노타의 50% 경량화 모델이 대다수 벤치마크에서 더 높은 성능 보존율을 기록했으며, 고난도 과학·추론 능력을 평가하는 GPQA-Diamond와 지시 수행 능력을 평가하는 IFEval 점수가 각각 2.52점, 2.22점 높았다.

회사 측은 이번 성과로 대규모 MoE 모델에 대한 기술 적용성을 입증했다고 설명했다. 앞서 노타가 허깅페이스에 공개한 업스테이지 '솔라 오픈2' 경량화 모델은 공개 2주 만에 누적 다운로드 6만 8000회를 넘어섰다. 고성능 AI 모델을 더 적은 연산 자원과 비용으로 쓰려는 기업과 개발자의 수요가 반영된 결과로 풀이된다.

김태호 노타 최고기술책임자(CTO)는 "자체 개발한 비균일 전문가 프루닝 기술을 바탕으로 솔라 오픈2에 이어 프론티어급 모델인 키미 K3까지 성공적으로 경량화해 주요 성능을 유지하면서 필요한 GPU를 최대 절반으로 줄였다"며 "다양한 프론티어급 AI 모델을 한정된 연산 자원에서도 효율적으로 쓸 수 있도록 기술 적용 범위를 넓히겠다"고 말했다. 노타가 공개한 솔라 오픈2와 키미 K3 경량화 모델은 허깅페이스에서 확인할 수 있다.

노타 키미 K3 경량화, 이런 점이 궁금하다

Q. 비균일 전문가 프루닝은 어떤 기술인가.

A. 전문가 혼합(MoE) 모델에서 층별 특성과 모듈 중요도를 분석해 핵심 전문가 모듈은 남기고 기여도가 낮은 모듈만 선별해 제거하는 경량화 기술이다. 모든 층을 같은 비율로 줄이는 기존 방식과 달리 층마다 제거 비율을 다르게 적용해 성능 저하를 줄인다.

Q. 왜 양자화 대신 프루닝을 썼나.

A. 키미 K3는 학습 단계부터 가중치와 활성값을 각각 4비트, 8비트로 낮춰 설계됐다. 숫자의 정밀도를 낮춰 크기와 연산량을 줄이는 일반적인 양자화 방식으로는 추가 압축할 수 있는 범위가 제한적이어서 모듈 단위로 접근하는 프루닝을 택했다.

Q. GPU를 줄이면 성능은 얼마나 떨어지나.

A. 노타 자체 평가 기준으로 50% 경량화 모델이 REAP 방식보다 대다수 벤치마크에서 성능 보존율이 높았고, GPQA-Diamond와 IFEval에서 각각 2.52점, 2.22점 앞섰다. 다만 이는 회사가 자체적으로 측정한 결과로, 제3자 검증 수치는 아니다.

Q. 경량화 모델은 어디서 쓸 수 있나.

A. 노타가 공개한 솔라 오픈2와 키미 K3 경량화 모델은 글로벌 AI 플랫폼 허깅페이스에 올라와 있다. 기업과 개발자는 B300 GPU 6장 또는 4장 구성으로 모델을 운영할 수 있다.

[Seoul = Techsuda eyeball@techsuda.com]