AI 페스타 2026 전시장에 갔다가 반가운 기업과 인물을 만났습니다. 래블업이고 김종민 엔지니어입니다. 래블업은 GPU 인프라를 최적의 환경으로 구동할 수 있도록 돕는 기업입니다. 한 장을 가진 작은 팀부터 수천 장의 클러스터를 운영하는 기관까지, 규모와 환경에 관계없이 동일한 수준의 AI 인프라를 경험할 수 있도록 돕습니다.

9월 말 자체 행사를 마련했는데 간다고 했다가 못갔습니다. 그래서 더 반가웠습니다. 지난주에는 기업들이 AI를 활용해 실제 업무를 처리했는지 주목하고 있다고 전해드렸는데요 이번 소식은 그것과 결이 같습니다. 실제 업무를 처리할 때 '비용' 통제를 하고 싶기 때문입니다.

이런 영역을 핀옵스(FinOps)라고 부릅니다. 결제 금액을 관리하는다는 것이죠. 사용한 만큼 비용을 지불한다는 말은 언뜻 보기에 무척 좋은 거 같지만 관리하고 통제하지 않으면 사용 기업들은 엄청난 금액의 비용청구서를 받아드는 악몽 같은 서비스기도 합니다.

전기나 통신 같은 유틸리티 사업자들의 모델처럼 기존 테크 기업들도 수익 모델을 그렇게 가져가고 있습니다. 클라우드 기업들이 대표적이죠. 올해가 AWS가 S3라는 스토리지 서비스를 3월 14일 런칭한지 20주년이 되는 해입니다.

이 영역에 보안 기업인 팔로알토네트웍스가 포트키를 인수했고, 결제 서비스 기업인 스트라이프가 지난 8월 중순 오픈라우터를 인수한다고 발표하면서 더 주목을 받고 있습니다. 아마도 내년 행사에 가면 모두가 이 기능을 구현하고 서비스하고 있다고 할 거 같습니다. 기본 중에 기본이기 때문입니다.

래블업은 GPU를 낭비없이 가장 잘 쓸 수 있게 하는 기업입니다. 여러 모델들을 활용하는 기업들의 인프라 소프트웨어를 담당하다보니 자연스럽게 이 영역으로 확대하면서 진출하는 거 같습니다. 국내 AI 인프라 SW 기업이 많지 않습니다. 오랫동안 이 분야에 뛰어들어 개척해 가고 있습니다. 래블업만의 뽀족한 침을 기대해봐도 좋을 거 같습니다.

강화학습으로 에이전트를 훈련할 때는 같은 문제를 여러 번 풀게 한 뒤 잘한 시도와 못한 시도의 점수 차이로 배웁니다. 그런데 전부 실패하거나 전부 성공하면 비교할 차이가 없어 그 경험은 통째로 버려집니다. 연구진의 실험에서는 모델 크기에 따라 이런 경우가 전체의 37~98%였습니다.

연구진이 내놓은 자기 회고 증류(SRD, Self-Retrospection Distillation)는 버려지던 시도에서 다른 교훈을 꺼냅니다. 에이전트는 문제를 풀기 전에 어디서 걸려 넘어질지를 먼저 예측합니다. 풀이가 끝나면 같은 모델이 완성된 과정을 보고 그 예측을 채점합니다.

'그때 알았더라면 좋았을 것'을 '시작 전에 내다보는 능력'으로 옮겨 심는 셈입니다. 이 예측은 훈련용 목표일 뿐이어서 실제로 쓸 때는 추가 부담이 없습니다.

시도의 98%가 전부 실패하던 20억 파라미터 설정에서 기존 강화학습은 끝까지 성공률 0.0%에 머물렀지만, SRD를 더하자 같은 시도 횟수로 60.6%까지 올랐습니다. 수학, 코딩, 검색, 가상 집안일(ALFWorld), 쇼핑(WebShop) 등 10개 과제에서는 기존 방법보다 최대 24.2포인트 높았습니다. 학습 신호가 없다고 여겨지던 실패 기록이 사실은 가장 많은 정보를 담고 있었다는 뜻입니다.

작은 모델로 어려운 업무를 시작해야 하는 기업이라면 처음의 연속 실패를 훈련 자산으로 바꿀 길이 생긴 것입니다. 다만 60.6%는 훈련 중 성공률이고, 실험은 큐원(Qwen) 계열 20억~90억 파라미터 소형 모델에 한정됐으며, 코드는 아직 공개되지 않았습니다.

9월 마지막 주에 소개한 '안목' 논문에서는 결과를 이미 본 교사 모델이 학생을 가르쳤습니다. 이번 논문은 교사를 따로 두지 않고 모델이 자기 경험을 되짚어 스스로 선생이 됩니다. 지난주 공모 부정행위 논문이 스스로 만든 학습 신호가 얼마나 쉽게 오염되는지 보여줬다면, 이번에는 그 자기 신호를 제대로 쓰는 방법을 내놓은 셈입니다. 허깅페이스(Hugging Face) 데일리 페이퍼 주간 4위(156표).

<소스>
- [Self-Retrospection Distillation: Turning Post-hoc Experiences into Prior Foresight]
- Paper page — Hugging Face
- Hugging Face Daily Papers, Week 41