|
'안다'와 '된다' 사이
Repo-To-Skill: Distilling GitHub Repositories Into AI4AI Skills 베이징 인공지능 연구원(BAAI) | 2026.9.2 아카이브(arXiv)
인공지능(AI) 에이전트가 머신러닝 연구를 처음부터 끝까지 수행하기 시작했습니다. 모델 백본과 계획·실행·기억·검증을 맡는 하네스(harness)는 갖췄지만, 방법을 아는 것과 실제로 돌아가게 만드는 것 사이의 노하우는 여전히 에이전트 바깥에 남아 있습니다.
연구진은 이 빠진 층을 운영 지식(operational knowledge)이라 부릅니다. 없는 지식이 아닙니다. 깃허브 저장소와 논문에 이미 있지만, 사람이 읽으라고 쓰인 형태라 작업 중에 통째로 불러오기엔 너무 큽니다.
디스코(DisCo)는 이걸 압축된 스킬(skill)로 증류합니다. 방식은 두 갈래입니다. 널리 쓰이는 저장소를 미리 스킬로 만들어두는 쪽과, 지금 맡은 과제가 요구하는 스킬을 그때그때 만드는 쪽. 전자를 오픈 생태계 전체에 적용해 저장소 1,000개에서 검증된 스킬 5,000여 개를 뽑아 20개 영역 178개 능력군으로 묶은 AREX-Skill 라이브러리를 공개했습니다.
백본(GPT-5.5)과 하네스, 실행 예산을 모두 고정한 채 스킬만 붙였습니다. MLE-bench에서 134.3% 향상, 페이퍼벤치(PaperBench) 34.4%, 프론티어CS(FrontierCS) 9.2%, 패스넷(PassNet) 14.0%. 모델을 키우거나 바꾸지 않고 맥락만 더해서 얻은 수치라는 게 핵심입니다.
사내에 쌓인 저장소와 문서를 재사용 가능한 스킬로 정리하는 일이 모델 교체보다 큰 차이를 만들 수 있다는 뜻이어서 실무적으로 읽힙니다. 다만 평가가 ML 연구 과제에 몰려 있고, 스킬 5,000개를 어떤 기준으로 검증했고 어떻게 유지할 것인지는 논문이 충분히 답하지 않았습니다.
허깅페이스(Hugging Face) 데일리 페이퍼 주간 상위(520표). 마이크로소프트의 스킬옵트(SkillOpt), 상하이 AI 연구소의 콜리그스킬(COLLEAGUE.SKILL)에 이어 '스킬을 에이전트의 외부 상태로 다루는' 연구가 몇 달째 줄을 잇고 있습니다.
논문 보기 →
|