|
AI끼리 일을 나누면 더 정확할까…검색 위임의 빈틈
Tamara Stojanovska 등 보훔루르대·UA Ruhr 신뢰할 수 있는 AI 연구센터 연구진 | 2026년 11월 12일 공개 | arXiv:2611.16526
Lost in Delegation: Studying the Effectiveness of Task Orchestration in Generative Search
AI 여러 개가 일을 나누면 검색도 더 정확해질까요? 독일 보훔루르대 연구진은 AI가 직접 검색하는 방식과 다른 AI에게 검색을 맡기는 방식을 비교했습니다. 책의 출간연도, 노벨상 수상자의 수상 당시 나이, 국내총생산 성장률, 제품 출시연도를 묻는 데이터셋을 만들고, 모델의 지식 기준시점 이전과 이후로 나눴습니다. 평가에는 GPT-5 등 모델 네 종류를 사용했습니다. 위임 조건에서는 지휘역과 실행역에 같은 모델을 배치하되 대화 기록을 분리했습니다. 지휘역은 웹을 직접 검색하지 못하며, 실행역의 최종 답변만 받습니다.
연구진이 비교한 모델·데이터셋·시점 조합 32개 가운데 선택적 위임은 22개에서 직접 검색보다 정확도가 낮았습니다. 지식 기준시점 이후 정보를 묻는 조건의 평균 정확도는 직접 검색 75%, 선택적 위임 64%, 강제 위임 66%였습니다. 선택적 위임은 지휘역이 직접 답하거나 검색을 맡기는 방식이고, 강제 위임은 각 질문을 실행역에 맡깁니다. 차이가 생긴 원인도 살폈습니다. 지휘역이 질문을 전달하면서 근거 없는 설명을 덧붙이거나, 실행역이 겪은 검색 실패가 지휘역에 전달되지 않는 문제가 나타났습니다. 책을 영화로 잘못 가정해 검색 방향이 틀어진 사례도 있었습니다.
다만 이 결과를 모든 다중 에이전트 시스템의 한계로 확대해서는 안 됩니다. 아직 사전공개 논문이며, 서로 독립적인 사실을 찾는 소규모 과제로 평가했습니다. 서로 다른 모델을 조합하거나 복잡한 업무를 수행하는 환경까지 검증한 것은 아닙니다. 기업이 주목할 대목은 AI의 수보다 정보를 주고받는 방식입니다. 조사 업무를 나눠 맡긴다면 답변뿐 아니라 출처, 확인하지 못한 사항, 검색 실패도 함께 전달하는지 점검해야 합니다. 이런 전달 항목을 늘리는 것만으로 정확도가 좋아진다고 보장할 수는 없습니다. 실제 업무에서는 한 모델이 직접 검색하는 방식도 비교군으로 두고, 정답률과 전체 처리 시간, 비용을 함께 평가할 필요가 있습니다.
논문 보기 →
|