[정변의 기술변론] "반장님 말씀이 맞는지는 누가 확인합니까?"…기록지 판단을 검증하는 법
정확성과 재현성…'검증됨·조건부·재현 안 됨·수정 필요'로 구분해 남긴다
암묵지와 피지컬AI ⑤
지난 회(④)에서는 기록지의 빈칸을 인터뷰·작업영상·센서·디지털트윈 중 무엇으로 채울지 고르고, 장비를 켜기 전에 점검할 사항을 살폈습니다. 이번 회(⑤)는 그렇게 채운 기록지가 과연 맞는지, 숙련자가 없어도 다른 사람이 따라 할 수 있는지를 확인하는 '정확성·재현성 검증'을 다룹니다. 다음 회(⑥)에서는 기록지에 '예비'로 표시해 둔 성격 칸을 어떤 기준으로 최종 판단할지, 숙련자가 회사를 떠날 때 가져갈 수 있는 지식과 그렇지 않은 지식을 어떻게 나눌지 살핍니다.
"반장님 말씀이 맞는지는 누가 확인합니까?"
가상사례 A사는 4주 동안 면담과 촬영을 거쳐 B 반장의 '주입 속도 조정 기준' 기록지(TK-26-01)를 채웠고, B 반장도 내용을 확인했다. 그러자 로봇·AI 업체 C사가 이 기록지로 바로 로봇 학습을 시작하자고 했다.
회의에서 품질팀장이 물었다. "반장님 말씀이 맞는지, 틀리는지는 누가 확인합니까? 반장님이 안 계실 때 다른 사람이 이 기록지만 보고 해도 같은 결과가 나옵니까?" 정확성과 재현성을 묻는 이 두 질문이 이번 회의 주제다.
숙련자가 확인한 기록인데 왜 다시 검증하나
숙련자의 확인은 "내가 한 말이 맞게 기록됐다"는 뜻에 그친다. "그 판단이 항상 옳고 다른 사람도 똑같이 따라 할 수 있다"는 뜻은 아니다. 사람의 기억은 불완전하다. 자기가 하는 일을 실제와 조금 다르게 기억하기도 하고, 말이나 글로 옮기는 과정에서 조건 하나가 빠지기도 쉽다. 철학자 마이클 폴라니가 "우리는 우리가 말할 수 있는 것보다 더 많이 알고 있다(We know more than we can tell)"고 한 이유가 여기에 있다.
피지컬 AI에서는 이 차이가 더 커진다. 사람은 이상한 지시를 받으면 멈칫하지만, 잘못된 기록으로 학습한 로봇은 그 잘못을 같은 방식으로 반복할 수 있다. 주조처럼 완성품을 나중에 검사하는 것만으로 결함을 전부 찾기 어려운 공정이라면 더욱 그렇다. 품질경영 국제표준 ISO 9001도 결과물을 사후 검사로 확인할 수 없는 공정은 계획된 결과를 낼 수 있는지 유효성을 확인하고 주기적으로 다시 확인하도록 요구한다(8.5.1 f). 검증은 기록지를 실제로 쓸 수 있는 자료로 바꾸는 단계다.
무엇을, 누가, 어떻게 확인하나
검증은 기록지의 판단 행 하나씩, 두 단계로 나눠 진행하길 권한다.
① 정확성: 기록지의 판단을 숙련자의 말 말고 다른 자료와 대조한다. ④화에서 '출처' 칸을 만든 이유가 여기에 있다.
- 교차 확인: 같은 공정을 아는 다른 숙련자가 기록지를 읽고 동의하는지, 다르게 판단하는 조건이 있는지 묻는다.
- 기록 대조: 과거 불량 이력과 공정 기록에서 "속도를 그대로 뒀을 때 기포 불량이 났다"는 판단 이유가 실제로 확인되는지 찾아본다.
- 반례 찾기: 신호가 왔는데도 문제가 없었던 경우, 신호 없이 불량이 난 경우를 찾아 예외 칸에 보탠다.
② 재현성: 다른 작업자가 기록지만 보고 같은 판단을 내리고 비슷한 결과를 낼 수 있는지 시험한다. 시험 전에 정할 것은 세 가지다.
- 누가 수행하는가: 숙련자는 관찰만 하고 개입하지 않는다.
- 어떤 조건에서 몇 번 시험하는가
- 무엇을 합격으로 볼 것인가: 합격 기준은 반드시 미리 정한다. 시험 뒤에 정하면 검증이 아니라 결과 해석에 그친다.
실제 라인에서 시험할 때는 안전 절차를 지키고, 시험 생산분을 따로 표시해 출하품과 섞이지 않게 한다. 디지털트윈이 있다면 위험한 조건을 먼저 트윈에서 시험해 볼 수 있다. 다만 트윈이 실제 공정을 얼마나 정확히 흉내 내는지는 별도의 검증 대상이다.
시험 결과는 네 가지로 표시한다.
- 검증됨: 기록지대로 판단하고 행동했을 때 합격 기준을 충족했다.
- 조건부: 특정 설비·재료에서만 맞는다.
- 재현 안 됨: 기록만으로 전달되지 않는 부분이 남는다.
- 수정 필요: 기록과 다른 결과가 나왔다.
'재현 안 됨'은 실패가 아니다. 암묵지가 아직 언어로 바뀌지 않았다는 뜻일 뿐이며, 이런 지식은 동반 작업과 멘토링으로 넘겨야 한다는 점을 확인한 것이다.
무엇이 옳은 판단이고 몇 번 시험해야 충분한지는 품질·기술 담당이 정할 일이다. 법률가나 회사 법무팀이 설계할 부분은 누가, 언제, 무엇을 확인했는지가 남는 '기록과 권한의 구조'다.
법은 검증을 어떻게 보는가
첫째, 검증이 끝나지 않았다는 이유만으로 영업비밀성이 부정되지는 않는다. 대법원은 영업비밀의 요건을 갖춘 정보라면 바로 영업활동에 쓸 수 있을 만큼 완성되지 못했거나, 시제품만 있으면 실험으로 알아낼 수 있는 정보라도 영업비밀로 보는 데 장애가 되지 않는다고 보았다(대법원 2008. 2. 15. 선고 2005도6223 판결). 백색 LED의 재료 배합비율과 제조공정, 시제품 시험 결과 등이 문제 된 사건이다. 따라서 검증 전의 기록지도 처음부터 비밀로 잘 관리해야 한다.
둘째, 검증 기록은 정보의 가치를 보여 주는 자료가 된다. 같은 판결은 독립된 경제적 가치를, 보유자가 그 정보를 써서 경쟁자보다 이익을 얻을 수 있거나 그 정보를 얻고 개발하는 데 상당한 비용이나 노력이 드는 것으로 설명한다. 시험 횟수와 투입 시간, 검증 뒤 줄어든 불량이 적힌 기록은 그 비용과 이익을 보여 주는 재료가 될 수 있다. '수정 필요'로 나온 조건, 즉 해 봤지만 안 되는 방법도 경쟁자의 시행착오를 줄여 주는 정보일 수 있어 경제적 유용성이 인정될 여지가 있다. 그런 정보도 검증된 내용과 같은 등급으로 관리하길 권한다.
셋째, 검증을 거치면 기록지가 바뀐다. 분쟁이 생기면 회사가 언제 어떤 내용을 갖고 있었는지가 쟁점이 되므로 기록지의 버전마다 날짜와 변경 사유를 남겨야 한다. 부정경쟁방지법은 전자문서의 전자지문을 원본증명기관에 등록하고 원본증명서를 발급받으면, 등록 당시 그 전자문서에 적힌 내용대로 정보를 보유한 것으로 추정하는 제도를 두고 있다(제9조의2, 원본증명제도). 다만 이 추정은 '그 시점에 그 내용을 갖고 있었다'는 사실에 관한 것이지, 그 정보가 영업비밀이라는 점까지 추정해 주는 것은 아니다.
넷째, 검증 과정에서 새로운 기술적 해결책이 확인되면 영업비밀로 둘지 특허로 공개할지 판단하는 직무발명 검토로 넘기고, 작업자 안전에 관한 사항은 공유 대상으로 돌린다(③화의 '성격' 칸).
경영자가 오늘 정할 일: 검증할 행과 합격 기준, 그리고 활용 범위
경영자가 결정할 일은 두 가지다. 검증할 판단 행과 합격 기준을 승인하는 것, 그리고 검증 상태에 따라 기록지를 어디에 쓸지 정하는 것이다. A사의 최초 계획과 개선안은 이렇게 다르다.
- AI 학습 투입: 숙련자 확인 직후 기록지 전체를 넣으려던 것을, '검증됨' 행만 넣고 '조건부'는 조건을 함께 표시해 넣는 것으로 바꾼다.
- 신입 교육: 기록지 원본을 배포하려던 것을, 검증 상태를 표시한 교육용 사본으로 바꾼다.
- 재현 시험: 시험 뒤 결과를 보고 판단하려던 것을, 수행자·조건·횟수·합격 기준을 미리 정해 승인받는 것으로 바꾼다.
- 결과 기록: 성공한 결과만 정리하려던 것을, '재현 안 됨'과 '수정 필요'와 그 이유까지 기록하는 것으로 바꾼다.
- 버전 관리: 최신 파일로 덮어쓰려던 것을, 버전별로 보관하고 주요 버전은 원본증명 등록을 검토하는 것으로 바꾼다.
산출물은 「재현성 검증표」다. 검증표 1장은 기록지 1장에 대응한다. 머리 부분에는 위험지도 등록번호(TK-연도-일련번호), 대상 기록지 버전, 검증 책임자(품질 또는 기술 담당, 법무·보안 담당은 기록·등급 확인), 시험 계획 승인(승인자·승인일, 시험 생산분과 예상 손실 범위), 원본 등급을 적는다. 본문은 판단 행 하나가 한 행이며, 칸은 판단 행, 정확성 확인, 재현 시험 설계, 결과, 검증 상태, 후속 조치, 기록이다.
원문의 가상사례 예시는 이렇다. 01행 "주입구 소리가 둔해지면 주입 속도를 낮춤"에 대해 최근 1년 기포 불량 기록을 대조하고 같은 조건 사례를 확인했더니 반례가 1건(새 주형 로트) 나와 예외 칸에 보탰다. 재현 시험은 중급 작업자 2명이 래들 교체 직후 첫 주입에서 사전에 정한 횟수와 합격 기준(수치는 원본에만 기록)으로 수행했고, 1명은 기준을 충족했으나 1명은 '둔한 소리'를 식별하지 못했다. 그래서 검증 상태는 '조건부'이고, 신호 칸에 센서 대응값을 추가하는 것을 검토하면서 동반 작업을 4회 하기로 했다. 이 예시는 설명을 위해 만든 것으로 주조 공정의 기술적 정확성을 검증한 내용이 아니다.
작성은 검증 책임자가 하고, 대상 숙련자(결과 해석), 품질 담당(합격 기준), 법무·보안 담당(등급·버전)이 확인하며, 공장장이나 대표이사가 시험 계획과 활용 범위를 승인한다. 검증표는 기록지와 같은 저장소에 버전별로 보관하고(덮어쓰기 금지), 설비·재료·공정 조건이 바뀌거나 불량이 생기거나 정해 둔 주기가 되면 다시 검증한다. 검증 결과는 기록지 v0.3의 '검증 상태' 칸(검증됨 / 조건부 / 재현 안 됨 / 수정 필요 / 미검증, 검증표 행 번호)에 옮긴다. ③화의 '재현성 미검증' 표시가 이 칸으로 옮겨 간다.
검증 결과가 숙련자의 말과 다르게 나와도 그것은 기록을 고칠 일이지 숙련자를 평가할 일이 아니다. ③화에서 밝힌 인사평가 미사용 원칙은 재현 시험에 참여한 작업자에게도 똑같이 적용해야 한다.
자주 나오는 질문 세 가지
Q. 같은 공정을 아는 다른 숙련자가 없으면 교차 확인은 어떻게 하나?중소기업에서는 흔한 일이다. 이때는 기록 대조, 반례 찾기, 재현 시험의 비중을 높인다. 외부 전문가나 퇴직한 선배에게 확인을 받을 수도 있지만, 이 경우 기록지 원본을 보여 주기에 앞서 비밀유지 약정을 맺고 보여 주는 범위를 판단 행 단위로 제한해야 한다. 같은 업계의 다른 회사와 관계가 있는 사람이라면 더 신중해야 한다.
Q. 재현 시험에서 불량이 나면 비용과 책임은 누가 지나?시험은 회사가 승인한 계획에 따라 하는 업무다. 계획 단계에서 시험 생산분과 예상 손실을 정해 승인받아 두는 것이 좋고, 계획서에 '시험을 수행한 작업자의 잘못으로 보지 않는다'는 취지도 적어 두어야 한다. 시험 생산분은 따로 표시해 고객 납품분과 섞이지 않게 한다.
Q. AI가 기록지대로 작업해서 결과가 같게 나오면 검증이 끝난 것인가?기록지 검증과 AI 모델 검증은 구별해야 한다. 기록지 검증은 '사람의 판단이 맞게, 전달 가능하게 적혔는가'를 묻는다. 모델 검증은 '모델이 다양한 조건에서 안전하고 정확하게 작동하는가'를 묻는다. 후자는 별도의 기술 검증이 필요한 영역이다.
맺으며
검증은 숙련자의 판단이 그 사람 없이도 회사 안에서 작동하는지 확인하는 절차이지, 숙련자를 의심하는 절차가 아니다. 무엇이 맞았고 무엇이 아직 전달되지 않았는지를 구분해 기록해 두면, 회사는 AI에 무엇을 맡기고 무엇을 사람에게 남길지를 근거를 갖고 정할 수 있다.
다음 회 예고 ⑥ 근로자의 일반적 숙련과 기업 고유 영업비밀의 경계