서형주 CTO가 짚은 로봇 지능 40년의 세 물결…모델 기반 제어와 강화학습이 막힌 자리에서 '현장 배치가 곧 데이터'라는 답을 꺼냈다

[테크수다 기자 도안구 eyeball@techsuda.com] 제조업 특화 피지컬 AI 기업 카본식스(CarbonSix)가 9월 22일 서울에서 기자들을 대상으로 '미디어 에듀케이션' 행사를 열고 로봇 지능의 발전사와 자사의 제조 현장 전략을 설명했다. 문태연 대표는 숙련공이 한두 시간 시연한 데이터로 하루 만에 로봇을 학습시켜 현장에 투입하는 방식을 소개했고, 서형주 최고기술책임자(CTO)는 모델 기반 제어에서 강화학습, 모방학습으로 이어진 로봇 연구 40년을 정리한 뒤 실제 공장 배치에서 데이터를 모으는 '데이터 플라이휠'을 회사의 비전으로 제시했다. 빨래 개기나 백덤블링 같은 시연 대신 케이블 체결, 필름 떼기, 대차 부품 꺼내기 같은 공장의 난공정을 정면으로 겨눴다.

핵심 요약

• 두 시간 모으고 하루 학습 — 숙련공이 작업을 그대로 하는 동안 비전·모션 데이터를 모으고, 자체 로봇 파운데이션 모델을 하루 동안 미세조정해 현장에 배치한다. 케이블, 필름, 비닐처럼 기존 자동화가 손대지 못한 비정형 공정이 대상이다.
• 로봇 지능 40년, 세 번째 물결 — 서형주 CTO는 물리 모델을 손으로 세우던 시대와 시뮬레이터에 의존한 강화학습 시대를 지나, 사람의 시연 데이터를 대량으로 학습하는 모방학습 시대가 열렸다고 진단했다. 남은 병목은 제조 현장의 행동 데이터다.
• 배치가 곧 데이터 — 테슬라가 차를 팔아 자율주행 데이터를 모았듯 로봇도 현장에서 돈을 벌어야 데이터가 쌓인다는 논리다. 카본식스는 연말이나 내년 초 첫 사전학습 모델과 양팔 제품을 공개하고, 창원을 시작으로 지역 중견·중소기업 실증 거점을 늘린다.

휴머노이드 시연 대신 공장 난공정을 고른 이유

문태연 대표는 발표를 시작하며 카본식스가 빨래 접기나 설거지 같은 애플리케이션보다 제조에 특화한 회사라고 선을 그었다. 문 대표는 인공지능 머신비전 스타트업 수아랩(SUALAB)을 공동창업해 2019년 미국 코그넥스(Cognex)에 매각한 인물이다. 휴대폰 스크래치, 자동차 부품 필름 불량을 AI로 검사하며 10년 가까이 제조 현장에 AI를 적용해 왔다. 카본식스는 2024년 7월 설립됐고, 시드 400만 달러에 이어 올해 7월 DSC인베스트먼트와 LB인베스트먼트가 공동으로 이끈 시리즈A에서 4,000만 달러(약 623억 원)를 유치했다. 문 대표는 빅테크 출신을 포함한 연구 인력이 50명가량이라고 밝혔다.

해법은 단순하다. 문 대표는 "제조 현장의 숙련공이 원래 하던 작업을 한두 시간 그대로 하면 비전 데이터와 모션 데이터가 모이고, 독자 개발한 로봇 파운데이션 모델을 하루 동안 미세조정하면 현장에 배치할 수 있습니다"라고 설명했다. 이 과정을 제품으로 묶은 것이 2025년 9월 출시한 '시그마키트(SigmaKit)'다. 제조 특화 로봇 AI 소프트웨어, 섬세한 작업용 그리퍼, 센서 모듈, 스페이스마우스 기반 티칭 툴로 구성된다.

화면에는 난공정 영상이 이어졌다. 반짝이는 투명 비닐 포장을 벗기는 언패킹, TV 조립 뒤 위치가 매번 달라지는 전원 케이블과 USB 케이블을 꽂는 검사 공정, 타이어 휠에 붙은 보호 필름을 찢지 않고 떼는 작업이다. 케이블과 필름처럼 휘고 늘어나는 탄성체는 제조업에서 자동화가 가장 덜 된 영역이다. 화학 공장에서 위험 물질을 담은 톤백의 흐물거리는 손잡이를 크레인 고리에 거는 작업도 진행하고 있다고 했다. 문 대표는 영상 속 작업 모두 한두 시간 데이터를 모아 학습한 결과라고 강조했다.

숙련공 데이터가 왜 중요한지 보여주는 장면도 있었다. 데이터를 모을 때 두 손을 따로따로 움직이면 로봇도 서툴게 따라 한다. 실제 숙련공은 한 손으로 부품을 잡아 흔들어 자리를 잡은 뒤 다른 손으로 끼운다. 데이터를 어떻게 모으느냐에 따라 로봇의 작업 방식이 달라진다는 설명이다.

3D 비전이 놓치는 대차 속 부품, 양산 라인으로

문 대표는 공정과 공정 사이의 물류를 주목했다. 현대차그룹과 보스턴다이나믹스는 올해 CES에서 양산형 휴머노이드 아틀라스를 공개하며 2028년부터 자동차 공장의 부품 분류(파츠 시퀀싱) 작업에 투입하겠다고 밝혔다. 보스턴다이나믹스는 행사 뒤인 10월 1일 새끼손가락을 뺀 4지 로봇 손도 내놨다. 올 초 CES 2026에서 만난 보스턴다이나믹스 한 연구원은 "우리는 휴머노이드를 만들려는 게 아니다. 공장에 필요한 로봇을 만들고 있다. 손가락 하나를 더 적용하는데 엄청난 비용이 든다"고 말한 바 있다. CES 2026에서 강조한 손가락 4개 제품을 선보인 것.

엄지 4개, 나머지 세 손가락에 3개씩 모두 13자유도를 갖췄고, 손끝과 손바닥에 압력 센서를 촘촘히 깔아 드릴, 토크 드라이버 같은 공구를 쥐고 방아쇠를 당길 수 있다.

회사는 손가락 하나를 더하면 구동기 3개와 비용, 부피, 고장 가능성이 늘어난다며 실익이 없다고 설명했다. 시뮬레이션에서 강화학습한 정책을 실제 로봇으로 옮기는 데 맞춰 손을 설계했다는 설명도 붙였다. 휴머노이드 진영도 결국 공장 작업과 손을 겨누고 있다는 뜻이다. 문 대표는 이런 데모가 양산으로 넘어가려면 사람의 속도로, 대차 구석에 박히거나 뒤집힌 부품까지 꺼낼 수 있어야 한다고 지적했다.

기존 방식은 비싼 3D 비전 카메라로 위에서 찍어 위치를 계산한 뒤 로봇이 집는다. 그런데 금속이나 비닐처럼 빛을 반사하는 제품, 지나치게 검거나 얇은 부품은 3D 포인트 클라우드에 잡히지 않는다. 대차마다 구조가 달라 벽을 피해 움직여야 하는 것도 문제다. 그래서 단순 조립 공정은 자동화됐어도 공정 사이 물류는 여전히 사람 몫이다.

카본식스가 공개한 현장 영상에서는 사이사이 틈이 벌어지고 일부는 뒤집힌 채 수북이 쌓인 대차에서 로봇이 위부터 아래까지 사람 속도로 부품을 꺼냈다. 문 대표는 추석 연휴에 맞춰 이 공정을 한 개 라인 테스트가 아니라 복수 라인 양산에 적용한다고 밝혔다. 국내에서 피지컬 AI가 여러 생산 라인에 동시에 깔리는 첫 사례라는 설명이다. 고객사 이름은 공개하지 않았고, 4분기 중 고객사 동의를 받아 현장을 공개할 계획이다.

모델, 강화학습, 그리고 모방학습…로봇 지능 40년

2부는 서형주 CTO의 강의였다. 서 CTO는 MIT에서 러스 테드레이크(Russ Tedrake) 교수 지도로 박사 학위를 받았고, 올해 3월 국제로봇연구저널(IJRR)의 '시즌 최우수 논문상'을 받았다. 그는 매니퓰레이션, 즉 로봇이 세상과 접촉하며 세상을 원하는 형태로 바꿔 가는 과정을 어떻게 설계하느냐를 세 물결로 나눠 설명했다.

첫 물결은 모델 기반 제어다. 1970년대부터 연구자들은 로봇 안에 세상이 어떻게 움직이는지에 대한 물리 모델을 넣고, 그 모델로 제어 알고리즘을 설계했다. 관절 값과 속도로 상태를 설명할 수 있는 로봇 팔에서는 통했다. 하지만 드론, 이족·사족 보행으로 가면 상태 추정부터 어려워졌다. 손으로 물건을 다루는 문제는 더 심했다. 손가락이 물체에 닿기 전에는 아무리 움직여도 물체에 변화가 없고, 닿는 순간 결과가 불연속적으로 바뀐다. 작은 마찰력과 질량 차이가 큰 오차를 낳았다. 서 CTO는 박사 과정 첫 과제로 로봇에게 당근을 원하는 모양으로 자르게 하는 문제를 받았는데, 당근 조각 하나하나의 모양과 위치를 시뮬레이터에 표현하는 일부터 막막했다고 돌아봤다.

두 번째 물결은 강화학습이다. 블랙박스에 수없이 시도하며 점수가 높은 방향을 찾는다. 시뮬레이터에 마찰 계수, 제어 지연, 로봇 팔 길이를 무작위로 바꾼 수많은 세상을 만들어 평균 점수를 높이는 기법이 나오면서 2018년 오픈AI의 로봇 손이 루빅스 큐브를 돌렸고, 사족보행 로봇이 험지를 걷기 시작했다. 한계도 분명했다. 큐브 하나를 돌리는 데 시뮬레이션 경험 수천 년 치가 들었고, 다른 작업으로 넘어가려면 처음부터 다시 훈련해야 했다. 무엇보다 케이블이나 필름처럼 시뮬레이션이 불가능한 대상에는 쓸 수 없다. 현실에서 무작위로 시도하면 로봇이 부러진다.

세 번째 물결이 모방학습과 파운데이션 모델이다. 대규모 언어모델(LLM)이 다음 단어 예측과 스케일링 법칙으로 성공하자, 로봇도 관찰과 행동, 목표를 하나의 신경망에 통째로 학습시키면 되지 않느냐는 생각이 퍼졌다. 서 CTO는 10년 전 모델 기반 연구자들에게 이런 말을 했다면 핀잔을 들었을 것이라고 했다. 2024년 피지컬 인텔리전스(Physical Intelligence)의 '파이제로(π0)' 이후 학습 데이터 규모는 수만 시간에서 수십만 시간 단위로 커졌다. 문제는 행동 데이터다. 텍스트와 영상은 인터넷에 넘치지만, 사람이 그 순간 손을 어떻게 움직였는지 담은 데이터는 거의 없다. 원격 조종, 손에 쥐는 그리퍼형 수집 장치, 머리에 카메라를 단 1인칭 영상, 유튜브 영상이 모두 동원되는 이유다.

서 CTO는 인류 역사에 빗대 지금의 위치를 설명했다. 그는 "40년 동안 모델과 구조를 찾는 데 갇혀 있었는데 강화학습과 파운데이션 모델이 나오면서 진보가 갑자기 빨라졌습니다. 인류 역사로 치면 산업혁명쯤에 와 있다고 봅니다"라고 말했다. 수렵·채집 시대가 길었다가 농경 이후 변화가 급격히 빨라졌듯, 로봇 연구의 무게중심도 학계에서 기업으로 옮겨 갔다는 진단이다.

현장에 나가야 데이터가 모인다…테슬라에서 찾은 답

그렇다면 데이터는 어디서 오나. 서 CTO는 테슬라를 예로 들었다. 테슬라는 자율주행 데이터를 모으려고 차를 판 회사가 아니었지만, 차가 팔리면서 데이터가 모였고 그 데이터로 모델이 좋아졌다. 데이터를 돈 주고 사는 대신 고객이 돈을 내며 데이터를 만들어 주는 구조다. 서 CTO는 "로봇이 실제 세상에 나가서 가치를 만들어내야 사람들이 로봇을 사 갈 것이고, 거기서 데이터가 모일 것입니다"라고 말했다.

그가 꼽은 최적의 시장은 아시아 공장이다. 아마존 물류창고는 로봇을 가장 많이 배치한 곳이지만 접촉이 적은 작업이 대부분이라 데이터가 한정적이다. 반면 제조 현장은 끼우고 걸고 떼는 접촉 작업이 많고 종류도 다양하다. 2024년 전 세계에 새로 설치된 산업용 로봇 54만 2,000대 가운데 74%가 아시아에 깔렸고, 한국은 노동자 대비 로봇 밀도가 세계에서 가장 높다.

현장 경험에서 얻은 교훈은 세 가지다. 제조형 데이터는 아직 드물다. 숙련공이 일을 익히는 데만 한 달이 걸릴 만큼 노하우가 중요하다. 공장마다 공정이 다르다. 어떤 곳은 석션 패드를 쓰고 어떤 곳은 카메라로 미세하게 봐야 한다. 마지막으로 배치를 결정하는 것은 투자수익률(ROI)이다. 몇 초에 하나를 만드는 속도, 수율, 가격이 맞아야 한다.

카본식스는 이 조건을 반영해 첫 사전학습 모델을 개발하고 있으며 연말이나 내년 초 공개할 예정이다. 언어로 지시하는 시각-언어-행동(VLA) 모델 대신 사람이 한 번 시연하면 바로 따라 하는 모델을 지향한다. 빨간 케이블을 어디에 꽂으라고 일일이 말로 표현하기 어렵다는 이유다. 배치 기술도 쌓았다. 사이클 타임이 중요한 구간은 규칙 기반으로, 비정형 구간은 AI로 처리하는 혼합 기능, 로봇이 실패하면 사람이 개입해 바로잡은 데이터로 단기간에 성공률을 끌어올리는 기능, 안전을 지키며 작업 속도를 높이는 기능이다. 시그마키트로 현장에서 가르치고, 배치 데이터가 다시 사전학습 모델을 개선하는 순환 구조가 회사가 그리는 데이터 플라이휠이다.

중견·중소기업과 지역에서 먼저…창원 허브와 베트남

카본식스는 대기업뿐 아니라 지역 중견·중소기업과 협력을 넓히고 있다. 창원대에서 연 피지컬 AI 세미나에는 제조업체 오너 등 300여 명이 모였고, 전날 받은 현지 업체 샘플로 데이터를 모아 학습한 뒤 다음 날 시연했다. 이후 창원 지사를 세웠다. 문 대표가 소개한 스마트 등대공장 태림산업 오경진 대표 인터뷰에는 중견·중소기업의 사정이 담겼다. 자금 여력이 크지 않은데, 발주사의 자동화 평가 점수가 몇 점 떨어져 수십억 원 규모의 물량을 놓친 일이 있었다는 내용이다. 태림산업은 2021년 중소벤처기업부의 K-스마트등대공장으로 선정된 자동차 조향장치 부품 업체다.

행사 8일 뒤인 9월 30일 카본식스는 창원국가산업단지 태림산업 안 제조데이터 소통공간(MDCG)에 '피지컬 AI 제조 혁신 허브'를 구축한다고 발표했다. 제조기업이 생산 샘플을 가져오면 현장에서 데이터를 모으고 시그마키트로 초기 모델을 만들어 당일 양산 적용 가능성을 검토하는 고객 참여형 공간이다. 회사는 경남 제조 AI 데이터센터와도 학습 인프라 활용을 협의하고 있다.

질의응답에서 기자는 베트남에 진출한 한국 기업 협력사들이 인력난에 시달린다는 현지 이야기를 전했다. 중국 기업들이 미국 규제를 피해 베트남으로 대거 공장을 확장하면서 한국 기업에서 근무하던 인력들이 이동하는 일이 벌어지고 있다.

문 대표는 베트남 출장이 잦고 파트너를 통해 현지 사무소도 운영하고 있다고 답했다. 산업용 로봇 팔과의 호환성도 강조했다. 공장마다 수천 대씩 깔린 ABB, 화낙, 쿠카, 유니버설로봇(UR) 팔에 지능을 얹어 양산부터 하고 싶다는 요구가 많아 협동 로봇, 산업용 로봇, 휴머노이드를 가리지 않고 호환되게 만들었다는 설명이다. 그리퍼 역시 자사 제품을 기본으로 쓰되 다지 로봇 손, 스크루드라이버, 석션 패드 같은 외부 도구와 호환된다. 한 팔 제품에 이어 양팔 제품은 연말 출시를 목표로 한다.

보안과 인프라 질문도 나왔다. 서 CTO는 학습은 클라우드로도 할 수 있지만 추론은 지연 시간 때문에 로봇 안이나 공장 가까운 곳에서 돌려야 한다고 답했다. 문 대표는 대기업 정책상 외부로 못 나가는 데이터는 내부 서버로 대응하고, 여러 공장 데이터를 함께 학습하는 이점 때문에 클라우드를 택하는 기업도 있다고 덧붙였다. 영상만으로 학습하는 접근에 대해 서 CTO는 물체를 얼마나 세게 쥐는지는 영상에 담기지 않는다며 다양한 센서 데이터와 로봇 형태를 아우르는 모델이 필요하다고 말했다.

테크수다의 시각

피지컬 AI 기사는 대개 휴머노이드의 몸놀림으로 시작한다. 카본식스는 반대로 갔다. 시연 영상의 주인공은 비닐 포장, 케이블, 보호 필름, 대차 속 부품이었다. 화려하지 않지만 공장 사람들이 매일 손으로 처리하는 일들이다.

서형주 CTO의 강의가 설득력을 가진 지점은 기술사와 사업 모델을 한 줄로 꿰었다는 데 있다. 모델 기반 제어와 강화학습이 막힌 자리는 결국 시뮬레이션할 수 없는 현실이었다. 모방학습은 그 벽을 사람의 시연 데이터로 넘는다. 그 데이터가 가장 많고 질 높게 쌓이는 곳이 돈을 내는 고객의 공장이라면, 현장에 먼저 들어간 회사가 데이터 경쟁에서 앞설 수 있다. 수아랩 시절 머신비전 검사로 제조 현장의 문을 열어 본 문태연 대표의 경험이 여기에 겹친다.

숙제도 있다. 양산 라인 적용은 고객사 이름과 성과 수치가 공개돼야 검증된다. 사이클 타임, 성공률, 회수 기간 같은 숫자가 회사가 강조한 ROI의 실체다. 연말로 예고한 사전학습 모델이 공장마다 다른 공정에 얼마나 빨리 적응하는지도 지켜봐야 한다. 중견·중소기업과 지역 거점, 베트남으로 향하는 행보는 의미가 크다. 인력난과 원청의 자동화 압박을 동시에 받는 곳이 그들이기 때문이다. 대형 로봇 기업들이 휴머노이드의 범용성을 놓고 경쟁하는 사이, 카본식스는 공장 한 칸 한 칸에서 데이터를 쌓는 길을 택했다. 그 선택이 맞았는지는 올해 4분기 공개될 현장 라인이 먼저 답할 것이다.

[테크수다 Techsuda]

카본식스, 이런 점이 궁금하셨나요?

Q1. 카본식스는 어떤 회사인가?
2024년 설립된 제조업 특화 피지컬 AI 기업이다. 수아랩 공동창업자 문태연 대표, MIT 출신 서형주 CTO, 예일대 박사후연구원 출신 로봇 손 전문가 김제혁 최고하드웨어책임자(CHO)가 함께 세웠다. 올해 7월 4,000만 달러 규모 시리즈A를 유치했다.

Q2. 시그마키트는 어떻게 작동하나?
숙련공이 실제 작업을 한두 시간 시연하면 비전·모션 데이터가 수집되고, 회사의 로봇 파운데이션 모델을 하루 정도 미세조정해 현장에 배치한다. 소프트웨어, 그리퍼, 센서 모듈, 티칭 툴로 구성되며 로봇 팔은 기존 산업용·협동 로봇을 그대로 쓴다.

Q3. 왜 휴머노이드가 아니라 제조 공장인가?
서형주 CTO는 접촉이 많고 다양한 작업 데이터가 공장에 있다고 본다. 현장에 배치돼 돈을 벌어야 데이터가 쌓이고, 그 데이터가 다시 모델을 개선하는 데이터 플라이휠이 돌아간다는 논리다.

Q4. 로봇 지능 연구의 세 물결은 무엇인가?
물리 모델을 직접 세워 제어하던 모델 기반 제어, 시뮬레이터에서 수없이 시도하며 배우는 강화학습, 사람의 시연 데이터를 대량 학습하는 모방학습과 파운데이션 모델이다. 지금의 병목은 사람의 손동작을 담은 행동 데이터다.

Q5. 앞으로 무엇을 지켜봐야 하나?
연말이나 내년 초 공개할 첫 사전학습 모델, 연말 출시 예정인 양팔 제품, 4분기 고객사 동의 아래 공개할 양산 현장, 창원을 시작으로 늘어날 지역 실증 허브다.

[테크수다 기자 도안구 eyeball@techsuda.com]