한예슬 | 기자 작성일 2026년 10월 13일
사람의 지시 이해, 미래 장면 예측, 행동 생성을 하나의 모델로 통합한 로봇 AI ‘Dynin-Robotics’ 개념
사람이 말로 건넨 지시를 이해하고 그 행동이 끝난 뒤의 장면까지 미리 그려 보면서 작업을 수행하는 로봇 인공지능(AI)이 국내 연구진의 손에서 나왔다. 지시를 동작으로 옮기는 수준에서 멈추지 않고 예상되는 행동의 결과까지 로봇 제어에 끌어다 쓰는 기술이다.
서울대학교 공과대학 전기·정보공학부 도재영 교수 연구팀(AIDAS 연구실)은 언어와 이미지, 영상, 로봇 행동을 하나의 모델에서 함께 다루는 로봇 파운데이션 모델 ‘Dynin-Robotics’를 개발했다. 파운데이션 모델은 다양한 데이터를 학습해 여러 작업에 두루 활용할 수 있도록 만든 기반 AI 모델을 말한다.
연구 결과를 담은 논문은 AI·기계학습 분야 최고 권위의 국제학술대회 ‘NeurIPS 2026’에 채택됐다. 발표는 오는 12월로 예정돼 있다.
NeurIPS 2026 채택의 의미
논문이 실린 NeurIPS는 AI·기계학습 분야에서 가장 경쟁이 치열한 학회로 꼽힌다. 올해 40회를 맞은 이 학회에는 3만709건의 논문이 제출됐고 이 가운데 7900건이 채택됐다. 채택률은 25.7%다. 2022년 제출 논문이 1만411건이었던 것과 비교하면 5년 사이 접수 규모가 195% 불어났다. 그만큼 심사 경쟁도 빡빡해졌다는 뜻이다.
지시와 장면을 읽고 결과를 그려 본 뒤 움직인다
Dynin-Robotics는 사람의 지시와 카메라 영상을 바탕으로 로봇의 움직임을 생성한다. 여기에 특정 행동을 했을 때 이어질 다음 장면이나 작업을 마친 뒤의 목표 장면을 이미지로 예측하는 기능이 붙는다. 예측한 장면은 다시 행동을 만들고 고르는 과정에 투입된다.
로봇 하드웨어는 해마다 눈에 띄게 좋아지고 있다. 그런데도 낯선 환경에서 처음 받아 본 지시를 이해해 작업을 끝내는 일은 여전히 까다로운 숙제로 남아 있다. 정해진 조건에서 익힌 동작을 되풀이하는 것과 실제 현장은 성격이 전혀 다르다. 물체의 위치와 모양이 매번 바뀌고 사람의 요청도 그때그때 달라진다.
‘책상 위의 컵을 서랍 안에 넣고 닫아라’라는 한 문장만 놓고 봐도 그렇다. 로봇은 컵과 서랍이 각각 어디 있는지 파악해야 한다. 그다음 컵을 옮기고 서랍을 닫는 여러 단계의 행동을 스스로 결정해야 한다. 문장은 짧지만 그 안에 담긴 판단의 층은 두껍다.
최근 로봇 연구에서는 ChatGPT 같은 대규모 언어모델의 언어 이해 능력을 제어에 가져오거나 영상 생성 모델로 미래 장면을 예측하는 시도가 활발하다. 연구팀은 두 갈래를 따로 두지 않았다. 사람의 지시를 이해하는 능력과 행동 결과를 예측하는 능력을 로봇의 움직임 생성에 한꺼번에 쓰기 위해 이들 기능을 하나의 모델로 묶었다.
옴니모달 AI에서 로봇 제어로
이번 기술은 연구팀이 앞서 내놓은 옴니모달 AI 모델 ‘Dynin-Omni’를 로봇 제어 영역으로 확장한 결과물이다. 옴니모달 AI는 언어와 이미지, 영상, 음성처럼 서로 다른 형태의 정보를 하나의 모델에서 함께 이해하고 생성하는 AI를 가리킨다.
Dynin-Omni는 올해 상반기 공개 당시 글자와 사진, 소리, 영상을 한 모델이 동시에 이해하고 만들어 내는 구조로 주목받았다. 이미지나 음성을 글자 중심으로 번역해 해석하는 중간 과정을 두지 않아 정보 사이의 연결이 더 촘촘하다는 점이 특징으로 꼽혔다. 결과물의 윤곽을 먼저 잡고 완성도를 끌어올리는 디퓨전(diffusion) 방식을 채택해 처리 속도를 확보한 것도 당시 발표의 핵심이었다.
연구팀은 이 모델에 로봇 행동 데이터를 결합했다. 현실 공간에서 물체를 옮기거나 쌓는 작업을 수행하는 피지컬 AI 모델을 설계한 것이다. Dynin-Omni를 로봇의 두뇌로 쓰겠다던 연구팀의 당초 계획이 반년 만에 실제 모델로 이어진 셈이다.
이해·예측·행동 생성을 함께 학습한 효과
Dynin-Robotics의 핵심은 세 가지 기능을 따로 떼어 놓지 않고 함께 학습한다는 데 있다. 지시와 장면을 이해하는 일, 행동의 결과를 예측하는 일, 실제 움직임을 만드는 일이 한 모델 안에서 동시에 다져진다. 로봇이 수행한 작업 영상을 보고 자신이 한 일을 문장으로 설명하는 것도 가능하다.
연구팀은 ‘과일 고르기’와 ‘꽃 꽂기’ 시뮬레이션에서 통합 학습의 효과를 확인했다. 이해와 예측, 행동 생성을 함께 배운 모델은 행동 생성만 배운 모델보다 새로운 표현으로 들어온 지시를 더 잘 처리했다.
차이가 가장 선명하게 드러난 쪽은 간접적인 표현이었다. ‘장미를 꽂아’처럼 대상을 직접 지목하는 지시는 양쪽 모두 소화했다. 반면 ‘사랑을 상징하는 꽃을 꽂아’처럼 의미를 돌려 전달하는 지시에서는 통합 학습 모델이 앞섰다. 단어와 대상을 일대일로 맞추는 방식만으로는 닿지 않는 영역이다.
미래 장면 예측이 행동을 고르는 기준이 된다
미래 장면 예측은 로봇이 어떤 행동을 할지 결정하는 단계에서 쓰인다. 사람은 물건을 옮기기 전에 그것을 놓을 자리와 결과를 머릿속에 먼저 떠올린다. 로봇도 현재 장면과 지시를 바탕으로 작업이 끝난 뒤의 모습을 이미지로 그릴 수 있다.
연구팀은 예측한 목표 장면을 참고해 행동을 생성하는 방법과 후보 동작들을 평가해 더 적절한 행동을 선택하는 방법을 함께 구현했다. 결과를 먼저 그려 보는 절차가 하나 들어가면서 로봇의 판단에 비교 기준이 생긴 것이다.
행동 생성 속도 최대 36.6배 개선
연구팀은 속도 문제도 함께 손봤다. 이어지는 여러 동작에 필요한 정보를 묶어 병렬로 예측하는 방식을 적용했다. 계산 과정에서 반복해 쓰이는 정보는 재활용하도록 바꿔 다음 동작을 만드는 효율을 높였다.
모델 내부의 행동 생성 속도는 개선 전과 비교해 최대 약 29.2배로 향상됐다. 피지컬 인텔리전스의 ‘π0.5’와 견주면 최대 약 36.6배 빠른 수치를 기록했다. 로봇이 사람과 같은 공간에서 작업하려면 판단이 늦어지는 순간을 줄여야 한다는 점에서 의미가 있는 수치다.
실제 로봇 실험 평균 성공률 78.4%
실제 로봇을 동원한 평가에서는 네 가지 조작 조건을 다뤘다. 과일 옮기기, 색상별 블록 분류, 순서 제한 없는 블록 쌓기, 지정된 색상 순서에 따른 블록 쌓기다. 뒤의 두 조건은 같은 블록 쌓기 작업이면서도 순서 제약의 유무로 난이도가 갈린다.
네 조건의 성공률을 평균한 결과는 아래와 같다.
| 모델 | 개발 주체 | 평균 성공률 |
|---|---|---|
| GR00T N1.6 | 엔비디아 | 73.0% |
| Cosmos Policy | 엔비디아 | 73.6% |
| π0.5 | 피지컬 인텔리전스 | 76.9% |
| Dynin-Robotics | 서울대 AIDAS 연구실 | 78.4% |
Dynin-Robotics는 78.4%로 이번 평가에 쓰인 비교 모델 가운데 가장 높은 평균 성공률을 보였다. 비교 대상에 오른 모델들의 무게를 생각하면 숫자의 의미가 작지 않다.
엔비디아의 GR00T N1.6은 휴머노이드 로봇을 겨냥해 만든 오픈 추론 기반 VLA(Vision-Language-Action) 모델이다. 지난해 12월 공개됐으며 전신 제어를 지원하고 엔비디아 코스모스 리즌(Cosmos Reason)을 활용해 맥락 이해 능력을 끌어올린 모델로 알려져 있다. 피지컬 인텔리전스의 π0 계열은 비전·언어 백본에 플로 매칭 액션 헤드를 결합한 구조로 매끄러운 동작 궤적을 만들어 내는 데 강점을 보인다.
글로벌 피지컬 AI 경쟁 속 국내 연구 성과
VLA 모델은 카메라 이미지와 자연어 지시를 함께 받아 로봇의 관절 또는 엔드이펙터 명령을 내놓는 신경망을 말한다. 2026년 들어 이 분야는 연구실 시연 단계를 지나 산업 현장 검증 국면으로 넘어갔다. 휴머노이드 로봇이 BMW와 현대자동차 같은 완성차 생산 라인에 투입되기 시작했고 범용 로봇 파운데이션 모델은 스타트업 기업가치 경쟁의 중심에 올라섰다.
시장 규모 추정치도 빠르게 커지고 있다. 업계 분석에 따르면 VLA 모델 시장은 현재 38억9000만 달러 수준으로 평가되며 2035년에는 405억 달러 규모에 이를 것으로 전망된다. 데이터 수집 비용이 내려간 것도 이 흐름을 떠받친다. 사람이 로봇에게 작업을 직접 보여 주는 원격 조작(텔레오퍼레이션) 비용은 2024년 시간당 약 340달러에서 2026년 118~200달러 수준으로 내려앉았다. 약 60% 하락이다.
경쟁 구도의 앞자리는 오픈VLA와 엔비디아 GR00T 계열, 구글 딥마인드 제미나이 로보틱스, 피지컬 인텔리전스 π0.5 등이 나눠 쥐고 있다. 대형 기술기업과 대규모 투자를 받은 스타트업이 주축인 판에서 국내 대학 연구실이 자체 파운데이션 모델로 비교 평가에 올라선 점은 눈여겨볼 만하다.
정부도 피지컬 AI를 국가 전략 과제로
국내 정책 흐름도 같은 방향을 보고 있다. 정부는 피지컬 AI를 반도체와 AI 데이터센터와 함께 국가전략프로젝트로 선정했다. 2026년부터 2030년까지 투입하기로 한 예산은 1조4131억원이다. 2030년까지 피지컬 AI 분야 세계 1위로 올라서겠다는 목표 아래 제조업 AI 전환과 로봇 부품 국산화, 데이터팩토리 구축, AI 로봇 인력 양성이 과제로 묶였다.
투자가 몰리는 배경에는 뚜렷한 격차 인식이 깔려 있다. 국내 AI 기업 2814곳 가운데 휴머노이드를 포함한 하드웨어 기업은 53곳으로 전체의 1.9%에 그친다. 소프트웨어 쪽에 비해 실물을 다루는 기업의 층이 얇다는 지적이 꾸준히 제기돼 왔다.
정부는 로봇의 팔다리와 손가락 관절을 움직이는 핵심 부품인 액추에이터, 로봇 손, 센서 등 국산화율이 낮은 3대 취약 부품에 연구개발(R&D) 투자를 늘린다. 로봇 특성화대학원 선정을 포함해 향후 5년간 AI 로봇 전문인력 1만 명을 길러 내겠다는 계획도 함께 내놨다. 대학 연구실에서 나온 자체 파운데이션 모델이 주목받는 이유도 이런 맥락과 맞닿아 있다.
산업 적용 가능성과 남은 과제
이번 기술은 사람의 지시와 주변 상황을 함께 고려해야 하는 작업에 쓰일 수 있다. 물류 현장의 물체 분류와 이송, 제조 공정의 부품 취급이 대표적이다. 두 영역 모두 품목과 배치가 수시로 바뀌어 고정된 동작만으로는 대응이 어렵다는 공통점이 있다.
다만 연구팀은 적용 범위를 과장하지 않았다. 이번 성과는 시뮬레이션과 정해진 실제 로봇 실험 환경에서 검증한 결과다. 산업 현장에 들이려면 더 다양한 물체와 작업 환경에서 성능을 다시 확인하는 절차가 남아 있다.
제조·의료로 넓히는 다음 단계
연구팀은 Dynin 파운데이션 모델 시리즈를 바탕으로 제조·물류 현장의 부품 취급과 조립, 물체 분류를 대상으로 적용 가능성을 검증할 계획이다. 제조·의료 분야의 데이터와 요구에 맞춘 추가 학습을 거쳐 분야별 특화 모델로 고도화하는 방향도 함께 잡았다.
이를 위한 기술 과제도 진행 중이다. 로봇 손을 이용한 정밀 조작, 촉각·힘 센서를 활용한 접촉 상태 파악, 새로운 작업과 환경에 빠르게 적응하는 학습 기술이 여기에 들어간다. 서울대학교 의과대학 연구진과는 수술 보조 로봇과 소화기 내시경 로봇에 AI를 활용하는 공동연구도 추진하고 있다.
‘쓸수록 똑똑해지는 로봇’
연구팀은 AI 에이전트 연구도 나란히 밀고 있다. 사람이 제시한 목표를 여러 단계의 작업으로 나누고 로봇에 작업을 맡긴 뒤 결과를 확인해 다음 행동을 조정하는 방식이다.
‘식탁을 치워줘’라는 요청이 들어온 상황을 떠올려 보면 이해가 쉽다. 시스템은 필요한 작업을 쪼개 로봇에 전달하고 결과를 확인한다. 실패한 작업은 다른 방법으로 다시 시도하도록 지시한다. 연구팀은 이 과정에서 쌓인 성공과 실패 경험을 활용해 작업 계획과 수행 능력을 꾸준히 개선하는, 이른바 ‘쓸수록 똑똑해지는 로봇’을 구현하겠다는 목표를 내놨다.
연구를 지도한 도재영 교수는 “이번 연구는 로봇이 무엇을 해야 하는지, 움직인 뒤 주변이 어떻게 달라질지, 실제로 어떤 행동을 할지를 하나의 모델에서 함께 다룬다는 점에서 의미가 있다”며 “Dynin-Omni의 통합 AI 기술을 로봇 제어로 확장한 이번 성과를 바탕으로 시험 환경을 넘어 실제 환경에서 사람의 지시를 이해하고 어려운 작업을 수행하는 로봇 지능으로 발전시켜 나가겠다”고 말했다.
이번 연구는 한국연구재단 이공분야 기초연구사업(우수신진)의 지원을 받아 수행됐다.
용어 풀이
파운데이션 모델: 대규모 데이터를 폭넓게 학습해 여러 작업에 두루 쓸 수 있도록 만든 기반 AI 모델. 작업마다 모델을 새로 만드는 대신 하나의 기반 모델을 상황에 맞게 조정해 쓴다.
옴니모달 AI: 언어와 이미지, 영상, 음성처럼 성격이 다른 정보를 하나의 모델에서 함께 이해하고 생성하는 AI. 특정 형태로 변환하는 중간 단계를 두지 않는 쪽을 지향한다.
VLA(Vision-Language-Action) 모델: 카메라 이미지와 자연어 지시를 입력으로 받아 로봇의 관절 또는 엔드이펙터 명령을 출력하는 신경망. 보는 것과 듣는 것을 움직임으로 잇는 역할을 맡는다.
디퓨전(diffusion): 결과물의 거친 윤곽을 먼저 만든 뒤 단계적으로 완성도를 끌어올리는 생성 방식. 이미지 생성에서 널리 쓰이며 로봇 행동 궤적 생성에도 적용된다.
텔레오퍼레이션: 사람이 원격으로 로봇을 조작해 작업을 직접 시연하는 방식. 로봇 학습 데이터를 모으는 대표적인 수단이며 그만큼 비용 부담이 큰 과정으로 꼽힌다.
참고자료
- 논문명/학회: Dynin-Robotics: Omnimodal Unified Diffusion Vision-Language-Action Model, NeurIPS 2026
- 원문 링크: https://arxiv.org/abs/2609.13053
- 프로젝트 페이지: https://dynin.ai/robotics
- 연구실: 서울대학교 AIDAS 연구실(https://aidas.snu.ac.kr)