로봇 데모를 믿기 전에 보세요: VLA와 피지컬 AI가 낯선 현장에서 실패하는 이유

 

피지컬 AI와 VLA 로봇이 물건을 집고 옷을 접는 영상은 인상적입니다. 그러나 로봇 데모의 성공과 현장 자동화의 신뢰성은 서로 다른 평가 문제입니다. 이 글은 RT-2, π0, SmolVLA의 공개 자료를 바탕으로 비전 언어 행동 모델이 무엇을 바꾸었는지, 로봇 일반화는 왜 어려운지, 도입 전 무엇을 확인해야 하는지 설명합니다.

 

로봇이 “컵을 치워 줘”라는 말을 이해하는 것과 실제로 컵을 깨뜨리지 않고 옮기는 것 사이에는 긴 기술적 거리가 있습니다. 컵의 위치를 알아야 하고, 손잡이와 몸체 중 어디를 잡을지 정해야 하며, 미끄러짐과 가림에 대응해야 합니다. 작업 중 사람이 물건을 옮기거나 카메라 화면이 달라지면 이미 계산한 행동도 다시 판단해야 합니다. 언어 이해의 발전이 이 모든 문제를 자동으로 해결해 주지는 않습니다.

 

이번 글의 핵심은 단순합니다. VLA는 이미지와 언어에서 로봇 행동으로 이어지는 학습 경로를 넓히는 중요한 접근입니다. 다만 데이터의 범위, 로봇의 몸, 제어 환경과 평가 조건을 함께 봐야 실제 의미를 알 수 있습니다. 공개 연구의 성과를 축소할 필요도 없지만, 특정 실험에서의 성공을 어느 공장이나 가정에서도 통하는 능력으로 확대해서는 안 됩니다.

 

대상 독자는 피지컬 AI를 처음 공부하는 개발자, 로봇 자동화를 검토하는 기획자, VLA 논문과 데모를 제품 관점에서 읽고 싶은 실무자입니다. 아래 도입 사례와 평가 설계는 공개 자료를 바탕으로 작성한 설명용 제안입니다. 필자가 실제 로봇을 구동해 측정한 실험 보고서는 아닙니다.

 

피지컬 AI와 VLA는 무엇이 다른가

 

피지컬 AI는 물리적 환경을 인식하고 그 안에서 행동하는 AI를 논의할 때 쓰이는 넓은 표현입니다. 로봇 팔의 조작, 이동 로봇의 주행, 사람과 함께 일하는 시스템 등 여러 형태를 포함할 수 있습니다. 반면 VLA는 Vision-Language-Action의 약자로, 시각 정보와 언어 지시를 로봇 행동과 연결하는 모델 계열을 가리킵니다. 모든 피지컬 AI 시스템이 같은 VLA 구조를 사용하는 것은 아닙니다.

 

VLM은 이미지와 텍스트를 함께 처리하는 비전 언어 모델입니다. 예를 들어 사진에서 어떤 물건이 어디에 있는지 설명하거나, 문장의 의미를 이미지와 연결할 수 있습니다. VLA는 여기에서 행동 출력으로 나아갑니다. 카메라 관측, 자연어 지시, 모델에 따라 로봇의 현재 상태를 받아 다음 행동 또는 일정 길이의 행동 시퀀스를 예측합니다. 입력의 세부 구성과 출력 표현은 구현마다 다릅니다.

 

정책이라는 말도 알아두면 좋습니다. 로봇 학습에서 정책은 관측을 바탕으로 행동을 정하는 규칙이나 모델을 뜻합니다. 이 행동은 관절 목표값일 수도 있고, 말단 장치의 위치 변화나 그리퍼 명령일 수도 있습니다. 그러므로 모델이 출력한 숫자의 의미를 로봇 인터페이스와 정확히 맞춰야 합니다. “팔을 앞으로 움직인다”는 표현만 같다고 서로 다른 로봇에 같은 숫자를 보낼 수 있는 것은 아닙니다.

 

VLA의 장점은 언어와 시각의 사전학습을 로봇 제어에 연결할 수 있다는 데 있습니다. 물체 이름과 범주, 장면의 의미를 처음부터 모두 로봇 데이터만으로 배울 필요를 줄일 가능성이 있습니다. 그러나 물체가 무엇인지 안다는 사실과 얼마나 세게 잡아야 하는지 안다는 사실은 다릅니다. 의미 이해와 물리적 상호작용의 연결을 실제 행동 데이터로 학습하고 검증해야 합니다.

 

RT-2가 보여준 가능성과 숫자의 범위

 

Google DeepMind는 2023년 7월 RT-2를 소개했습니다. 공개 글은 웹 데이터와 로봇 데이터를 함께 활용해 시각 언어 지식을 로봇 행동에 연결하는 VLA 접근을 설명합니다. 기존 비전 언어 모델이 텍스트 토큰을 출력하던 방식에 로봇 행동을 토큰으로 표현하는 아이디어를 적용했습니다. 이는 언어 모델의 학습 틀과 로봇 제어를 잇는 대표적인 사례입니다.

 

RT-2의 행동 표현에는 작업을 계속할지 종료할지에 관련된 표시와, 말단 장치의 위치 및 회전 변화, 그리퍼 상태에 해당하는 값이 포함됩니다. 여기서 중요한 것은 로봇이 자연어 설명만 생성하는 것이 아니라 실제 제어에 사용할 행동 표현을 학습한다는 점입니다. 다만 이 표현 방식이 모든 후속 VLA의 유일한 정답이 된 것은 아닙니다. 연속 행동을 생성하는 다른 구조도 발전했습니다.

 

원문은 6,000회가 넘는 로봇 시행을 통해 정성적 평가와 정량적 평가를 수행했다고 설명합니다. 또한 해당 연구의 이전에 보지 못한 시나리오 평가에서 RT-1의 32%에서 RT-2의 62%로 성공률이 개선되었다고 보고합니다. 이 수치는 연구가 정의한 비교 조건의 결과입니다. 모든 로봇 작업에서 62%가 나온다거나, 현재 제품의 현장 성공률을 뜻하는 값은 아닙니다.

 

이 사례에서 배울 점은 숫자 자체보다 일반화를 구분하는 방식입니다. 새로운 물체, 배경, 환경과 의미적 지시를 각각 어떻게 바꾸었는지 확인해야 합니다. 본 적 없는 단어를 해석하는 능력과 새로운 재질의 물체를 안정적으로 집는 능력은 다릅니다. 평가자가 무엇을 새롭게 만들었는지 알아야 “처음 보는 상황에서도 작동한다”는 문장을 정확히 해석할 수 있습니다.

 

π0가 연결한 웹 지식과 물리적 경험

 

Physical Intelligence는 2024년 10월 π0를 첫 범용 로봇 정책으로 소개했습니다. 공개 글은 사전학습된 비전 언어 모델, 공개 로봇 데이터, 자체적으로 수집한 여러 로봇의 데이터를 결합하는 접근을 설명합니다. 자체 데이터에는 서로 다른 8종의 로봇에서 수집한 작업이 포함되었다고 밝힙니다. 다양한 몸과 작업의 경험을 하나의 정책 학습에 활용하려는 시도입니다.

 

π0는 사전학습된 VLM에 연속 행동 출력을 연결하기 위해 flow matching을 사용합니다. 이 글에서 수학적 세부를 모두 다루지는 않겠습니다. 직관적으로는 관측과 지시에 맞는 행동 시퀀스를 연속적인 생성 과정으로 만드는 접근이라고 이해할 수 있습니다. 자연어 토큰을 한 개씩 생성하는 방식과 로봇의 연속 행동을 생성하는 방식에는 서로 다른 계산상의 선택지가 있습니다.

 

공개 자료는 세탁물 접기, 식탁 정리, 상자 조립 등 여러 작업을 소개합니다. 특히 복잡하고 정교한 작업에서는 고품질 로봇 데이터로 후속 학습을 수행했다고 설명합니다. 따라서 영상을 볼 때 사전학습된 모델을 그대로 사용한 것인지, 특정 작업에 맞춰 추가 학습한 것인지 구분해야 합니다. 둘 다 의미 있는 성과이지만 새로운 현장에 적용하는 데 필요한 준비는 달라질 수 있습니다.

 

같은 정책 계열이 여러 로봇을 다룰 수 있다는 것은 유망합니다. 그러나 로봇의 몸이 바뀌면 관절 구성, 작업 범위, 그리퍼 형태와 센서 배치가 달라질 수 있습니다. 여러 몸을 학습했다는 사실을 아무 하드웨어에나 즉시 설치할 수 있다는 뜻으로 읽으면 안 됩니다. 실제 도입에서는 지원하는 입력과 행동 표현, 제어 인터페이스, 추가 데이터와 보정 절차를 확인해야 합니다.

 

SmolVLA가 낮춘 진입 장벽

 

Hugging Face는 2025년 6월 SmolVLA를 공개했습니다. 소개 글은 4억 5천만 파라미터 규모의 모델, 공개 커뮤니티 로봇 데이터, 저가형 로봇 플랫폼과 학습 및 추론 방법의 공개를 강조합니다. VLA를 이해하려면 반드시 거대한 비공개 로봇 시스템을 보유해야 한다는 장벽을 낮추려는 방향으로 읽을 수 있습니다.

 

SmolVLA의 입력에는 여러 카메라의 RGB 이미지, 로봇의 감각 운동 상태, 자연어 지시가 포함됩니다. VLM이 이를 특징으로 처리하고 action expert가 연속 행동 시퀀스를 생성합니다. 공개 글은 시각 토큰 수를 줄이고 VLM의 일부 층을 활용하는 등 효율화를 위한 선택도 설명합니다. 모델 크기뿐 아니라 이미지 처리와 행동 생성 구조가 함께 계산 비용에 영향을 줍니다.

 

공개 모델이라는 사실은 중요한 출발점입니다. 연구자와 개발자가 데이터 형식, 학습 설정과 추론 코드를 확인하고 실험을 비교할 여지가 커지기 때문입니다. 그러나 공개 여부와 현장 적합성은 별도로 판단해야 합니다. 사용할 하드웨어, 메모리, 카메라 수, 추론 주기와 목표 작업이 달라지면 같은 모델도 다른 운용 특성을 보일 수 있습니다.

 

Hugging Face 소개 글의 속도와 처리량 개선 수치 역시 해당 비동기 추론 설정과 실험 조건을 전제로 읽어야 합니다. “작은 모델이 큰 모델을 이겼다”는 표현을 모든 로봇 작업으로 확대하면 비교가 흐려집니다. 실제로 어떤 데이터로 학습했고 어떤 작업에서 어떤 기준선과 비교했는지 확인해야 합니다. 작은 모델의 실용성을 보여주는 연구와 보편적인 우월성 주장은 구별할 필요가 있습니다.

 

로봇 일반화는 하나의 능력이 아니다

 

일반화라는 단어는 편리하지만 범위가 넓습니다. 물체의 색이 바뀌어도 성공하는 것, 물체의 재질이 바뀌어도 성공하는 것, 카메라가 이동해도 성공하는 것, 전혀 다른 로봇 팔에서 성공하는 것은 서로 다른 변화입니다. 이 변화들을 하나의 “새 환경”으로 묶으면 모델이 무엇을 잘하고 어디에서 약한지 파악하기 어렵습니다.

 

먼저 시각적 변화가 있습니다. 조명, 그림자, 배경 무늬, 물체의 일부 가림은 카메라 관측을 바꿉니다. 물체의 실제 위치가 같아도 이미지에서는 다르게 보일 수 있습니다. 반대로 비슷하게 보이는 투명 용기와 불투명 용기는 인식과 조작에서 다른 어려움을 만들 수 있습니다. 이미지 기반 모델을 평가할 때는 화면 변화와 실제 물리 조건 변화를 나누어 기록하는 편이 좋습니다.

 

다음은 물리적 변화입니다. 물체의 무게, 마찰, 탄성, 내용물의 유무는 잡기와 운반 결과를 바꿀 수 있습니다. 빈 컵을 옮기는 데 성공했다고 가득 찬 컵을 같은 방식으로 옮길 수 있다고 단정할 수 없습니다. 포장재가 변형되거나 물체가 서로 걸리면 단순한 위치 제어만으로 해결하기 어려운 상황도 생깁니다. 작업의 실패 정의에 내용물 쏟음과 물체 손상을 포함할지 먼저 정해야 합니다.

 

언어적 변화도 별도 축입니다. “빨간 블록을 상자에 넣어”와 “붉은 물체를 정리해”가 같은 뜻인지, 여러 상자 중 어느 것을 말하는지 판단해야 합니다. 지시를 넓게 이해하는 능력은 유용하지만 애매한 명령을 임의로 확정하는 행동은 업무 요구와 어긋날 수 있습니다. 제품에서는 모호한 요청을 확인할지, 수행 범위를 제한할지 설계해야 합니다.

 

마지막으로 작업 조합과 시간의 변화가 있습니다. 물건 하나를 집는 기술과 여러 물건을 분류해 상자를 채우는 작업은 길이가 다릅니다. 중간 결과를 확인하고 다음 대상을 정해야 하며, 앞선 실수가 다음 행동을 어렵게 만들 수 있습니다. 짧은 동작의 성공률과 전체 업무의 완료율을 함께 봐야 장기 작업의 신뢰성을 평가할 수 있습니다.

 

영상 한 편으로 알 수 없는 것

 

편집된 데모는 능력을 직관적으로 보여주지만 시행 횟수와 실패 분포까지 알려주지는 않습니다. 몇 번 시도했는지, 어떤 초기 조건을 사용했는지, 성공 사례를 어떤 기준으로 선택했는지 공개되어야 반복 가능성을 판단할 수 있습니다. 이것은 특정 데모가 잘못되었다는 뜻이 아닙니다. 영상과 평가 보고서가 제공하는 정보의 종류가 다르다는 뜻입니다.

 

평가에서 초기 상태를 고정하면 모델 사이의 비교는 쉬워질 수 있습니다. 그러나 실제 현장에서는 물체 위치와 배경이 일정하지 않을 수 있습니다. 반대로 모든 조건을 동시에 무작위화하면 실패 원인을 찾기 어려워집니다. 실용적인 접근은 먼저 통제된 조건에서 기준 성능을 확인한 뒤 변화의 축을 나누어 시험하는 것입니다. 어떤 조건을 넓혔을 때 성능이 떨어지는지 기록해야 합니다.

 

부분 성공의 정의도 확인해야 합니다. 물건을 절반 정리한 결과에 부분 점수를 줄 수 있지만, 업무 현장에서는 마지막 물건까지 처리해야 완료로 인정할 수 있습니다. 물체를 목적지로 옮겼지만 방향이 틀리거나 손상이 발생했다면 성공인지도 정해야 합니다. 평균 점수 하나만 보면 이런 업무상의 차이가 가려질 수 있습니다.

 

사람의 개입 역시 세분화해야 합니다. 로봇을 시작하는 조작, 초기 상태를 준비하는 작업, 실패 후 물건을 다시 놓는 작업, 위험 시 멈추는 행동은 모두 운영 비용과 관련됩니다. 자율 수행 구간만 길게 보여주는 것과 교대 시간 전체를 사람이 덜 개입하며 운영하는 것은 다른 목표입니다. 도입 검토에서는 개입 횟수뿐 아니라 개입 시간과 원인도 남기는 편이 유용합니다.

 

데이터가 많다는 말보다 중요한 질문

 

로봇 데이터는 단순한 동영상 모음과 다릅니다. 관측과 로봇 상태, 실제로 수행한 행동이 시간상 맞물려 있어야 합니다. 카메라 프레임과 관절 상태의 시각이 어긋나면 잘못된 대응 관계를 학습할 수 있습니다. 같은 장면을 많이 모으는 일만큼 각 기록이 무엇을 뜻하는지 일관되게 정의하는 일이 중요합니다.

 

서로 다른 로봇의 데이터를 결합할 때는 행동 공간이 달라집니다. 관절 목표를 기록한 데이터와 말단 장치의 상대 이동을 기록한 데이터를 그대로 같은 숫자로 취급할 수 없습니다. 카메라 좌표계, 로봇 기준 좌표계, 단위와 그리퍼 명령의 방향도 확인해야 합니다. 데이터 수가 많더라도 이 연결이 흐리면 학습 결과를 해석하기 어려워집니다.

 

데이터의 다양성도 분해해야 합니다. 여러 집에서 수집한 자료라도 수행한 행동이 비슷할 수 있고, 한 공간에서 수집했더라도 물체와 조작 방식은 다양할 수 있습니다. 작업 종류, 물체 종류, 카메라 시점, 초기 상태, 실패 이후의 상황을 나누어 분포를 확인하면 어디에 빈틈이 있는지 보입니다. 단순한 프레임 수는 그중 일부만 설명합니다.

 

작업 지시의 품질도 영향을 줍니다. 실제 행동과 맞지 않는 언어 라벨이 붙으면 모델이 지시와 행동을 연결하기 어려워집니다. “정리하기”처럼 넓은 표현만 있는지, 어떤 물체를 어디로 옮겼는지 구체적으로 남아 있는지 살펴볼 필요가 있습니다. 실제 제품에서 사용할 표현과 학습 데이터의 지시 표현 사이의 차이도 시험해야 합니다.

 

특히 성공 시연만으로 학습한 정책은 실패 후 상황에 대한 경험이 부족할 수 있습니다. 이를 모든 모방학습 시스템의 필연적 실패로 단정할 필요는 없지만, 실제 평가에 미끄러짐과 빗나간 잡기 같은 상황을 포함할 이유는 됩니다. 복구 동작을 학습할지, 별도 정책을 둘지, 사람이 개입할지는 업무 난도와 비용에 따라 선택해야 합니다.

 

추론 서버와 로봇 사이의 시간도 모델의 일부다

 

로봇의 행동은 시간이 흐르는 현실에서 실행됩니다. 카메라가 관측한 시점, 서버가 계산을 끝낸 시점, 로봇이 명령을 실행하는 시점이 서로 다를 수 있습니다. 그 사이에 물체나 사람이 움직이면 계산 당시에는 적절했던 행동이 현재 상황에는 맞지 않을 수 있습니다. 정확도만 확인하고 전체 지연을 측정하지 않으면 현장에서 예상하지 못한 실패를 만날 수 있습니다.

 

SmolVLA 소개 글은 행동 청크를 생성하고 실행하는 동기 방식과 비동기 방식을 비교합니다. 동기 방식에서는 현재 청크를 실행한 뒤 다음 계산을 기다리는 시간이 생길 수 있습니다. 비동기 방식은 현재 행동을 실행하는 동안 새 관측에 대한 다음 행동을 계산해 대기 구간을 줄이려는 접근입니다. 이는 모델의 지능과 별개로 시스템 구성도 성능을 바꿀 수 있음을 보여줍니다.

 

다만 비동기로 만든다는 이유만으로 모든 지연 문제가 사라지는 것은 아닙니다. 네트워크 지연, 오래된 응답, 순서가 바뀐 결과와 행동 청크 사이의 연결을 다뤄야 합니다. 관측의 시각과 명령의 유효 범위를 기록하고, 너무 늦게 도착한 결과를 어떻게 처리할지 정해야 합니다. 새로운 명령이 이전 명령과 갑자기 충돌하지 않도록 검증하는 절차도 필요합니다.

 

현장 시스템에서는 모델 정책이 로봇의 모든 제어 계층을 대체한다고 가정하지 않는 편이 현실적입니다. 저수준 제어기, 작업 공간 제한, 속도 제한, 상태 감시와 정지 경로가 별도로 존재할 수 있습니다. 어떤 부분을 학습 모델이 담당하고 어떤 부분을 기존 제어 체계가 담당하는지 문서화하면 장애 원인과 책임 범위를 더 명확하게 추적할 수 있습니다.

 

현장 도입 평가를 설계하는 방법

 

예시로 물류 작업대에서 작은 상자에 부품을 분류하는 로봇을 가정해 보겠습니다. 첫 질문은 어떤 VLA를 쓸지가 아니라 어떤 상태를 완료라고 부를지입니다. 올바른 부품을 올바른 칸에 넣는 것뿐 아니라 손상, 누락, 중복 투입, 작업 시간과 사람 개입을 포함할지 정해야 합니다. 이 기준이 정해져야 데이터와 모델을 공정하게 비교할 수 있습니다.

 

기준선은 현재 사용 중인 자동화나 사람이 설계한 단순한 정책이 될 수 있습니다. 배경과 물체 위치가 안정적인 업무에서는 정해진 제어 방식이 충분히 좋은 결과를 낼 수 있습니다. VLA의 장점은 변화에 대한 유연성에서 드러날 수 있으므로, 기본 조건과 변화 조건을 모두 비교해야 합니다. 복잡한 모델을 도입했다는 사실 자체가 업무 개선의 근거가 되지는 않습니다.

 

평가 집합은 학습 자료와 분리하고, 현장에서 실제로 만날 변화의 범위를 담아야 합니다. 물체 위치만 바꾸는 시험, 조명만 바꾸는 시험, 새로운 부품을 추가하는 시험을 구별합니다. 여러 변화가 함께 나타나는 조건은 그 다음에 추가할 수 있습니다. 각 시행의 시작 조건과 결과를 남기면 평균 아래에 숨어 있는 특정 실패 유형을 찾기 쉽습니다.

 

결과는 전체 완료율, 작업 시간의 분포, 사람 개입 시간, 물체 손상과 복구 성공을 함께 봅니다. 성공한 작업 한 건당 비용을 계산할 때는 모델 추론 비용뿐 아니라 데이터 수집, 장비 보정, 현장 점검과 재시작 부담도 포함해야 합니다. 저렴한 모델이나 로봇이라도 개입 부담이 크면 전체 경제성은 달라질 수 있습니다.

 

모델을 변경한 뒤에는 기존에 잘되던 작업이 유지되는지도 확인해야 합니다. 특정 물체를 위한 후속 학습이 다른 작업에 어떤 영향을 주는지 시험하고, 데이터와 모델 버전을 연결해 기록합니다. 문제가 생겼을 때 되돌릴 수 있는 배포 단위와 기준선을 유지하면 현장 학습이 누적되는 동안에도 변화의 원인을 파악할 수 있습니다.

 

국내 기술 블로그와 원문을 함께 읽는 법

 

이번 조사에서는 Google DeepMind의 RT-2 소개, Physical Intelligence의 π0 소개, Hugging Face의 SmolVLA 기술 글을 원문으로 확인했습니다. 국내 해설로는 Learning Agents의 이동진 작성 SmolVLA 논문 리뷰를 읽었습니다. 국내 글은 문제의 배경, 입력과 출력, 모델 구조, 데이터와 실험 순서로 내용을 전개해 복잡한 구조를 따라가는 데 도움이 됩니다.

 

이 글도 독자가 정의에서 실제 평가로 넘어갈 수 있도록 개념, 연구 사례, 실패 원인, 도입 설계를 연결했습니다. 다만 해설 글의 모든 세부 수치를 그대로 옮기지는 않았습니다. 공개 글 사이의 설명 범위와 표현이 다를 수 있으므로, 구현에 필요한 정확한 설정은 사용할 체크포인트와 코드 버전에 맞춰 다시 확인해야 합니다. 개념 이해와 재현 실험의 준비는 요구하는 확인 수준이 다릅니다.

 

연구를 비교할 때는 발행 시점도 중요합니다. RT-2는 2023년, π0는 2024년, SmolVLA는 2025년에 소개된 자료입니다. 여기서는 후속 모델까지 포함한 최신 순위표를 제시하는 것이 아니라 VLA의 설계 선택과 평가 관점을 설명하기 위해 읽었습니다. 서로 다른 시점의 공개 결과를 같은 시험에서 직접 겨룬 성적처럼 나란히 비교하지 않았습니다.

 

모델 크기, 데이터 규모, 성공률을 볼 때는 로봇 종류와 작업 조건을 함께 읽어야 합니다. 하나의 벤치마크에서 더 높은 점수를 얻었다는 사실은 중요하지만, 비용과 제어 환경이 다른 현장에서 같은 순위를 보장하지는 않습니다. 공개 자료를 제대로 활용하는 방법은 가장 큰 숫자를 고르는 것보다 자신의 작업 조건과 겹치는 근거를 찾는 것입니다.

 

자주 묻는 질문

 

Q. VLA를 쓰면 로봇 프로그래밍이 없어지나요?

자연어 지시와 학습 정책을 통해 새 작업을 표현하는 방식이 바뀔 수 있습니다. 그러나 하드웨어 연결, 센서 보정, 데이터 처리, 실행 감시와 현장 평가가 자동으로 사라지지는 않습니다. 사람이 동작 경로를 모두 직접 쓰는 부담과 시스템을 안정적으로 운영하는 부담을 구별해야 합니다.

 

Q. 웹 동영상만 많으면 로봇 행동을 모두 배울 수 있나요?

웹의 이미지와 언어 지식은 유용한 자원입니다. 다만 실제 로봇의 관측과 행동이 어떻게 연결되는지 학습할 자료가 필요하며, 힘과 접촉 같은 물리 조건은 화면만으로 충분히 드러나지 않을 수 있습니다. 이번에 확인한 연구들은 웹 지식과 로봇 데이터를 결합하거나 공개 로봇 데이터를 활용하는 방법을 설명합니다.

 

Q. 작은 VLA 모델이면 노트북에서 곧바로 현장 운영이 가능한가요?

모델이 특정 소비자 하드웨어에서 동작한다는 사실과 목표 제어 주기를 안정적으로 충족한다는 사실은 다릅니다. 카메라 수와 해상도, 추론 설정, 통신과 동시 작업을 포함한 전체 환경에서 측정해야 합니다. 학습 가능성과 실시간 추론 가능성도 구별해야 합니다.

 

Q. 로봇 데이터는 많을수록 무조건 좋은가요?

추가 자료가 어떤 행동과 환경을 포함하는지가 중요합니다. 중복된 장면, 잘못된 라벨, 어긋난 시각 정보는 양만 늘릴 수 있습니다. 목표 작업과 관련된 다양성, 데이터의 일관성, 평가 집합과의 분리를 함께 확인해야 합니다.

 

Q. 가장 먼저 할 수 있는 작은 실험은 무엇인가요?

대상 물체와 작업 범위를 좁히고 완료 조건을 명확히 적는 것부터 시작할 수 있습니다. 그 다음 통제된 조건의 기준선과 변화 조건의 성능을 비교합니다. 처음부터 모든 환경을 해결하려 하기보다 실패 원인을 기록할 수 있는 크기의 작업을 선택하면 다음 데이터 수집 방향을 정하기 쉽습니다.

 

마치며: 범용성은 말이 아니라 조건으로 확인한다

 

VLA는 로봇이 세상을 보고 지시를 이해하고 행동을 만드는 방식을 확장하고 있습니다. RT-2는 웹 지식과 로봇 행동의 연결을 보여주었고, π0는 여러 로봇과 정교한 작업을 아우르는 정책의 가능성을 제시했습니다. SmolVLA는 공개 데이터와 작은 모델, 접근 가능한 하드웨어를 통해 실험의 문턱을 낮추려는 방향을 보여줍니다.

 

이 성과들을 현장 가치로 연결하려면 질문도 구체적이어야 합니다. 어떤 물체와 환경에서 작동하는가, 새로운 조건은 무엇이었는가, 사람이 얼마나 개입했는가, 실패한 뒤 어떻게 복구하는가를 확인해야 합니다. 모델의 이름보다 관측과 행동의 연결, 데이터의 범위, 평가 조건이 실제 도입 판단에 더 직접적인 근거가 됩니다.

 

다음에 로봇 데모를 본다면 성공 장면 뒤의 조건을 함께 살펴보세요. 반복 시행과 실패 사례, 추가 학습 여부, 사람 개입과 작업 시간까지 확인할 때 기술의 진전이 더 선명해집니다. 피지컬 AI의 미래를 신뢰할 만하게 설명하는 방법은 가능성을 크게 외치는 데서 끝나지 않고, 어디까지 확인되었는지 정확하게 말하는 것입니다.

 

참고 자료

 

본문의 연구 설명은 아래 공개 자료를 기준으로 정리했습니다. 현장 평가와 도입 절차는 이를 바탕으로 제안한 설명용 설계이며 해당 기관의 공식 제품 보증이 아닙니다.

 

Google DeepMind, RT-2: New model translates vision and language into action, 2023년 7월 28일.

VLA 개념, 행동 토큰 표현, 평가 시행과 일반화 결과를 확인했습니다.

https://deepmind.google/discover/blog/rt-2-new-model-translates-vision-and-language-into-action/

RT-2: New model translates vision and language into action

 

Physical Intelligence, π0: Our First Generalist Policy, 2024년 10월 31일.

여러 로봇의 데이터, VLM과 연속 행동 출력, 작업별 후속 학습의 구분을 확인했습니다.

https://www.physicalintelligence.company/blog/pi0

 

Hugging Face, SmolVLA: Efficient Vision-Language-Action Model trained on Lerobot Community Data, 2025년 6월 3일.

모델 규모, 입력과 출력, 공개 커뮤니티 데이터, 비동기 추론 구조와 효율화 설계를 확인했습니다.

https://huggingface.co/blog/smolvla

SmolVLA: Efficient Vision-Language-Action Model trained on Lerobot Community Data

 

Learning Agents, 이동진, SmolVLA 논문 리뷰, 2025년 7월 31일.

국내 기술 해설의 문제 제기, 모델 구조, 데이터와 실험으로 이어지는 설명 구성을 참고했습니다.

https://learning-agents-kr.github.io/SmolVLA/