로봇은 말을 알아듣고도 컵을 떨어뜨린다: 피지컬 AI·VLA의 7가지 현실 장벽

 

피지컬 AI와 VLA 모델은 로봇이 카메라로 보고, 언어 지시를 이해하고, 실제 행동을 선택하도록 연결하는 기술이다. 그러나 “빨간 컵을 집어줘”라는 말을 이해하는 능력과 컵을 떨어뜨리지 않는 능력은 다르다. 로봇의 상용화를 가르는 지점은 멋진 대화보다 행동 데이터, 제어 주기, 실패 복구, 현장 평가에 있다.

 

이 글은 피지컬 AI를 처음 공부하는 개발자와 로봇 자동화를 검토하는 기획자를 위한 기술 해설이다. Google DeepMind의 RT-2 공식 발표와 OpenVLA 연구 페이지를 확인하고, 크라우드웍스와 페블러스의 국내 기술 콘텐츠를 비교했다. 개념을 먼저 설명한 뒤 실제 시스템 구조, 일곱 가지 장벽, 도입 체크리스트 순서로 정리한다. 연구 결과와 아래의 가상 설계 예시는 구분해서 읽어야 한다.

 

핵심 요약

• VLA는 Vision-Language-Action의 약자로, 시각과 언어를 로봇의 행동으로 연결하는 모델 계열이다.

• 웹에서 학습한 지식은 물체와 지시를 이해하는 데 도움이 되지만, 마찰·접촉·지연 문제까지 자동으로 해결하지는 않는다.

• 월드모델은 환경 변화의 예측을, 로봇 정책은 행동 선택을 담당한다. 실제 제품에서는 기능이 겹치거나 결합될 수 있다.

• 성공 영상 한 편보다 연속 작업 성공률, 사람 개입 빈도, 복구 시간과 실패 비용이 도입 판단에 유용하다.

 

목차

1. 피지컬 AI·VLM·VLA의 차이

2. RT-2와 OpenVLA가 보여준 변화

3. 언어 지시가 실제 동작이 되는 구조

4. 현장 도입을 막는 일곱 가지 장벽

5. 월드모델과 시뮬레이션의 역할

6. AI 에이전트와 로봇을 연결하는 방법

7. 평가 지표와 단계별 도입 계획

8. 자주 묻는 질문과 참고 자료

 

1. 피지컬 AI란? VLM·VLA와 무엇이 다를까

피지컬 AI(Physical AI)는 물리 환경을 관측하고 판단한 뒤 행동으로 영향을 주는 인공지능 시스템을 가리킨다. 로봇 팔, 이동 로봇, 자율 시스템 등이 논의 대상이다. 휴머노이드는 그 구현 형태 중 하나일 뿐이다. 사람처럼 생기지 않은 장비도 실제 환경과 상호작용하면 이 범주에서 다룰 수 있다.

 

LLM은 주로 언어를 처리하고, VLM은 시각과 언어를 함께 처리한다. 책상 사진에서 컵의 위치를 설명하는 모델은 VLM의 예다. VLA는 여기에 행동 출력을 연결한다. 출력은 자연어 설명이 아니라 로봇에 맞게 해석할 수 있는 행동 표현이다. 모델에 따라 토큰, 연속값, 여러 시점의 행동 묶음 등 표현 방식이 달라진다.

 

따라서 VLA를 “챗봇에 카메라를 붙인 것”으로 이해하면 중요한 차이가 빠진다. 로봇은 관절 위치, 가동 범위, 센서 시간, 물체와의 접촉을 고려해야 한다. 같은 사진과 같은 지시라도 로봇의 몸과 현재 자세가 다르면 실행 가능한 행동도 다르다. 언어의 의미를 이해하는 문제와 그 의미를 몸으로 실현하는 문제가 함께 존재한다.

 

피지컬 AI 전체를 VLA와 같은 말로 쓰는 것도 피하는 편이 좋다. 기존 제어기, 경로 계획, 상태 추정, 규칙 기반 안전장치와 학습 모델을 조합해도 물리 환경에서 지능적인 작업을 할 수 있다. VLA는 유력한 접근이지만 모든 로봇 문제의 유일한 해법이라는 뜻은 아니다. 현장에서는 작업 특성과 검증 가능한 성능이 기술 이름보다 앞선다.

2. RT-2와 OpenVLA가 보여준 변화

Google DeepMind가 2023년 7월 공개한 RT-2는 웹 데이터에서 얻은 시각·언어 지식을 로봇 행동과 연결하는 접근을 보여줬다. 공식 설명에 따르면 사전 학습한 VLM을 로봇 데이터와 웹 데이터로 함께 미세 조정하고, 행동을 모델이 출력할 수 있는 토큰 형태로 표현했다. 핵심은 인터넷 지식과 로봇 경험 사이의 연결이다.

 

RT-2 발표는 6,000회가 넘는 로봇 실험을 설명하며, 연구에서 정의한 미관측 시나리오의 성능이 RT-1의 32%에서 RT-2의 62%로 개선됐다고 보고했다. 이 숫자는 해당 평가 조건의 결과다. 모든 공장과 가정에서 62% 성공한다는 뜻도, 이전보다 어떤 작업이든 두 배 잘한다는 뜻도 아니다. 실험 범위와 비교 기준을 함께 읽어야 한다.

 

OpenVLA의 공식 연구 페이지는 70억 개 파라미터의 공개 VLA 모델을 소개한다. Open X-Embodiment에서 선별한 약 97만 개 로봇 에피소드로 학습했으며, 시각 인코더와 언어 모델을 결합해 토큰화한 행동을 예측한다. 출력 토큰은 로봇이 실행할 연속 행동으로 해석된다. 공개 가중치와 학습 파이프라인은 재현과 응용 연구의 진입점을 제공한다.

 

여기서 더 유익한 부분은 연구진이 밝힌 한계다. OpenVLA 페이지는 좁고 정밀한 단일 지시 작업에서는 처음부터 학습한 Diffusion Policy가 더 좋은 결과를 보이는 예를 제시한다. 반면 여러 물체와 다양한 언어 지시를 다루는 설정에서는 사전 학습한 일반 정책의 이점이 나타난다. 큰 범용 모델이라는 이유만으로 개별 작업의 최적해가 되지는 않는다.

 

이 두 연구를 현재 피지컬 AI를 이해하는 기초 사례로 읽을 수 있다. 다만 오래된 연구 결과를 최신 제품의 성능으로 바꿔 말해서는 안 된다. 이 글은 2026년의 모든 로봇 모델을 순위화하는 글이 아니다. 공식 자료에서 확인할 수 있는 구조와 평가의 의미를 중심으로, 새로운 제품 발표를 읽을 때도 적용할 판단 기준을 제시한다.

 

3. 언어 지시가 실제 동작이 되는 구조

설명을 위해 물류 작업대에서 “빨간 컵을 오른쪽 상자에 넣어줘”라는 지시를 받는 로봇을 가정하자. 이 예시는 특정 회사의 실제 제품 구성이 아니다. 먼저 카메라와 센서가 장면을 관측하고, 시스템은 어느 물체와 어느 상자가 대상인지 파악한다. 빨간 컵이 두 개라면 추가 질문이나 사전에 정의한 선택 규칙이 필요하다.

 

그다음 작업 목표를 검증 가능한 조건으로 바꾼다. 컵이 상자 내부에 놓였는지, 손이 컵을 놓았는지, 이동 경로가 작업 영역을 벗어나지 않았는지를 구분할 수 있어야 한다. “잘 정리해줘”처럼 넓은 표현만으로는 완료 조건이 흐려진다. 프롬프트 엔지니어링은 이 단계에서 목표와 제약을 명확히 만드는 데 도움을 준다.

 

행동 정책은 관측과 지시를 바탕으로 다음 행동을 선택한다. 이어 로봇 인터페이스와 제어기가 모델 출력을 해당 장비의 동작으로 변환한다. 시스템 설계에 따라 작업 계획과 저수준 제어를 나누거나, 모델이 더 넓은 범위를 담당할 수 있다. 어느 경우든 관절 제한과 실행 조건을 확인하는 과정이 필요하다.

 

마지막은 다시 관측하는 단계다. 컵이 미끄러졌는데 최초 계획만 끝까지 실행하면 실패를 키울 수 있다. 물체가 아직 손 안에 있는지, 상자가 움직였는지 확인하면서 계속할지, 다시 잡을지, 멈출지를 판단해야 한다. 이처럼 관측과 행동을 반복하며 결과를 반영하는 구조를 폐루프라고 부른다. 로봇의 신뢰성은 이 반복의 품질에 크게 좌우된다.

4. 장벽 하나: 말의 의미와 물리적 상태는 다르다

“컵을 잡았다”라는 문장을 생성했다고 실제 파지가 성공한 것은 아니다. 영상에서는 손가락이 물체를 가린 상태가 안정적으로 잡은 상태처럼 보일 수도 있다. 투명한 컵, 반사하는 금속, 조명 변화는 시각 판단을 더 어렵게 만든다. 실제 상태를 확인하는 증거가 부족하면 모델의 자신감은 운영에 도움이 되지 않는다.

 

상태 추정에는 카메라 외에도 관절 위치, 그리퍼 폭, 힘이나 촉각 등 장비가 제공하는 신호를 활용할 수 있다. 어떤 센서가 필요한지는 작업에 따라 달라진다. 단단한 상자를 옮기는 일과 얇은 비닐을 집는 일은 성공을 확인하는 방법이 다르다. 센서를 많이 설치한다고 무조건 해결되는 것도 아니다. 신호를 어떻게 동기화하고 해석할지가 뒤따른다.

 

개발 단계에서는 행동 전제와 완료 증거를 함께 정의하는 것이 좋다. 집기 전에는 대상과 접근 공간이 확인돼야 하고, 집은 뒤에는 물체가 함께 이동했는지 관측해야 한다. 상자에 놓은 다음에는 손에서 분리됐는지 확인해야 한다. 언어적 이해와 물리적 성공을 별도 항목으로 기록하면 오류가 어느 단계에서 시작됐는지 찾기 쉬워진다.

 

5. 장벽 둘: 행동 데이터는 인터넷 문서처럼 모을 수 없다

웹 문장은 대량으로 수집하고 복제하기 쉽지만 로봇 시연은 장비와 시간이 필요하다. 사람이 원격으로 조종하거나 직접 시연하는 과정에서 동작, 영상, 로봇 상태를 함께 저장해야 한다. 접촉 과정에서 장비나 물체가 손상될 수 있고, 같은 작업이라도 로봇의 구조가 달라지면 데이터 해석이 달라진다.

 

좋은 데이터는 성공 장면을 많이 담은 데이터와 완전히 같지 않다. 물체를 놓친 순간, 시야가 가려진 순간, 사람이 작업대에 들어온 순간 같은 경계 상황이 중요하다. 다만 실패 데이터를 그대로 모방 학습에 넣으면 잘못된 행동을 배울 수 있다. 실패 원인과 중단·복구 행동을 구분하고, 학습 목적에 맞게 선별해야 한다.

 

시간 정렬도 품질의 일부다. 카메라가 본 장면과 기록된 관절 상태가 어긋나면, 모델은 어떤 관측에서 어떤 행동이 나왔는지 잘못 연결할 수 있다. 좌표계, 단위, 센서 버전과 그리퍼 구성도 메타데이터로 남겨야 한다. 영상 해상도만 높이고 이런 정보를 빠뜨리면 나중에 데이터를 합칠 때 큰 비용이 생긴다.

 

실무에서는 데이터 수집량을 늘리기 전에 작업 분포를 정의해야 한다. 어떤 물체, 어떤 자세, 어떤 조명에서 서비스할 것인지 먼저 정하고 빈 구간을 채운다. 비슷한 성공 장면을 반복 저장하는 것보다 취약 조건을 찾아 추가 수집하는 편이 효율적일 수 있다. 데이터의 가치는 파일 수가 아니라 실제 배포 환경을 얼마나 설명하는지로 평가해야 한다.

 

6. 장벽 셋: 로봇의 몸이 바뀌면 행동의 뜻도 바뀐다

사람에게 같은 “손을 뻗어라”라는 지시를 해도 키와 팔 길이에 따라 동작이 달라진다. 로봇도 관절 수, 가동 범위, 그리퍼 형태와 설치 위치가 다르다. 한 장비에서 안전한 동작이 다른 장비에서는 특이 자세나 충돌을 만들 수 있다. 여러 로봇 데이터를 학습했다는 말은 모든 장비에 즉시 연결된다는 보증이 아니다.

 

이를 다룰 때 행동 공간과 좌표계가 중요해진다. 모델이 예측하는 값이 관절 목표인지, 손끝의 이동량인지, 특정 기준 좌표계의 위치인지 확인해야 한다. 회전 표현과 단위가 다르면 변환도 필요하다. 모델 파일을 내려받아 실행하는 것과 로봇 시스템에 정확히 통합하는 것은 서로 다른 작업이다.

새로운 로봇을 도입할 때는 카메라 보정, 동작 범위 확인, 행동 변환 검증을 먼저 수행해야 한다. 이후 필요한 현장 데이터로 적응 학습을 검토한다. OpenVLA 역시 새 로봇 설정으로의 효율적인 미세 조정을 중요한 과제로 다룬다. 공개 모델을 출발점으로 활용하되, 현장 적응 비용을 예산에서 없애지는 말아야 한다.

 

7. 장벽 넷: 추론 지연은 물리적 오차로 이어진다

텍스트 서비스에서 잠깐의 지연은 기다림으로 끝날 수 있지만 로봇 주변은 기다리는 동안에도 변한다. 카메라가 촬영한 시점부터 전처리, 모델 추론, 통신, 제어 명령 실행까지 시간이 흐른다. 손이 움직인 뒤에 도착한 오래된 관측을 현재 상태처럼 사용하면 오차가 커질 수 있다.

 

따라서 추론 속도를 이야기할 때 모델 호출 시간 하나만 측정해서는 부족하다. 관측부터 실제 실행까지 전체 지연과 그 변동을 함께 봐야 한다. 네트워크가 불안정한 순간에도 동작해야 하는지, 통신이 끊기면 어떤 상태로 전환할지 설계해야 한다. 클라우드와 온디바이스 선택은 이런 운영 조건에 따라 달라진다.

 

OpenVLA의 공개 페이지에도 서로 다른 실험 설정에서 5Hz와 15Hz 제어가 등장한다. 이는 해당 연구 구성에 관한 설명이며 모든 VLA의 표준 주기가 아니다. 특정 작업에 필요한 제어 주기는 동작 속도와 정밀도, 장비와 제어 계층에 따라 달라진다. 숫자를 비교할 때 어느 계층의 주기인지부터 확인해야 한다.

 

일부 시스템은 여러 시점의 행동을 한 번에 생성하고 일부를 실행한 뒤 다시 관측한다. 호출 부담을 줄일 수 있지만 관측 없이 실행하는 구간이 길면 환경 변화에 늦게 반응할 수 있다. 긴 행동 묶음이 항상 유리한 것은 아니다. 연산 비용과 반응성 사이의 균형을 실제 작업에서 측정해야 한다.

 

8. 장벽 다섯: 짧은 성공을 이어 붙이면 긴 작업은 더 어려워진다

한 번의 집기 성공률이 높아도 집기, 이동, 배치, 확인이 연속되는 작업은 다르다. 설명을 위한 단순 계산으로 각 단계 성공률이 95%이고 모든 단계가 독립이라고 가정하면, 열 단계가 모두 성공할 확률은 약 60%다. 실제 실패는 서로 연관될 수 있으므로 이 값은 제품 성능 예측이 아니라 누적 효과를 보여주는 예시다.

 

긴 작업에서는 상태 관리가 필요하다. 지금 어느 단계인지, 어느 물체를 이미 처리했는지, 실패 후 어디서 다시 시작할지 알아야 한다. 같은 컵을 두 번 옮기거나 이미 채운 상자에 반복해서 넣는 문제는 지시 해석만으로 해결되지 않는다. 작업 진행 상태와 실제 환경을 대조하는 장치가 있어야 한다.

 

복구에는 별도의 목표가 필요하다. 컵을 놓친 뒤 무조건 같은 집기를 반복하면 주변 물체를 밀어낼 수 있다. 재관측 후 접근 자세를 바꾸거나, 작업을 초기화하거나, 사람에게 넘기는 선택지가 있어야 한다. 재시도 횟수와 시간 예산도 제한해야 한다. 끝없이 시도하는 시스템은 자율성이 높은 시스템과 다르다.

 

9. 장벽 여섯: 그럴듯한 시뮬레이션이 현실의 접촉을 보증하지 않는다

시뮬레이션은 다양한 환경을 반복하고 위험한 상황을 시험하는 데 유용하다. 조명, 물체 위치, 카메라 각도와 마찰 같은 조건을 바꾸며 데이터를 만들 수 있다. 하지만 가상환경의 물성과 실제 물체가 다르면 학습한 동작이 현장에서 실패할 수 있다. 이 차이를 흔히 sim-to-real gap이라고 부른다.

특히 접촉이 많은 작업에서는 작은 오차가 중요하다. 물체의 무게중심, 손가락 표면의 마찰, 케이블의 탄성, 얇은 포장의 변형이 결과를 바꿀 수 있다. 사진처럼 사실적인 렌더링은 시각 표현에 도움을 주지만 물리 모델의 정확성과 같은 성질은 아니다. 보기 좋은 영상만으로 데이터의 실행 가치를 판단하면 안 된다.

 

월드모델은 관측과 경우에 따라 행동을 바탕으로 환경의 미래 상태나 표현을 예측하는 데 활용될 수 있다. 로봇이 행동 후보를 비교하거나 학습 데이터를 만드는 데 도움이 될 수 있지만, 예측 영상이 자연스럽다는 이유만으로 실제 결과도 맞는 것은 아니다. 물체가 겹치거나 접촉이 틀린 장면은 시각적으로 자연스러워도 행동 학습에는 해로울 수 있다.

 

시뮬레이션과 월드모델의 결과는 실제 장비 검증으로 연결해야 한다. 가상환경에서 취약 조건을 찾고, 실제 실험에서 오차의 원인을 확인하고, 다시 모델과 데이터를 고치는 순환이 필요하다. 합성 데이터와 실제 데이터를 경쟁 관계로만 볼 필요는 없다. 각각 어떤 빈틈을 채우는지 명확할수록 활용 목적이 분명해진다.

 

10. 장벽 일곱: 데모 성공률과 운영 경제성은 다르다

성공 영상은 기술의 가능성을 보여주지만 운영 성능을 완전히 설명하지 않는다. 촬영 전 준비 시간, 실패한 시도, 사람의 보정, 중간 초기화가 영상에 담기지 않을 수 있다. 연구 데모가 잘못됐다는 뜻이 아니라 연구가 답하는 질문과 현장 도입이 답해야 하는 질문이 다르다는 뜻이다.

 

기업은 시간당 처리량뿐 아니라 정상 완료 한 건당 비용을 봐야 한다. 장비 감가, 전력, 추론 비용, 원격 지원 인력, 재작업과 유지보수 비용이 포함된다. 빠르게 움직여도 작업물을 자주 손상시키면 경제성이 떨어진다. 속도를 조금 낮추고 실패를 줄이는 설정이 전체 비용에서는 유리할 수 있다.

 

가동률과 복구 시간도 중요하다. 하루 중 실제로 생산 작업을 수행하는 시간이 얼마나 되는지, 오류 후 평균적으로 얼마나 쉬는지 측정해야 한다. 원격으로 사람이 개입하는 경우에는 빈도와 소요 시간을 따로 기록한다. “자율 주행”이나 “자율 작업”이라는 이름이 인력 비용을 자동으로 없애주지는 않는다.

 

도입 검토에서는 기존 자동화와 비교해야 한다. 위치가 고정되고 작업이 반복적이라면 전용 지그와 전통적인 제어가 더 단순하고 안정적일 수 있다. 물체와 지시가 자주 바뀌면 학습 기반 모델의 유연성이 가치가 될 수 있다. VLA의 가치는 새로움 자체가 아니라 변경 비용과 작업 범위를 얼마나 개선하는지에서 나온다.

 

11. AI 에이전트와 로봇을 연결할 때의 설계 원칙

소프트웨어 AI 에이전트는 목표를 해석하고 도구를 호출하며 결과를 확인한다. 로봇 시스템도 이런 상위 계획을 활용할 수 있다. 예를 들어 주문 시스템에서 작업을 받아 처리 순서를 정하고, 로봇에 제한된 작업 명세를 전달하고, 완료 상태를 기록하는 식이다. 상위의 업무 판단과 실제 동작 계층은 역할이 다르다.

 

이때 자연어를 모든 인터페이스로 쓰면 애매함이 남는다. “적당히 빠르게” 대신 허용 속도 범위, “오른쪽 상자” 대신 확인한 대상 식별자, “완료” 대신 충족해야 할 관측 조건을 전달하는 편이 검증하기 쉽다. 모델이 만든 계획은 장비의 능력 목록과 실행 가능 조건을 통과해야 한다. 실행할 수 없는 행동은 계획 단계에서 드러나야 한다.

프롬프트 엔지니어링은 작업 목적과 금지 조건을 정리하는 데 유용하다. 그러나 “절대 충돌하지 마”라는 문장이 충돌 방지 장치를 대신하지는 않는다. 물리적 작업 영역 제한, 속도 제한과 비상 정지 등은 장비와 위험 수준에 맞는 독립적인 설계가 필요하다. 언어 모델의 출력과 장비 제어 사이에 명시적인 검증 경계를 두는 이유다.

 

로그도 계층별로 남기는 편이 좋다. 사용자 지시, 해석한 작업 목표, 선택한 행동, 센서 관측, 중단 이유가 연결돼야 원인을 분석할 수 있다. 모델이 대상을 잘못 골랐는지, 좌표 변환이 틀렸는지, 실제 파지가 실패했는지 구분해야 개선 방향이 달라진다. 프롬프트 하나를 고치는 방식으로 모든 오류를 해결하려 하면 원인별 대응이 어려워진다.

 

12. 현장에서 확인할 피지컬 AI 평가 지표

첫째는 작업 전체의 완료율이다. 시작 상태와 완료 조건을 고정하고 사람이 개입하지 않은 성공을 별도 집계한다. 부분 성공과 사람 도움을 받은 성공을 섞으면 자동화 수준을 오해하기 쉽다. 평가 도중 장비나 프롬프트를 바꾸었다면 조건을 기록하고 결과를 분리해야 비교가 가능하다.

 

둘째는 일반화 성능이다. 새로운 물체, 새로운 배경, 새로운 위치, 새로운 지시를 각각 나눠 평가한다. 배경만 바꾼 성공을 보지 못한 작업 전체에 대한 일반화로 확대하면 안 된다. 학습 데이터와 평가 데이터가 얼마나 겹치는지도 확인해야 한다. 현장에 필요한 변화 범위를 먼저 정의하면 평가의 의미가 선명해진다.

 

셋째는 사람 개입과 복구다. 백 회 작업당 개입 횟수, 개입에 필요한 시간, 자동 복구 성공률을 기록할 수 있다. 넷째는 지연과 처리량이다. 평균값과 함께 느린 구간의 지연을 봐야 한다. 다섯째는 손상과 접촉 같은 현장 위험 지표다. 각 수치는 작업의 위험 수준과 운영 목표에 맞게 정해야 한다.

 

여섯째는 비용이다. 정상 완료 건수로 전체 운영 비용을 나눠, 작업물 한 건을 처리하는 실제 비용을 계산한다. 모든 지표를 하나의 점수로 합치기보다 함께 제시하는 편이 낫다. 속도가 빨라져도 손상이 증가했는지, 성공률이 높아져도 사람의 준비 시간이 늘었는지 볼 수 있기 때문이다. 성능 개선이 현장의 개선으로 이어졌는지를 확인해야 한다.

 

13. 작은 팀이 시작하는 단계별 도입 계획

첫 단계에서는 작업을 좁힌다. 물체 종류, 작업 영역, 시작 조건과 성공 조건을 한 문서에 정리한다. “무엇이든 정리하는 로봇”보다 “정해진 작업대의 빈 용기를 지정한 통에 넣는 로봇”처럼 검증 가능한 범위가 출발점으로 좋다. 범위를 좁히는 것은 기술적 후퇴가 아니라 실패 원인을 알아볼 수 있게 만드는 방법이다.

 

두 번째 단계는 기준선을 만드는 일이다. 기존 제어와 단순한 정책으로 같은 작업을 수행하고 성공률과 처리 시간을 기록한다. 그다음 VLA나 다른 학습 정책을 비교한다. 기준선이 없으면 복잡한 시스템을 만들고도 무엇이 개선됐는지 말하기 어렵다. 언어 지시의 다양성이 실제로 필요한지도 이때 확인할 수 있다.

 

세 번째 단계는 데이터와 실패 기록을 정리하는 일이다. 수집할 센서, 시간 기준, 좌표계, 작업 라벨과 장비 버전을 고정한다. 개발에 쓸 데이터와 최종 평가에 쓸 데이터를 분리한다. 실패가 발견될 때마다 평가 문제를 학습 데이터로 옮기기만 하면 실력보다 시험 문제에 익숙해진 효과가 커질 수 있다.

네 번째 단계는 제한된 환경에서 반복 검증하는 일이다. 처음에는 동작 범위와 속도를 보수적으로 설정하고, 조건을 한 번에 하나씩 넓힌다. 새로운 물체와 새로운 조명을 동시에 넣기보다 변수를 분리하면 원인을 찾기 쉽다. 다섯 번째 단계에서 일정 기간의 실제 운영 비용과 개입 로그를 모아 확장 여부를 판단한다. 일정은 팀과 장비에 따라 달라지며, 달성하지 못한 성능 목표를 날짜만으로 통과시키지 않는 것이 중요하다.

 

14. 국내 기술 블로그를 비교해 얻은 관점

크라우드웍스의 글은 VLA, 월드모델, 월드 파운데이션 모델을 연결해 피지컬 AI의 큰 흐름을 설명한다. 목차와 개념 비교를 통해 입문자가 기술 사이의 관계를 따라가기 쉽다. 페블러스의 VLA 허브는 LLM·VLM·VLA의 차이에서 출발해 아키텍처, 합성 데이터와 데이터 품질로 읽을거리를 확장한다.

 

두 콘텐츠의 공통점은 모델 이름만 나열하지 않고 데이터와 현실 환경으로 논의를 넓힌다는 데 있다. 이 글 역시 정의, 연구 사례, 동작 예시, 현장 평가 순서로 구성했다. 다만 기업 블로그의 산업 전망과 연구의 실험 결과는 근거의 성격이 다르다. 투자 규모나 미래 성능을 그대로 재인용하기보다, 기술 주장에 맞는 원자료를 확인하는 편이 좋다.

 

특히 여러 기술을 단계적인 진화로 설명하는 도식은 입문에 유용하지만 실제 제품을 모두 설명하지는 않는다. 기존 제어와 VLA, 월드모델은 서로를 완전히 대체하기보다 결합될 수 있다. 현장에서는 어떤 기술이 더 미래적인지보다 어느 구성에서 목표 작업을 안정적으로 수행하는지를 물어야 한다. 이것이 피지컬 AI 뉴스를 읽을 때도 적용할 실용적인 기준이다.

 

15. 자주 묻는 질문

Q. VLA 모델을 설치하면 기존 로봇이 바로 똑똑해지나요?

모델 가중치만으로 끝나지 않는다. 센서 구성, 좌표계, 행동 표현, 제어 인터페이스와 실제 작업 데이터가 맞아야 한다. 새 로봇 설정에 대한 보정과 적응 학습, 현장 평가가 필요할 수 있다. 공개 모델은 연구와 개발의 출발점을 제공한다.

 

Q. 피지컬 AI는 휴머노이드 로봇만 뜻하나요?

아니다. 물리 환경을 관측하고 판단하며 행동하는 다양한 형태의 시스템을 포함할 수 있다. 고정형 로봇 팔과 이동 로봇도 중요한 대상이다. 사람과 비슷한 외형이 필요한지는 작업 환경과 도구, 이동 방식에 따라 판단해야 한다.

 

Q. 월드모델이 있으면 실제 로봇 데이터가 필요 없나요?

그렇게 단정할 수 없다. 환경 예측과 합성 데이터가 도움이 되더라도 실제 센서와 접촉, 장비 차이를 검증해야 한다. 모델이 만든 미래와 현장에서 관측한 미래를 비교할 데이터가 있어야 오차를 알 수 있다. 실제 데이터의 역할은 수집량을 넘어 검증 기준에도 있다.

 

Q. 더 큰 모델이 더 작은 정책보다 항상 좋나요?

아니다. OpenVLA의 공개 비교에서도 좁고 정밀한 일부 작업은 다른 접근이 강점을 보였다. 범용성과 언어 이해, 제어 정밀도와 연산 비용 사이에는 선택이 있다. 모델 크기 대신 해당 작업 조건에서의 성공률과 운영 비용을 비교해야 한다.

 

Q. 프롬프트를 길게 쓰면 로봇 오류를 줄일 수 있나요?

대상과 완료 조건을 명확히 하는 데는 도움이 된다. 하지만 잘못된 보정값, 센서 지연, 미끄러운 물체 같은 문제는 지시문을 길게 써도 남는다. 오류를 지시 해석, 인식, 행동 생성, 실행과 검증으로 나눠야 알맞은 해결책을 선택할 수 있다.

Q. 기업은 어떤 질문부터 해야 하나요?

“어느 모델을 살까?”보다 “어떤 작업을 어느 조건에서 얼마의 비용으로 완료해야 하나?”가 먼저다. 기준 작업과 실패 비용을 정하면 데이터 요구, 장비 구성, 평가와 지원 인력의 범위가 구체화된다. 그다음 기술 후보를 비교해야 도입 목표가 흔들리지 않는다.

 

결론: 피지컬 AI의 진짜 시험장은 반복되는 현장이다

VLA는 시각과 언어를 행동으로 연결하며 로봇의 적용 범위를 넓히는 중요한 접근이다. RT-2와 OpenVLA는 그 가능성과 함께 평가 조건, 작업 특성, 데이터의 중요성을 보여준다. 그러나 말을 이해하는 능력만으로 현실의 마찰과 지연, 실패 비용까지 사라지는 것은 아니다.

 

좋은 피지컬 AI 시스템은 목표를 명확히 받고, 실행 가능한 행동을 고르고, 결과를 다시 관측하고, 실패하면 복구하거나 멈출 수 있어야 한다. 모델의 가능성을 현장의 신뢰성으로 바꾸는 작업은 데이터와 제어, 검증과 운영을 연결하는 데서 시작한다. 다음 로봇 데모를 볼 때는 “무슨 말을 이해했나?”와 함께 “몇 번 연속 성공했고 실패 후에는 어떻게 됐나?”를 확인해 보자.

 

참고 자료 및 더 읽을거리

Google DeepMind, RT-2: New model translates vision and language into action, 2023년 7월 28일. VLA의 행동 토큰 표현과 연구 평가 조건을 확인했다.

https://deepmind.google/blog/rt-2-new-model-translates-vision-and-language-into-action/

RT-2: New model translates vision and language into action

 

OpenVLA: An Open-Source Vision-Language-Action Model, 2024년 연구. 모델 구조, 학습 데이터 규모, 새 로봇 적응과 정책 비교 결과를 확인했다.

https://openvla.github.io/

OpenVLA: An Open-Source Vision-Language-Action Model

 

크라우드웍스, 피지컬 AI 시대: VLA부터 월드모델까지, 로봇 지능의 새로운 진화. 국내 기술 콘텐츠의 개념 설명과 구성 방식을 비교했다.

https://crowdworks.blog/vla-world-model-physical-ai-trend/

피지컬 AI 시대 : VLA부터 월드모델까지, 로봇 지능의 새로운 진화 - 크라우드웍스 블로그

 

페블러스, VLA 모델 — 보고·이해·행동하는 로봇 AI의 핵심. VLA 입문과 행동 데이터 품질에 관한 주제 구성을 확인했다.

https://blog.pebblous.ai/project/VLA/ko/

VLA 모델 — 보고, 이해하고, 행동하는 AI

 

함께 읽기: 이 블로그의 「AI 에이전트의 기억이 오히려 독이 될 때: 장기 메모리 설계의 7가지 함정」은 소프트웨어 에이전트의 상태와 기억을 다룬다. 피지컬 AI에서도 저장된 계획과 지금 관측한 현실을 구분해야 한다는 관점으로 이어 읽을 수 있다.

https://bangbangtotory.tistory.com/entry/AI-에이전트의-기억이-오히려-독이-될-때-장기-메모리-설계의-7가지-함정

AI 에이전트의 기억이 오히려 독이 될 때: 장기 메모리 설계의 7가지 함정

 

자료 확인일: 2026년 10월 18일. 수치는 각 연구가 공개한 실험 조건의 결과이며, 본문의 작업대와 도입 단계는 이해를 돕기 위한 설계 예시다.