똑똑한 로봇도 늦으면 실패한다: 피지컬 AI의 추론 지연과 RTC

 

피지컬 AI와 로보틱스에서 추론 속도는 사용자가 기다리는 시간 이상의 문제입니다. 로봇이 새 행동을 계산하는 동안 물체와 로봇의 상태가 바뀌기 때문입니다. Diffusion Policy, 액션 청킹과 Real-Time Chunking(RTC)을 통해 모델의 판단을 실제 시간의 움직임으로 연결할 때 무엇을 설계해야 하는지 살펴봅니다.

 

로봇이 컵의 위치를 정확히 알아냈다고 가정해 보겠습니다. 카메라를 읽고 행동을 계산한 뒤 손을 뻗는 사이 컵이 움직였다면, 로봇은 이미 지난 위치를 향해 갈 수 있습니다. 사진에서 올바른 답을 찾는 능력과 지금 이 순간 유효한 행동을 실행하는 능력은 연결돼 있지만 같지는 않습니다.

 

이 차이는 모델이 커질수록 더 중요해질 수 있습니다. 큰 모델은 다양한 상황을 해석하는 데 도움이 될 수 있지만 계산과 통신에는 시간이 듭니다. 높은 벤치마크 점수와 매끄러운 시연 영상만으로는 관찰에서 실행까지의 지연, 동작 사이의 멈춤과 변화에 대한 반응성을 알기 어렵습니다.

 

최근의 로봇 정책은 여러 미래 행동을 한꺼번에 예측하는 액션 청킹을 활용합니다. 덕분에 매 제어 시점마다 무거운 모델을 새로 실행하지 않아도 됩니다. 그러나 미리 만든 행동을 이어 붙이는 과정에서는 또 다른 문제가 생깁니다. 앞 동작이 끝나기도 전에 다음 계획이 도착하거나, 새 계획이 지금의 움직임과 맞지 않을 수 있습니다.

 

이 글은 2026년 10월 22일 확인한 Diffusion Policy 공식 프로젝트, Physical Intelligence의 RTC 연구 글, Hugging Face LeRobot 문서와 관련 논문·한국어 기술 블로그를 바탕으로 작성했습니다. 연구 결과는 해당 실험 조건 안에서 해석하며 아래의 수치 계산과 분류 작업은 설명용 예시입니다. 직접 로봇을 운용해 얻은 성능 결과는 제시하지 않습니다.

먼저 읽는 핵심

• 카메라 프레임률, 정책 추론 빈도와 로봇 제어 주기는 서로 다른 값입니다.

• 액션 청킹은 미래의 여러 행동을 묶어 예측하는 접근이며, 최신 관찰을 계속 반영한다는 보장은 아닙니다.

• 비동기 추론은 계산과 실행을 겹치지만 행동 묶음 사이의 불연속까지 자동으로 없애지는 않습니다.

• RTC는 새 행동 묶음을 기존 실행과 일관되게 생성하도록 유도하는 방법입니다.

• 매끄러움과 반응성, 작업 성공과 처리량을 함께 평가해야 현장 성능을 이해할 수 있습니다.

이 글의 흐름

피지컬 AI의 시간 문제 → Diffusion Policy → 액션 청킹 → 비동기 실행과 RTC → 최신 관찰의 반영 → 지연 측정과 도입 판단

로봇에게 늦은 판단은 오래된 관찰에 대한 판단이다

텍스트 서비스에서는 답변이 조금 늦어져도 질문의 조건이 그대로인 경우가 많습니다. 반면 로봇이 놓인 물리 세계는 모델의 계산이 끝날 때까지 멈춰 주지 않습니다. 손끝이 움직이고 물체가 미끄러지며, 컨베이어와 주변 작업자의 위치가 바뀔 수 있습니다.

 

따라서 로봇의 지연은 단순한 응답 시간만으로 설명하기 어렵습니다. 관찰을 촬영한 시점, 모델에 전달한 시점, 결과가 도착한 시점과 실제 행동이 적용된 시점의 관계를 봐야 합니다. 행동을 실행할 때 기준 관찰이 얼마나 오래됐는지가 중요합니다.

위치를 정확히 인식한 모델도 오래된 영상에 근거하면 현재 상태와 맞지 않는 행동을 만들 수 있습니다. 반대로 모델이 빠르더라도 카메라 버퍼에 이전 프레임이 쌓여 있으면 입력 자체가 오래됐을 수 있습니다. GPU의 연산 속도 하나만으로 시스템의 반응성을 판단할 수 없는 이유입니다.

 

이 문제는 움직이는 물체를 잡는 상황에만 나타나는 것이 아닙니다. 멈춘 물체를 조작하더라도 로봇의 손과 물체가 접촉하면서 상태가 달라집니다. 파지에 실패하거나 물체가 조금 밀린 뒤에도 예전 계획을 계속 실행하면 오차가 누적될 수 있습니다.

 

그러므로 로봇 AI의 능력을 이야기할 때는 무엇을 이해하는지와 함께 언제 이해한 정보를 행동에 반영하는지 물어야 합니다. 피지컬 AI의 성능은 지식과 추론뿐 아니라 관찰·계산·통신·제어가 맞물리는 시간 구조에도 달려 있습니다.

Diffusion Policy는 왜 미래 행동의 묶음을 예측하는가

Diffusion Policy는 로봇의 시각 기반 행동 정책을 조건부 디노이징 확산 과정으로 표현한 연구입니다. 이미지 생성 모델처럼 노이즈에서 점진적으로 샘플을 만들지만, 여기서 생성 대상은 그림이 아니라 로봇의 행동입니다. 관찰을 조건으로 행동의 시퀀스를 예측합니다.

 

이 접근의 중요한 배경은 하나의 상황에 유효한 행동이 여러 개 존재할 수 있다는 점입니다. 물체에 접근할 때 왼쪽과 오른쪽 경로가 모두 가능할 수 있습니다. 서로 다른 유효한 경로를 단순 평균한 동작은 오히려 유효하지 않을 수 있으므로 행동 분포를 표현하는 능력이 중요해집니다.

 

공식 프로젝트는 다중 모드 행동 분포를 다루는 점, 고차원 행동 공간과 학습 안정성을 장점으로 설명합니다. 또한 예측한 행동 시퀀스를 receding-horizon 방식의 제어에 연결합니다. 미래를 일정 범위까지 예측하되 그중 일부를 실행하고 새 관찰로 계획을 갱신하는 관점입니다.

 

여기서 Diffusion Policy를 모든 VLA와 같은 뜻으로 쓰면 안 됩니다. VLA는 시각·언어·행동을 연결하는 모델 계열을 가리키는 표현이고, 확산 기반 행동 생성은 정책을 구성하는 한 접근입니다. 언어 입력의 유무와 모델 구조, 행동 표현은 구현마다 다를 수 있습니다.

 

Flow Matching 기반 정책도 생성형 행동 모델의 중요한 흐름입니다. 그러나 확산과 플로가 같은 알고리즘인 것은 아니며, 특정 계열이면 무조건 더 적은 계산으로 더 좋은 제어를 한다고 단정할 수도 없습니다. 실제 추론 단계 수와 하드웨어, 모델과 실행 구성을 확인해야 합니다.

 

Diffusion Policy 공식 페이지의 벤치마크 결과도 정해진 작업과 비교 모델 아래의 연구 성과입니다. 그 결과를 현재 모든 로봇에 적용되는 성능 순위로 바꾸기보다, 행동 시퀀스와 생성형 정책이 왜 유용한지 이해하는 근거로 읽는 편이 정확합니다.

액션 청킹은 호출을 줄이지만 미래를 미리 소비한다

액션 청킹은 모델이 한 번의 추론으로 여러 미래 시점의 행동을 만드는 방식입니다. 로봇은 반환된 행동을 순서대로 실행할 수 있습니다. 하나의 행동을 얻을 때마다 큰 모델을 호출하는 방식에 비해 추론 비용을 여러 제어 시점에 나눠 쓸 수 있습니다.

 

예를 들어 제어 주기가 50Hz라면 한 단계는 20밀리초입니다. 한 번에 50개 행동을 만들면 1초에 해당하는 명령을 확보할 수 있습니다. 이것은 시간 환산을 위한 예시이며, 50개를 예측했다고 반드시 전부 실행해야 하는 것은 아닙니다.

예측한 전체 길이와 실제로 다음 갱신 전까지 실행하는 길이는 구분해야 합니다. 긴 행동 묶음을 만들고 일부만 실행한 뒤 다시 관찰하는 구성이 가능합니다. 구현마다 horizon이라는 용어가 가리키는 범위도 다를 수 있으므로 파라미터 이름보다 실제 동작을 확인하는 것이 좋습니다.

 

청킹의 이득은 행동 사이의 시간적 일관성을 표현할 수 있다는 데도 있습니다. 한 시점의 명령만 따로 예측하기보다 물체에 접근하고 잡고 이동하는 짧은 연속 동작을 함께 구성할 수 있습니다. 다만 생성된 묶음 안에서 일관된다는 것과 다음 묶음과 자연스럽게 이어진다는 것은 별개입니다.

 

또 예측한 행동을 오래 실행할수록 그 사이에 들어온 새로운 관찰이 늦게 반영될 수 있습니다. 고정된 환경에서는 효율적일 수 있지만 예기치 못한 접촉과 이동이 있는 환경에서는 불리할 수 있습니다. 청크를 길게 만드는 것만으로 지연 문제를 해결할 수는 없습니다.

 

“다음 행동을 미리 계산한다”는 말은 미래를 정확히 안다는 뜻이 아닙니다. 지금 가진 정보로 만든 계획이므로 실행 도중 조건이 달라지면 갱신해야 합니다. 청킹 설계는 계산 효율과 계획의 유효기간 사이의 균형을 다루는 문제입니다.

50Hz 제어와 초당 50회 모델 추론은 다르다

로봇 소개에서 “50Hz로 동작한다”는 표현을 보면 무엇의 주파수인지 먼저 확인해야 합니다. 카메라가 영상을 제공하는 빈도, 큰 정책이 새 묶음을 만드는 빈도, 명령을 전달하는 빈도와 내부 제어기의 동작 주기는 각각 다를 수 있습니다.

 

모델이 미래 행동 50개를 한 번에 만든 뒤 제어기가 이를 50Hz로 소비한다면, 큰 모델이 매초 50번 실행된 것은 아닙니다. 이 구분을 놓치면 필요한 연산량과 반응성을 모두 잘못 예상할 수 있습니다. 장치의 제어 빈도가 높아도 새 관찰의 반영은 느릴 수 있습니다.

 

가령 관찰을 받은 뒤 새 행동 묶음을 얻는 데 120밀리초가 걸린다고 가정하겠습니다. 제어 단계가 20밀리초라면 그동안 여섯 단계가 지나갑니다. 새 묶음의 첫 행동이 처음 관찰 시점을 기준으로 만들어졌다면 결과가 도착할 때는 그 시점이 이미 과거가 된 것입니다.

 

실제 시스템에서는 지연이 일정하지 않을 수 있으므로 단순 나눗셈만으로 충분하지 않습니다. 촬영과 전달, 결과 처리의 시각을 확인하고 실행 시점에 맞춰 행동을 정렬해야 합니다. 지연을 몇 단계로 표현하는지도 제어 주기와 시간 기준에 따라 정해야 합니다.

 

이 예시가 모든 로봇에 120밀리초의 지연이 있다는 뜻은 아닙니다. 중요한 것은 밀리초 단위의 지연을 해당 시스템의 행동 단계로 해석하는 방법입니다. 같은 지연도 작업 속도와 제어 주기, 접촉 상태에 따라 다른 영향을 줍니다.

동기 실행은 멈춤을 만들고 단순 비동기는 경계를 흔들 수 있다

가장 단순한 실행 방식은 현재 묶음을 끝까지 수행한 뒤 다음 추론을 요청하거나 기다리는 것입니다. 계산하는 동안 로봇이 멈추고 새 묶음이 오면 다시 움직입니다. 구조를 이해하기는 쉽지만 반복되는 정지가 작업 시간을 늘리고 학습에서 보지 못한 움직임을 만들 수 있습니다.

 

Physical Intelligence는 RTC 연구 글에서 이전의 동기 실행이 청크 사이의 멈춤을 만든다고 설명합니다. 로봇이 정지한 상태에서 새 묶음을 시작하면 움직이는 도중 계획을 교체하는 문제를 피할 수 있지만, 멈춤 자체도 동작에 영향을 줄 수 있다는 것입니다.

비동기 실행은 현재 행동을 수행하는 동안 다음 행동을 계산하도록 두 과정을 겹칩니다. 새 결과가 제때 도착하면 추론을 기다리기 위해 매번 멈추는 시간을 줄일 수 있습니다. 다만 계산과 실행을 나눴다는 사실만으로 다음 계획이 현재 계획과 맞는 것은 아닙니다.

 

새 묶음이 다른 접근 방향이나 속도를 택할 수 있기 때문입니다. 최신 관찰에 반응한 결과일 수도 있고, 여러 유효한 행동 중 다른 샘플을 생성한 결과일 수도 있습니다. 현재 움직임을 고려하지 않고 새 명령으로 바꾸면 급격한 변화가 생길 수 있습니다.

 

두 궤적을 단순히 평균내는 방법도 언제나 유효하지는 않습니다. 장애물의 서로 다른 쪽으로 가는 두 경로의 중간이 장애물과 겹칠 수 있는 것처럼, 수학적으로 매끄러운 값이 곧 작업에 적합한 행동인 것은 아닙니다. 생성과 실행 사이의 일관성을 따로 다뤄야 합니다.

RTC는 새 행동을 기존 실행과 이어지도록 생성한다

Real-Time Chunking, 줄여서 RTC는 이런 행동 묶음의 연결 문제를 다루는 방법입니다. Physical Intelligence의 2025년 연구 글은 현재 행동을 실행하면서 다음 묶음을 생성하고, 겹치는 시간 구간에서 기존 계획과 새 계획의 일관성을 유지하는 접근을 소개합니다.

 

핵심 비유는 인페인팅입니다. 이미지의 일부가 주어졌을 때 나머지를 채우듯이 이미 실행될 것이 정해진 행동을 고려해 뒤의 행동을 생성합니다. 새 결과가 도착하기 전에 지나갈 시간 구간은 나중에 새 계획으로 바꿀 수 없다는 사실에서 출발합니다.

 

추론하는 동안 이전 묶음에서 실행할 앞부분은 일관되게 유지하고, 그보다 먼 구간은 새 관찰을 반영할 여지를 남깁니다. 겹치는 중간 구간에서도 기존 전략과 이어지도록 유도하면서 어느 정도 수정할 수 있게 합니다. 단순히 완성된 두 결과를 평균내는 설명과는 다릅니다.

 

이때 생성 모델의 디노이징 과정에 일관성을 위한 유도를 적용할 수 있습니다. LeRobot 문서도 겹치는 구간과 이전 묶음의 남은 행동을 사용하고, 부드러운 전이 마스크 등으로 새 묶음을 유도하는 방식을 설명합니다. 구체적인 파라미터와 지원 모델은 해당 버전의 구현에서 확인해야 합니다.

 

RTC의 이점은 추론 시간을 마법처럼 없애는 데 있지 않습니다. 계산을 실행과 겹치고 시간에 맞춰 연결해 지연의 영향을 줄이는 데 있습니다. 결과를 기다리는 시간과 그동안 실행되는 행동의 관계를 설계하는 것입니다.

 

PI의 원래 연구 글은 학습 단계 변경 없이 적용하는 추론 시점의 RTC를 소개합니다. 같은 페이지에는 2025년 12월 학습 시점의 변형에 관한 후속 연구 안내도 있습니다. 따라서 RTC라는 이름 아래의 접근을 모두 같은 학습 요구와 구현으로 설명하지 않는 편이 좋습니다.

매끄러움이 커지면 반응성도 함께 좋아질까

동작을 매끄럽게 연결하는 것은 중요하지만, 기존 계획을 강하게 유지하면 새 변화에 덜 민감해질 수 있습니다. 반대로 새 관찰에 매우 빠르게 반응하도록 바꾸면 이전 궤적과의 차이가 커질 수 있습니다. 매끄러움과 반응성은 함께 검토해야 할 목표입니다.

 

LeRobot RTC 문서는 이전 묶음과 얼마나 긴 구간에서 일관성을 유지할지, 일관성을 얼마나 강하게 유도할지와 가중치를 어떻게 변화시킬지 같은 설정을 설명합니다. 값을 크게 하면 모든 상황에서 품질이 좋아진다고 해석해서는 안 됩니다. 작업과 모델, 지연 조건에 맞는 비교가 필요합니다.

정적인 물체를 천천히 옮기는 일과 움직이는 물체에 반응하는 일은 다른 균형을 요구할 수 있습니다. 물체가 예상대로 있는 동안에는 일관된 계획이 유리하지만 갑자기 위치가 바뀌면 기존 계획을 고집하는 것이 불리할 수 있습니다. 청크 경계의 연결과 환경 변화의 감지는 다른 문제입니다.

 

“흔들리지 않는 로봇”이 반드시 “상황을 잘 이해하는 로봇”인 것도 아닙니다. 잘못된 경로를 아주 부드럽게 수행할 수 있습니다. 동작의 미분값과 시각적 매끄러움뿐 아니라 목표 달성, 물체 상태와 잘못된 접촉 여부를 함께 확인해야 합니다.

 

또 새 묶음이 도착하기 전에 실행할 행동이 고갈되면 비동기 시스템도 기다리게 됩니다. 남은 행동의 시간 길이와 추론 지연의 변동을 함께 고려해야 합니다. 평균적으로 빠르다는 것과 매번 필요한 시점에 결과를 제공한다는 것은 다른 조건입니다.

최신 관찰을 더 자주 반영하는 연구가 필요한 이유

RTC가 청크 사이의 일관성을 개선해도, 한 묶음을 실행하는 동안의 모든 관찰이 매 행동에 자동으로 반영되는 것은 아닙니다. 새 관찰을 입력받는 시점과 그 관찰로 만든 결과가 적용되는 시점 사이에는 여전히 시간차가 있습니다.

 

이 지점에서 청크를 생성하는 큰 정책과 실행 중의 작은 보정기를 나누는 접근을 생각할 수 있습니다. 큰 모델이 긴 범위의 동작을 만들고 작은 모듈이 최신 상태를 사용해 빠르게 조정하는 방식입니다. 다만 두 계층을 만든다고 문제 전체가 자동으로 해결되는 것은 아닙니다.

 

「Leave No Observation Behind」 논문의 공개 초록은 A2C2라는 가벼운 보정 헤드를 소개합니다. 최신 관찰과 기본 정책의 행동, 청크 안의 위치 정보 등을 결합해 제어 단계별 보정을 생성하는 접근입니다. 기본 정책을 재학습하지 않는다는 설명과 보정 모듈 자체의 학습 요구는 구분해야 합니다.

 

논문은 RTC 같은 비동기 실행 방식과 이 보정이 서로 다른 축을 다루며 보완적으로 사용할 수 있다고 설명합니다. 이는 RTC가 무의미하다는 뜻이 아니라 계획의 연결과 최신 관찰의 반영을 따로 개선할 수 있다는 의미로 읽는 편이 정확합니다.

 

해당 연구의 결과는 특정 시뮬레이션 환경과 정책, 지연과 실행 길이 조건에서 보고된 것입니다. 이를 모든 실제 로봇의 실시간 보정 성능으로 일반화해서는 안 됩니다. 작은 모듈의 실행 시간과 관측 처리 비용도 실제 장치에서 확인해야 합니다.

 

로봇 시스템에는 서로 다른 시간 규모의 판단이 필요할 수 있습니다. 어떤 물체를 옮길지 정하는 고수준 판단과 손끝의 짧은 움직임을 조정하는 판단이 같은 빈도로 실행될 이유는 없습니다. 각 계층의 입력과 책임, 갱신 시점을 정하는 것이 중요합니다.

지연 시간은 모델 바깥에서도 발생한다

관찰에서 실행까지의 전체 지연에는 촬영과 영상 전처리, 데이터 전달, 모델 추론과 결과 처리, 로봇 인터페이스의 대기가 포함될 수 있습니다. 모델 실행 시간만 측정하면 어떤 부분에서 오래된 정보가 쌓이는지 놓칠 수 있습니다.

 

PI의 RTC 글은 원격 추론 예시에서 모델 시간이 97밀리초인 구성을 소개하면서, 전체 시간은 이동형 로봇에서 139밀리초, 정적 로봇에서 108밀리초였다고 제시합니다. 네트워크와 이미지 크기 조정 등도 포함한 값입니다. 이 수치는 해당 예시의 측정이며 제품 일반의 속도 기준이 아닙니다.

같은 모델이라도 통신과 입력 처리의 차이로 전체 지연이 달라질 수 있다는 점이 핵심입니다. 더 빠른 GPU를 도입하는 것만큼 불필요한 영상 대기와 데이터 복사, 직렬 처리 구간을 찾는 것이 도움이 될 수 있습니다. 어디가 병목인지는 측정으로 확인해야 합니다.

 

로컬 실행과 원격 실행은 각각 비용과 장치 제약이 있습니다. 로컬은 네트워크 왕복을 줄일 수 있지만 연산과 전력, 발열의 한계가 있을 수 있습니다. 원격은 더 큰 자원을 이용할 수 있지만 전송과 공유 자원의 대기, 연결 상태를 고려해야 합니다.

 

관찰의 시각과 명령의 적용 시각을 기록하고 같은 시간 기준으로 비교하는 편이 좋습니다. 서로 다른 장치의 시계를 맞추지 않으면 지연을 잘못 계산할 수 있습니다. 처리 시간이 짧아 보여도 오래된 프레임을 사용했다면 실제 반응성은 다를 수 있습니다.

 

평균 지연 외에 느린 구간의 분포와 변동도 봐야 합니다. 가끔 긴 지연이 발생하면 행동 큐가 고갈되거나 예상한 연결 시점이 어긋날 수 있습니다. 초기 로딩과 평상시 실행, 동시에 다른 요청이 있는 조건을 구분해 확인하는 것이 실용적입니다.

가상 사례: 이동하는 부품을 분류하는 로봇을 설계한다면

작업대의 부품을 분류 구역으로 옮기는 로봇을 가정해 보겠습니다. 먼저 물체의 이동 속도와 크기, 카메라 위치와 허용되는 작업 시간을 정합니다. “모델이 사물을 잘 맞힌다”는 기준만으로는 부족하고, 어떤 상태에서 어떤 결과를 완료로 인정할지 필요합니다.

 

초기에는 물체가 정지한 조건에서 관찰과 실행의 흐름을 점검할 수 있습니다. 영상의 시각과 사용한 관찰, 추론 시작·종료와 청크의 적용 시점을 함께 기록합니다. 동작 중 물체가 움직이지 않아도 청크 교체 때 갑자기 속도가 달라지는지 확인합니다.

 

그다음 같은 모델과 장치에서 동기 실행, 단순 비동기 실행과 일관성을 고려한 실행을 비교할 수 있습니다. 비교할 때 제어 주기와 작업 조건을 고정해야 어떤 변경이 효과를 냈는지 알기 쉽습니다. 한쪽만 더 좋은 하드웨어를 쓰면 알고리즘의 차이로 해석하기 어렵습니다.

 

설명용으로 120밀리초의 추론 지연과 50Hz 제어를 가정했다면, 적어도 계산하는 동안 여섯 단계가 진행된다는 사실을 일정에 반영해야 합니다. 하지만 그 값만으로 안전한 큐 길이와 실행 범위가 확정되는 것은 아닙니다. 실제 지연 변동과 새 관찰의 반영 시점까지 측정해야 합니다.

 

이후 통제된 환경 변화와 지연 조건을 추가해 반응성을 평가합니다. 물체 위치가 달라졌을 때 새 행동이 언제 반영되는지, 청크가 바뀔 때의 연속성과 작업 성공이 함께 유지되는지 봅니다. 인위적 지연 실험은 전체 환경을 대체하지 않지만 조건별 차이를 비교하는 데 유용할 수 있습니다.

 

결과에는 성공 여부와 소요 시간, 중간 멈춤과 재시도, 잘못된 집기와 물체 손상 같은 항목을 함께 남길 수 있습니다. 작업에 따라 필요한 항목은 달라집니다. 매끄럽게 움직인 사례만 남기기보다 실패 원인을 찾을 수 있는 기록이 중요합니다.

 

실제 장치에 적용할 때는 학습 정책과 별도로 속도·위치 제한, 중단과 재시작 등 로봇 시스템의 제어 기능을 유지해야 합니다. RTC는 청크 연결을 다루는 방법이며 충돌 회피와 하드웨어 안전 인증을 대신하는 체계는 아닙니다. 실시간 성능과 안전 요구는 각각 확인해야 합니다.

성공률만으로도 속도만으로도 충분하지 않다

빠르게 실패하는 로봇은 처리량이 높은 로봇이 아닙니다. 반대로 대부분의 작업을 성공하지만 반복적으로 오래 멈추는 로봇도 목표한 생산성을 만족하지 못할 수 있습니다. 성공과 시간의 관계를 함께 봐야 합니다.

 

PI의 RTC 글은 완료한 하위 작업의 비율과 에피소드 시간을 결합한 처리량 지표를 설명합니다. 또 실제 경과 시간과 추론 대기 시간을 제외한 제어 단계 기준을 나눠 비교합니다. 멈춤을 줄인 효과와 동작 자체의 진행 차이를 구분하려는 접근입니다.

 

이 지표가 모든 산업 업무에 그대로 적합한 것은 아닙니다. 부품 분류라면 정상 처리한 물체 수, 오분류와 파손, 재작업 시간이 중요할 수 있습니다. 집계 단위와 실패 처리, 제한 시간을 명확히 정의해야 서로 다른 시스템의 수치를 비교할 수 있습니다.

 

평균 성공률도 하위 작업과 지연 조건별로 나눠 보는 편이 좋습니다. 정적 환경의 성능이 높아 전체 평균이 좋아도 움직임이 있는 조건에서 크게 떨어질 수 있습니다. 순조로운 구간과 어려운 구간을 함께 보여 줘야 도입 범위를 판단할 수 있습니다.

 

연구 영상은 동작의 질감을 이해하는 자료로 유용하지만 전체 성공률과 실행 조건을 대신하지는 않습니다. 재생 속도와 편집 여부, 실험 횟수와 실패의 포함 방식, 지연을 인위적으로 추가했는지까지 확인하면 결과를 더 정확하게 읽을 수 있습니다.

한국어 기술 블로그를 읽을 때 공식 자료와 대조할 부분

이번 조사에서는 한국어 논문 정리 글과 기술 흐름을 설명하는 글을 함께 읽었습니다. 문제 정의에서 방법과 실험으로 이어지는 구성은 복잡한 제어 연구를 이해하는 데 도움이 됩니다. 다만 쉬운 설명의 비유와 원문이 보장하는 범위를 구분해야 합니다.

 

예를 들어 “실시간 청킹이 지연을 없앴다”는 표현은 실제 추론 시간이 사라졌다는 뜻으로 읽힐 수 있습니다. 원래 RTC 연구의 핵심은 지연이 있는 상태에서 계산과 실행을 겹치고 일관성을 유지하는 것입니다. 지연 자체의 단축과 지연을 견디는 실행 구조는 다릅니다.

 

또 50Hz 제어, 모델 추론 빈도와 영상 갱신 빈도를 섞으면 실제 구성을 잘못 이해할 수 있습니다. 밀리초, 제어 단계와 청크 길이의 단위를 함께 적어야 합니다. 어떤 파라미터가 예측 길이인지 실행 길이인지도 원문과 코드에서 확인할 필요가 있습니다.

 

A2C2 관련 한국어 글은 최신 관찰로 청크를 보정하는 다른 접근을 이해하는 데 참고했습니다. 본문에서는 핵심 개념을 논문의 공개 초록과 대조하고, 블로그의 세부 수치와 구현 설명을 모두 독립 검증된 사실로 취급하지 않았습니다.

 

넓은 기술 연표를 제시하는 글도 연구 간 연결을 보는 데 유용하지만 “최초”, “표준”, “완전 해결” 같은 표현은 신중히 읽어야 합니다. 특정 연구의 강점을 기술 전체의 최종 결론으로 바꾸지 않는 것이 피지컬 AI 자료를 조사할 때 중요한 태도입니다.

실시간 로봇 제어 FAQ

Q. 액션 청킹을 쓰면 큰 모델을 매 제어 단계마다 실행하지 않아도 되나요?

여러 미래 행동을 한 번에 생성해 순서대로 실행할 수 있으므로 가능합니다. 다만 새 관찰을 얼마나 자주 사용하고 언제 행동을 갱신하는지에 따라 반응성과 실행 구조가 달라집니다.

Q. RTC와 비동기 추론은 같은 뜻인가요?

같지는 않습니다. 비동기 실행은 추론과 행동을 겹치는 구조를 가리키고, RTC는 새 행동 묶음이 이전 실행과 일관되게 이어지도록 유도하는 방법을 포함합니다. 함께 쓰이지만 해결하는 문제를 구분해야 합니다.

Q. RTC가 있으면 네트워크 지연이 커져도 상관없나요?

그렇게 단정할 수 없습니다. 기존 행동이 얼마나 남았는지와 지연 변동, 관찰의 오래된 정도, 작업의 동적 특성에 따라 한계가 있습니다. 연구가 시험한 조건을 넘어선 성능은 별도로 검증해야 합니다.

Q. Diffusion Policy와 VLA는 같은 모델인가요?

Diffusion Policy는 확산을 이용한 행동 생성 연구이고 VLA는 시각·언어·행동을 연결하는 모델 계열의 표현입니다. 구성 요소와 포함 범위가 다르며 모든 VLA가 같은 생성 방법을 사용하는 것은 아닙니다.

Q. 청크를 짧게 만들면 모든 문제가 해결되나요?

더 자주 갱신할 여지가 생기지만 추론 비용과 지연을 함께 고려해야 합니다. 계산이 제때 끝나지 않거나 새 청크가 기존 동작과 맞지 않는다면 짧은 길이만으로 충분하지 않습니다.

Q. 모델을 바꾸기 전에 무엇부터 측정하면 좋을까요?

관찰이 생성된 시각부터 명령 적용까지의 전체 흐름을 측정해 보세요. 모델·통신·전처리의 지연과 변동, 청크 교체의 멈춤과 실제 작업 성공을 함께 확인하면 개선할 위치를 찾기 쉽습니다.

피지컬 AI의 다음 경쟁력은 시간을 다루는 능력이다

생성형 로봇 정책은 복잡한 행동을 표현하고 다양한 시연의 패턴을 활용하는 기반을 넓혔습니다. 그러나 좋은 행동을 예측하는 것과 그 행동을 적절한 시점에 적용하는 것은 별도의 과제입니다. 실제 로봇은 계산이 끝난 뒤에만 존재하는 세계에서 움직이지 않습니다.

 

Diffusion Policy는 행동 시퀀스를 생성하고 갱신하는 관점을, RTC는 지연 속에서도 계산과 실행을 이어 붙이는 관점을 보여 줍니다. 최신 관찰을 빠르게 반영하는 보정 연구는 그 위에 또 다른 개선 축을 더합니다. 이 접근들은 서로 다른 병목을 다룹니다.

 

현장 적용에서는 모델의 정답률과 함께 입력의 시각, 실행의 연속성과 반응성, 실패를 포함한 처리량을 확인해야 합니다. 어떤 지연 조건까지 검증했는지 설명할 수 있어야 실제로 맡길 수 있는 작업 범위도 정할 수 있습니다.

 

똑똑한 로봇을 만드는 일에는 무엇을 할지 아는 능력뿐 아니라 지금 어떤 정보를 믿고 언제 움직일지 정하는 능력이 포함됩니다. 피지컬 AI의 발전을 판단할 때 모델 크기와 시연 영상 옆에 시간의 흐름을 함께 놓아야 하는 이유입니다.

참고 자료와 조사한 한국 기술 블로그

Diffusion Policy 공식 프로젝트, 「Diffusion Policy: Visuomotor Policy Learning via Action Diffusion」. 조건부 확산 기반 행동 생성, 행동 시퀀스와 receding-horizon 제어의 개념을 확인했습니다. 프로젝트에는 RSS 2023과 IJRR 2024 논문 정보가 함께 제공됩니다.

 

https://diffusion-policy.cs.columbia.edu/

Diffusion Policy: Visuomotor Policy Learning via Action Diffusion

 

Physical Intelligence, 「Real-Time Action Chunking with Large Models」, 2025년 6월 9일. 동기·비동기 실행의 차이, 청크 간 일관성과 인페인팅, 지연의 구성과 평가 지표를 참고했습니다. 2025년 12월 후속 연구 안내가 추가돼 있음을 확인했습니다.

 

https://www.pi.website/research/real_time_chunking

Hugging Face LeRobot 공식 문서, 「Real-Time Chunking (RTC)」. 비동기 실행과 RTC의 역할 구분, 이전 행동을 이용한 생성 유도와 파라미터의 의미를 확인했습니다. 예제 설정을 모든 하드웨어의 권장값으로 일반화하지 않았습니다.

 

https://huggingface.co/docs/lerobot/rtc

Real-Time Chunking (RTC) · Hugging Face

 

Sendai 외, 「Leave No Observation Behind: Real-time Correction for VLA Action Chunks」, arXiv:2509.23224, 2025년 9월 27일. 공개 초록에서 A2C2의 단계별 보정과 RTC와의 보완 관계를 확인했습니다.

 

https://arxiv.org/abs/2509.23224

Leave No Observation Behind: Real-time Correction for VLA Action Chunks

 

Embodied AI in Robotics, 「LEAVE NO OBSERVATION BEHIND: REAL-TIME CORRECTION FOR VLA ACTION CHUNKS」, 2025년 12월 16일. 문제 정의→방법→평가로 이어지는 한국어 논문 정리 구성을 조사했습니다. 핵심 개념은 위 원문 초록과 대조했습니다.

 

https://seohyun00.tistory.com/66

LEAVE NO OBSERVATION BEHIND: REAL-TIME CORRECTION FOR VLA ACTION CHUNKS

 

파서스 리서치, 「Physical AI의 진화: 2023년부터 2025년까지」, 2025년 12월 14일. Diffusion Policy와 실시간 실행 연구를 연결하는 기술 해설의 구성을 참고했습니다. 연표의 평가와 전망, 개별 성능 수치는 공식 자료와 구분해 읽었습니다.

 

https://cacaaco.tistory.com/106

Physical AI의 진화: 2023년부터 2025년까지

 

자료 확인일: 2026년 10월 22일. 본문은 공개 자료를 바탕으로 새로 구성한 기술 해설입니다. 연구의 평가 조건과 구현 버전, 실제 로봇의 센서·제어·하드웨어 요구를 구분해 확인해야 합니다.