로봇은 왜 노이즈에서 동작을 만들까: Diffusion Policy와 Flow Matching

 

로봇 팔이 컵을 집는 장면을 보면 AI가 다음 움직임을 곧바로 계산한다고 생각하기 쉽다. 그런데 Diffusion Policy와 Flow Matching 계열의 행동 생성 모델은 무작위 노이즈에서 시작해 사용할 동작을 만들어 낸다. 정교하게 움직여야 하는 기계가 왜 처음부터 불확실한 숫자를 다루는 것일까. 이 질문은 이미지 생성 AI와 피지컬 AI가 만나는 지점을 보여 준다.

 

먼저 오해를 풀어야 한다. 여기서 노이즈를 사용한다는 말은 로봇 모터에 임의의 명령을 보내 마구 흔든다는 뜻이 아니다. 모델 내부의 수치 배열에서 후보 행동을 생성하는 과정에 관한 설명이다. 생성된 결과가 실제 로봇에 전달되기까지는 행동 표현의 해석, 제어기, 하드웨어 제약과 실행 검증이 필요하다. 생성 모델의 원리와 모터 제어를 같은 단계로 생각하면 기술의 장점과 한계를 모두 놓치게 된다.

 

이 글은 Diffusion Policy, 행동 청크, Flow Matching, 파이제로 모델의 연결을 한국어로 정리한다. 로봇 학습 논문의 수식을 모두 전개하기보다 왜 이런 구조가 필요한지, 어떤 수치를 조심해서 읽어야 하는지, 실제 적용에서 무엇을 확인해야 하는지에 초점을 둔다. Diffusion Policy 공식 프로젝트, Flow Matching 원논문 초록, Physical Intelligence의 파이제로 발표 글과 국내 로보틱스 해설을 비교했다.

 

자료 확인 기준일은 2026년 10월 24일이다. 주로 2023년과 2024년에 발표된 기초 연구를 현재의 이해를 위해 설명하며, 이를 오늘 새로 출시된 기술처럼 다루지 않는다. 본문의 컵 조작과 데이터 구성 예시는 개념 설명을 위한 가상 사례다. 직접 로봇을 구동해 성능을 측정한 실험 보고서는 아니다.

정답 동작이 하나라는 가정부터 흔들린다

컵을 옮기는 방법은 하나가 아니다. 손잡이를 잡을 수도 있고 몸통을 잡을 수도 있으며, 장애물의 왼쪽이나 오른쪽으로 접근할 수도 있다. 현재 관측이 비슷해 보여도 유효한 행동은 여러 갈래로 나뉜다. 모방 학습에서 시연을 모으면 같은 상황과 비슷한 상황에 서로 다른 행동이 들어오는 이유다. 로봇 정책은 이런 행동의 다양성을 표현할 필요가 있다.

 

단순한 제곱 오차 회귀가 여러 선택의 중간을 예측하면 문제가 생길 수 있다. 가령 장애물을 왼쪽으로 피한 시연과 오른쪽으로 피한 시연의 평균 방향이 장애물을 향할 수 있다. 이는 회귀가 언제나 실패한다는 주장이 아니다. 여러 개의 유효한 선택이 분리되어 있는 상황에서 평균값이 반드시 유효한 선택은 아니라는 설명이다. 데이터와 손실 함수가 어떤 행동을 선호하게 만드는지 살펴봐야 한다.

 

여기서 다중 모드 행동 분포라는 표현이 나온다. 서로 다른 행동 방식에 확률이 모여 있는 상태를 뜻한다. 이미지와 언어처럼 여러 입력 종류를 쓰는 멀티모달과 용어가 비슷하지만 초점이 다르다. 카메라 한 대만 사용해도 가능한 행동이 여러 갈래면 행동 분포는 다중 모드가 될 수 있다. 입력의 종류와 출력의 선택 다양성을 구별해야 논문을 정확하게 읽을 수 있다.

좋은 정책은 여러 가능성을 표현하면서 실제 실행에서는 일관된 선택을 이어 갈 수 있어야 한다. 매 순간 왼쪽과 오른쪽 사이에서 바뀌면 로봇이 주저하거나 흔들릴 수 있다. Diffusion Policy 공식 프로젝트도 다중 모드 행동을 학습하고 하나의 실행에서 특정 모드에 일관되게 따르는 특성을 강조한다. 다만 특정 실험에서 보인 현상이 모든 환경의 전략 일관성을 보장하는 것은 아니다.

 

이 관점에서 노이즈는 대충 행동하게 만드는 방해물이라기보다 서로 다른 후보를 생성할 출발점에 가깝다. 관측과 조건에 맞는 행동 분포를 학습한 모델은 그 출발점을 유효한 행동으로 바꾸도록 훈련된다. 물론 학습한 분포 밖에서는 잘못된 후보가 나올 수 있다. 다양한 출력을 생성할 수 있다는 성질과 실제 상황에서 올바른 출력을 고른다는 능력은 함께 평가해야 한다.

Diffusion Policy는 이미지 대신 행동 시퀀스를 생성한다

Diffusion Policy는 로봇의 시각 기반 행동 정책을 조건부 디노이징 확산 과정으로 표현한 연구다. 2023년 RSS 논문과 2024년 IJRR 확장판으로 이어졌다. 이미지 생성에서 픽셀이나 잠재 표현을 생성하듯, 로봇이 앞으로 수행할 행동 배열을 생성 대상으로 삼는다. 공식 프로젝트는 다중 모드 행동, 고차원 행동 공간, 학습 안정성과 함께 시각 조건화 및 재계획 구조를 설명한다.

 

직관적인 학습 설명은 다음과 같다. 시연 데이터의 행동에 노이즈를 섞고, 관측과 노이즈 수준이 주어졌을 때 원래 행동 구조를 복원하는 데 필요한 정보를 예측하도록 모델을 훈련한다. 구체적으로 노이즈, 점수 함수 또는 다른 매개화 중 무엇을 예측하는지는 구현과 방법에 따라 달라진다. 모든 확산 모델을 완전히 같은 손실 함수 하나로 설명해서는 안 된다.

 

추론에서는 노이즈로 시작한 행동 후보를 반복적으로 갱신해 관측에 맞는 행동 시퀀스로 바꾼다. 이 과정에서 카메라 영상이나 로봇 상태 같은 조건이 행동 생성에 영향을 준다. 중요한 것은 매 반복 단계의 중간 후보를 그대로 모터에 보내는 구조가 아니라는 점이다. 생성 계산이 끝난 뒤 사용할 행동을 해석하고 실행하는 단계가 이어진다.

 

왜 한 번의 움직임 대신 여러 시점의 행동을 함께 생성할까. 컵으로 접근하고 손가락을 닫고 들어 올리는 과정은 시간적으로 연결되어 있기 때문이다. 한 시점의 숫자만 맞는 것보다 앞뒤 행동의 관계를 함께 다루는 것이 유리할 수 있다. 다만 긴 행동 배열을 생성한다고 장기 목표를 모두 이해한다는 뜻은 아니다. 몇 단계의 연속 행동과 작업 전체의 계획은 서로 다른 범위다.

 

또한 행동 출력은 반드시 이미지 속 손의 경로를 의미하지 않는다. 관절 위치, 말단 장치의 위치 변화, 회전, 그리퍼 상태 등 시스템이 정한 표현일 수 있다. 무엇을 예측하는지에 따라 단위와 제어기 연결이 달라진다. 같은 Diffusion Policy라는 이름을 썼더라도 관측 구성과 행동 표현, 실행 방식이 다르면 결과를 그대로 비교하기 어렵다.

행동 청크와 재계획은 서로 다른 역할을 맡는다

행동 청크는 여러 시점의 행동을 묶은 것이다. 로봇 정책이 앞으로 일정 구간의 행동을 생성하면 시간적 관계를 함께 다룰 수 있다. 그러나 생성한 구간을 전부 실행한 뒤에야 다시 관측해야 하는 것은 아니다. 먼저 일부 행동을 실행하고 새 관측을 반영해 다음 구간을 생성하는 식으로 구성할 수 있다. 이것이 재계획과 연결되는 지점이다.

Diffusion Policy 공식 프로젝트는 receding horizon control, 흔히 이동 지평 또는 후퇴 지평 제어로 부르는 구조를 포함한다. 현재 관측에서 미래 행동을 예측하고 그중 일부를 실행한 뒤, 갱신된 관측으로 예측을 반복한다. 생성 모델이 미래 행동을 다루는 방식과 환경 변화를 반영하는 실행 구조가 함께 작동한다. 둘을 하나의 개념으로 뭉치면 중요한 설계 변수를 놓친다.

 

가령 20개 시점의 행동을 예측하고 앞의 5개만 실행하는 상황을 생각해 보자. 이는 원리를 설명하기 위한 가정이다. 다음 계산에서는 컵이 조금 이동했거나 손이 예상보다 늦게 닫힌 상태를 반영할 수 있다. 같은 20개를 모두 실행하는 구성과는 반응성과 계산 부담이 달라진다. 예측 길이와 실제 실행 길이를 별도로 기록해야 하는 이유다.

 

행동 청크가 길면 시간적 일관성과 계산 효율에 도움이 될 여지가 있다. 반대로 너무 오래 관측을 반영하지 않으면 물체가 움직이거나 접촉이 달라졌을 때 대응이 늦어진다. 짧게 자주 재계획하면 반응은 빨라질 수 있지만 계산과 통신이 이를 감당해야 한다. 어느 방향이 항상 좋은지는 작업 속도, 센서와 제어기의 특성에 달려 있다.

 

이전 청크와 새 청크의 연결도 확인해야 한다. 각 청크가 따로 보면 자연스러워도 경계에서 목표 위치나 속도가 바뀔 수 있다. 평균을 내는 방식으로 연결한다고 모든 문제가 사라지지도 않는다. 그리퍼를 닫아야 하는 순간이 흐려질 수 있기 때문이다. 시간적 연결은 위치만이 아니라 회전과 접촉, 그리퍼 동작의 의미까지 고려해야 한다.

Flow Matching은 분포를 옮기는 방향을 학습한다

Flow Matching은 생성 모델을 학습하는 방법이다. 원논문은 연속 정규화 흐름을 학습하기 위해 조건부 확률 경로의 벡터장을 회귀하는 접근을 제안한다. 어렵게 들리지만 직관은 단순하다. 노이즈 분포에서 데이터 분포로 이동할 때 중간 상태가 어느 방향으로 얼마나 변해야 하는지를 학습하는 것이다. 로봇에 적용하면 목표 데이터가 행동 시퀀스가 된다.

 

대표적인 직선 보간 설명에서는 노이즈와 실제 행동 사이의 중간 지점을 만들고, 그 지점에서 데이터 쪽으로 이동하는 방향을 학습한다. 추론에서는 노이즈에서 시작해 학습된 벡터장을 따라 수치 적분해 행동을 생성할 수 있다. 이 설명은 하나의 직관적 구성이다. 모든 Flow Matching 방법이 동일한 경로와 시간 방향, 동일한 적분기를 사용하는 것은 아니다.

 

Flow Matching을 확산 모델과 완전히 단절된 기술로 이해하면 곤란하다. 원논문 초록은 기존 확산 경로를 특수한 경우로 포함하는 확률 경로 계열과의 관계를 명시한다. 다른 경로를 선택할 수도 있으며 학습 목표와 생성 경로의 설계가 중요하다. 단순히 오래된 방식은 노이즈 제거, 새로운 방식은 한 번에 정답 생성이라고 나누면 관계가 왜곡된다.

 

특히 “Flow Matching은 한 번의 계산으로 행동을 만든다”는 설명은 일반적인 보장이 아니다. 추론에 여러 수치 적분 단계가 필요할 수 있고, 필요한 단계 수와 품질은 모델과 학습 및 샘플러 설정에 영향을 받는다. 한 단계 또는 적은 단계 생성을 목표로 하는 별도 기법의 결과를 모든 Flow Matching 모델의 기본 성질처럼 옮기면 안 된다.

원논문에서 simulation-free training이라는 표현이 나오더라도 추론 중 수치 적분이 없다는 뜻으로 읽어서는 안 된다. 이는 학습 방법의 특성에 관한 설명이다. 훈련에서 무엇을 계산하고 추론에서 무엇을 반복하는지 나누어 보자. 이 구분만으로도 “훈련이 간단하니 실제 로봇도 무조건 빠르다”는 성급한 결론을 피할 수 있다.

생성 과정의 시간과 로봇이 움직이는 시간을 구분하자

Flow Matching 설명에서 사용하는 시간 변수는 로봇의 실제 시간과 다르다. 생성 과정의 시간은 노이즈가 데이터 쪽으로 바뀌는 진행도를 나타낸다. 한편 행동 시퀀스의 시간은 로봇이 몇 번째 제어 시점에 무엇을 할지를 나타낸다. 하나의 행동 청크 안에는 실제 실행 시점들이 있고, 그 청크 전체를 생성하는 계산에는 별도의 진행 단계가 존재한다.

 

이 구분을 놓치면 “노이즈에서 데이터로 직선으로 이동하므로 로봇도 직선으로 움직인다”는 오해가 생긴다. 생성 분포 사이의 경로와 작업 공간에서 로봇 손이 지나가는 경로는 다른 공간에 있다. 모델 내부에서 단순한 확률 경로를 사용해도 출력 행동은 물체를 돌아가는 복잡한 움직임일 수 있다. 직선 보간이 곧 장애물 회피나 짧은 이동 거리의 보장은 아니다.

 

제어 주파수와 정책 추론 빈도도 나눠야 한다. 제어 명령을 초당 50개 실행한다고 해서 큰 모델이 초당 50번 새 카메라 영상을 보고 전체 행동 청크를 다시 생성한다는 뜻은 아니다. 한 번 만든 청크를 여러 제어 시점에 나누어 실행할 수 있다. 고주파 행동 출력과 고주파 관측 기반 재계획은 같은 수치로 설명되지 않는다.

 

실제 지연에는 영상 획득과 전처리, 인코더 연산, 행동 생성 반복, 통신, 제어기 전달이 포함된다. 반복 횟수가 줄어도 영상 처리나 통신이 병목이면 전체 지연이 기대만큼 줄지 않을 수 있다. 모델 논문에서 제시한 주파수만 보고 다른 하드웨어의 반응성을 예측하기 어려운 이유다. 평균과 함께 느린 요청의 지연도 확인해야 한다.

 

또한 느린 생성 계산을 기다리는 동안 로봇이 무엇을 하는지 정해야 한다. 이전 행동을 이어 가는지, 정지 상태를 유지하는지, 별도 저수준 제어가 자세를 유지하는지에 따라 동작이 달라진다. 비동기 실행이나 청크 연결 기법은 이런 문제를 다루는 추가 설계다. Flow Matching이라는 생성 방법 하나가 제어 파이프라인 전체를 대신하지 않는다.

파이제로는 시각과 언어를 연속 행동에 연결한다

Physical Intelligence는 2024년 10월 31일 파이제로, 표기로는 π0를 첫 범용 정책으로 소개했다. 발표 글은 사전 학습된 시각언어모델을 출발점으로 다양한 로봇 경험을 학습하고, Flow Matching을 이용해 연속 행동을 출력하는 구조를 설명한다. 카메라와 문장을 이해하는 능력을 실제 로봇의 행동 학습으로 연결하려는 접근이다.

 

인터넷의 이미지와 텍스트를 학습한 모델은 물체와 작업의 의미를 이해하는 데 도움을 줄 수 있다. 그러나 컵이라는 단어를 아는 것과 실제 그리퍼로 컵을 안정적으로 들어 올리는 것은 다르다. 접촉과 동작을 학습하려면 로봇 경험 데이터가 필요하다. 파이제로의 핵심도 언어모델에 “잘 잡아라”라는 프롬프트만 붙이는 데 있지 않다.

발표 자료는 인터넷 규모의 시각언어 사전 학습, 공개 로봇 데이터, 자체 수집한 다양한 로봇 데이터를 결합하는 구성을 보여 준다. 이후 특정한 정교한 작업에는 고품질 데이터로 후속 학습을 수행한다. 세탁물 개기, 테이블 정리, 상자 조립 같은 사례를 소개하지만, 모든 로봇에 설치하면 추가 준비 없이 모든 집안일을 해결한다는 의미는 아니다.

 

자료에는 초당 최대 50회의 모터 명령 출력이라는 설명이 있다. 이를 모든 모델 구성과 하드웨어에서 보장되는 정책 재추론 주기로 일반화하지 말아야 한다. 앞에서 구분한 행동 실행 시간과 생성 계산 시간을 함께 확인해야 한다. 다른 모델과 비교할 때도 무엇의 주파수인지, 어떤 환경에서 측정했는지를 맞춰야 한다.

 

또한 파이제로의 성과를 Flow Matching 단독 효과로 해석하면 곤란하다. 모델 구조, 시각언어 사전 학습, 데이터의 다양성과 양, 후속 학습, 로봇 시스템이 함께 바뀌기 때문이다. 특정 구성 요소의 기여를 알려면 해당 요소만 통제한 비교가 필요하다. 좋은 시스템의 결과와 그 시스템에 들어간 기술 하나의 인과 효과는 다르다.

연속 행동 생성이 토큰 방식의 완전한 대체는 아니다

로봇 행동을 표현하는 방법에는 연속값을 직접 생성하는 방식뿐 아니라 행동을 이산 토큰으로 바꾸는 방식도 있다. 토큰 방식은 언어모델의 생성 구조를 활용하기 쉽다는 장점이 있지만, 어떤 단위로 나누고 압축하고 복원하는지에 따라 정밀도와 속도의 특성이 달라진다. 모든 토큰 기반 정책을 하나의 성능 수준으로 묶을 수는 없다.

 

연속 행동 생성은 세밀한 수치와 여러 시점의 관계를 표현하기에 유용할 수 있다. 반면 반복 생성 단계와 행동 차원, 모델 구조에 따른 계산 부담도 있다. “물리 세계는 연속이므로 이산 표현은 틀렸다”는 결론은 지나치다. 디지털 제어 시스템은 이미 샘플링된 신호와 수치 표현을 이용한다. 중요한 것은 주어진 자원에서 필요한 정확성과 반응성을 달성하는지다.

 

행동 청크도 확산 모델만의 전유물이 아니다. 여러 시점의 행동을 한 번에 다루는 생각은 다른 정책 구조에서도 사용할 수 있다. 확산 방식, Flow Matching, 청크 생성, 시각언어 사전 학습은 서로 연결될 수 있지만 각각 다른 선택이다. 논문을 비교할 때는 생성 방법만 다른지, 행동 표현이나 실행 방식까지 다른지 분리해 보자.

 

기존 방식을 대체했다는 선언보다 같은 조건의 결과가 더 중요하다. 같은 시연 데이터와 카메라, 같은 로봇, 같은 평가 초기 상태에서 비교했는지 확인해야 한다. 데이터가 더 많거나 후속 학습을 더 많이 한 모델이 더 잘했다고 해서 생성 방식의 우열이 확정되지는 않는다. 개발 목표에 따라 단순하고 빠른 정책이 충분한 경우도 있다.

 

선택 기준은 “가장 새로운 이름”보다 작업의 성질이어야 한다. 정해진 부품을 반복 배치하는 일과 구겨진 천을 다루는 일은 요구가 다르다. 후보 행동의 다양성, 접촉의 민감도, 허용 지연, 학습 데이터와 유지보수 자원을 함께 봐야 한다. 범용 모델의 장점이 있어도 특정 공정의 검증과 통합을 생략할 수는 없다.

멋진 궤적도 좌표계와 단위가 틀리면 실패한다

생성 모델이 예측한 숫자는 정의된 행동 공간에서만 의미가 있다. 카메라 좌표인지 로봇 베이스 좌표인지, 절대 위치인지 현재 위치의 변화량인지에 따라 같은 값의 뜻이 달라진다. 미터와 밀리미터, 라디안과 도를 혼동하면 학습한 움직임을 실제 장치에 연결할 수 없다. 행동 생성 모델을 도입할 때 기본적인 인터페이스 정의가 먼저 필요한 이유다.

 

학습 전 정규화와 실행 전 복원도 확인해야 한다. 데이터의 평균과 범위 등을 이용해 행동 값을 정규화했다면 추론 후 정확히 같은 기준으로 복원해야 한다. 다른 데이터셋의 통계를 쓰거나 특정 관절의 순서가 바뀌면 출력이 정상 범위처럼 보이더라도 잘못된 동작이 된다. 모델 파일만 옮기고 전처리 설정을 빠뜨리는 실수를 경계해야 한다.

 

시연 데이터의 시간 정렬도 중요하다. 카메라 프레임과 관절 상태, 실제 명령이 서로 다른 시점을 가리키면 모델이 잘못된 대응 관계를 학습할 수 있다. 손이 닫힌 뒤의 이미지를 닫기 전 행동과 연결하는 것처럼 미세한 어긋남이 생길 수 있다. 화면으로는 자연스러운 시연도 학습 입력의 정렬은 별도로 확인해야 한다.

 

여러 로봇의 데이터를 섞을 때는 몸체와 행동의 차이를 다뤄야 한다. 관절 수, 가동 범위, 그리퍼 구조와 센서 구성이 다를 수 있다. 같은 “컵 집기”라는 언어 라벨이 있다고 해서 모든 행동 배열을 그대로 합칠 수는 없다. 다중 로봇 학습은 공통 패턴을 활용할 가능성을 주지만 변환과 마스킹, 로봇별 입력 처리 같은 구체적인 설계가 필요하다.

 

카메라 위치가 달라지는 것도 단순한 배경 변경에 그치지 않을 수 있다. 가려지는 부분과 거리 감각이 바뀌고 손과 물체의 상대 관계를 읽는 조건이 달라진다. 배포 장소의 조명이나 물체 재질까지 함께 바뀌면 학습 분포와 더 멀어진다. 이런 차이를 모두 생성 방법의 문제로 돌리기보다 센서와 데이터 파이프라인부터 구분해 진단해야 한다.

부드러운 동작과 안전한 동작은 같은 말이 아니다

행동 시퀀스가 매끄럽게 보인다고 안전한 것은 아니다. 부드럽게 움직여도 물체를 잘못 잡거나 사람의 작업 공간으로 들어갈 수 있다. 위치 오차가 작아도 접촉력이 과하면 물체를 손상시킬 수 있다. 동작의 시각적 자연스러움, 작업 성공, 사람과 장비의 안전은 서로 다른 평가 항목이다.

 

노이즈에서 생성한 행동이 학습 데이터와 닮았다는 사실도 모든 물리 제약의 만족을 보장하지 않는다. 관절 한계, 속도와 가속도 제한, 충돌, 그리퍼 힘과 작업 공간 제약을 별도로 확인해야 한다. 이러한 검증과 제어는 로봇 및 작업 환경에 맞춰 설계한다. 프롬프트에 안전하게 움직이라는 문장을 넣는 것만으로 강제되는 제약이 되지는 않는다.

 

접촉 작업에서는 위치뿐 아니라 힘과 마찰, 물체의 변형이 영향을 준다. 컵을 잡는 동안 미끄러짐이 생기거나 천이 예상과 다르게 접힐 수 있다. 카메라 관측만으로 충분한지, 촉각이나 힘 센서 같은 추가 정보가 필요한지는 작업에 따라 다르다. 부드러운 행동 분포를 학습했다는 설명만으로 감지하지 못한 접촉 상태를 해결할 수는 없다.

 

실패했을 때의 복구 행동도 독립적으로 봐야 한다. 목표에 도달하는 시연만 학습한 정책은 물체를 놓친 뒤의 상태를 잘 처리하지 못할 수 있다. 실패 상태를 포함한 데이터가 도움이 될 여지는 있지만, 아무 실패나 많이 넣는다고 좋아지는 것은 아니다. 어떤 상태에서 어떤 복구 행동이 올바른지와 학습 목표를 함께 설계해야 한다.

실행 중 중단과 저수준 안전 제어도 정책 생성과 분리해 확인한다. 정책이 새로운 행동을 계산하는 동안에도 필요한 제한과 정지가 동작해야 한다. 특히 실제 장치 검증은 정해진 시험 범위와 감독 아래 단계적으로 진행하는 편이 합리적이다. 생성 모델의 성능 향상은 기존 제어와 안전 설계의 역할을 없애는 사건이 아니다.

성공 영상보다 평가 조건을 먼저 읽어야 한다

Diffusion Policy 공식 프로젝트는 네 개 벤치마크의 열두 작업에서 평균 46.9%의 성공률 개선을 보고한다. 이 수치를 모든 로봇과 작업에서 성공률이 46.9%포인트 오른다는 뜻으로 옮겨서는 안 된다. 해당 비교 대상과 실험 설정 안에서 보고한 개선이며, 상대 변화와 절대 차이를 구분하려면 원논문의 계산 기준을 확인해야 한다. 본문에서는 이 숫자를 범용 성능 보장으로 사용하지 않는다.

 

파이제로 발표 글의 평가에는 부분 점수도 포함된다. 테이블 물체의 일부만 정리한 경우 일정 점수를 주는 식이다. 따라서 정규화 점수가 높다는 사실을 같은 비율의 에피소드에서 완전 성공했다고 바꾸면 안 된다. 성공률, 작업 완료 정도, 평균 점수는 서로 다른 지표일 수 있다. 그래프의 축과 채점 기준을 먼저 읽는 습관이 필요하다.

 

실제 비교에서는 초기 상태와 물체, 시도 횟수, 사람의 개입 여부를 확인하자. 카메라와 물체 배치를 잘 아는 상태에서의 평가인지, 새로운 물체나 환경으로 바뀐 평가인지에 따라 일반화의 의미가 달라진다. 한 번의 인상적인 성공 영상은 가능성을 보여 주지만 반복성과 실패 분포를 알려 주지는 않는다. 실패한 실행을 함께 보는 것이 도움이 된다.

 

시간 지표도 중요하다. 최종 성공률이 같더라도 완료 시간이 길거나 멈춤과 재시도가 많으면 현장의 생산성이 다르다. 반대로 빠르지만 물체 손상이 늘면 좋은 개선이라고 보기 어렵다. 작업 완료 시간, 접촉 실패, 중단 빈도, 복구 성공, 제어 지연 등을 업무 목적에 맞게 함께 기록해야 한다. 하나의 평균 숫자로 전체 품질을 대체하지 말자.

 

일반화 평가에서는 바뀐 조건을 분명히 적어야 한다. 배경만 바뀌었는지, 물체 모양과 무게가 바뀌었는지, 로봇이나 카메라가 바뀌었는지 구분한다. 학습에 비슷한 시연이 있었는지와 추가 학습을 수행했는지도 밝혀야 한다. “새 작업에서 성공”이라는 표현만으로 완전한 미학습 상황의 성공을 뜻한다고 단정할 수 없다.

현실적인 도입은 작고 검증 가능한 조작에서 시작한다

처음부터 집안 전체를 정리하는 범용 로봇을 목표로 하기보다 제한된 작업과 환경에서 기준선을 만드는 편이 원인을 파악하기 쉽다. 같은 물체를 지정 구역으로 옮기는 작업처럼 입력과 완료 조건을 정의할 수 있는 대상으로 시작할 수 있다. 생성 모델이 해결해야 할 다양성과 단순한 제어 문제를 분리하는 과정이다.

 

데이터를 모으기 전에는 행동 표현과 시각 관측, 제어 주기와 성공 판정부터 정하자. 이후 파서나 정규화가 바뀌면 이전 데이터와 모델의 관계가 달라질 수 있으므로 설정을 함께 보존해야 한다. 시연의 품질과 시간 정렬을 샘플로 확인하고, 실제 장치와 무관하게 검사할 수 있는 항목은 먼저 검증한다.

모델을 비교할 때는 모든 요소를 한꺼번에 바꾸지 않는 편이 좋다. Diffusion Policy를 도입하면서 카메라와 데이터 규모, 행동 표현까지 바꾸면 성과의 원인을 설명하기 어렵다. 가능한 범위에서 같은 조건으로 비교하고, 통제하지 못한 차이는 결과와 함께 적어야 한다. 기본적인 정책이 이미 충분하다면 더 복잡한 생성 모델의 운영 부담도 따져 볼 필요가 있다.

 

추론 최적화에서는 생성 단계 수만 보지 말고 전체 파이프라인을 측정한다. 영상 처리와 행동 생성, 통신, 실행 대기를 나누면 실제 병목을 찾을 수 있다. 계산량을 줄인 뒤에는 동일한 평가군에서 동작 품질이 유지되는지도 확인해야 한다. 빨라진 모델이 정밀 조작의 마지막 구간에서 더 자주 실패할 수 있기 때문이다.

 

운영 중에는 실패를 한 종류로 뭉치지 말자. 물체를 못 본 경우, 행동은 맞지만 제어가 늦은 경우, 접촉 중 미끄러진 경우, 작업 종료를 잘못 판단한 경우는 개선 방법이 다르다. 데이터 추가, 관측 개선, 생성 방법 변경, 제어기 조정 중 무엇이 필요한지 실패 단계에 맞춰 결정해야 한다. 피지컬 AI는 모델 선택과 시스템 진단을 함께 요구한다.

자주 묻는 질문

Q. 노이즈를 쓰면 실제 로봇이 무작위로 움직이나요?

아니다. 이 글의 노이즈는 모델 내부에서 행동 후보를 생성하는 수치적 출발점이다. 중간 노이즈 배열을 그대로 모터에 보내는 설명이 아니다. 생성 결과를 실제 행동으로 해석하고 실행하는 과정에는 로봇 시스템의 제어와 제약 검증이 필요하다.

Q. Diffusion Policy는 이미지를 생성하는 기술인가요?

핵심 생성 대상은 행동 시퀀스다. 카메라 이미지는 행동 생성을 위한 조건으로 사용할 수 있다. 확산 생성의 아이디어를 활용하지만 이미지 생성 결과를 그대로 로봇의 동작으로 바꾸는 구조라고 이해하면 부정확하다.

Q. Flow Matching은 항상 확산 방식보다 빠른가요?

그렇다고 일반화할 수 없다. 경로와 학습 방식, 모델, 수치 적분 단계, 하드웨어와 전체 파이프라인에 따라 달라진다. 적은 단계 추론이 가능하다는 특정 결과와 모든 Flow Matching 구현의 성능 보장은 구분해야 한다.

Q. 초당 50회 제어는 매초 50번 새 계획을 만든다는 뜻인가요?

반드시 그렇지는 않다. 여러 시점의 행동을 청크로 생성해 실행할 수 있다. 행동 명령 실행 주기, 새 관측 획득 주기, 정책 추론 주기와 저수준 제어 주기를 각각 확인해야 정확하게 비교할 수 있다.

Q. 연속 행동 모델이면 장애물을 자동으로 피하나요?

연속값을 생성한다는 사실 자체가 충돌 회피의 보장은 아니다. 학습 데이터와 관측, 행동 표현, 제약과 실행 제어가 영향을 준다. 특히 생성 과정의 확률 경로가 단순하다는 설명을 실제 작업 공간의 안전한 경로와 혼동해서는 안 된다.

Q. 언어 지시만 바꾸면 새로운 로봇에서도 바로 동작하나요?

그렇다고 단정할 수 없다. 모델이 지원하는 몸체와 관측, 행동 공간, 제어 인터페이스를 맞춰야 한다. 새로운 작업이나 하드웨어에서는 추가 데이터와 후속 학습, 통합 및 검증이 필요할 수 있다. 범용 정책이라는 목표와 무조건적인 즉시 실행은 다른 주장이다.

피지컬 AI의 핵심은 생성한 행동을 현실에 연결하는 일이다

Diffusion Policy와 Flow Matching은 여러 유효한 행동을 표현하고 연속 행동 시퀀스를 생성하는 중요한 접근이다. 노이즈는 모델 내부의 생성 출발점이고, 행동 청크는 시간적 관계를 담는 단위이며, 재계획은 변화하는 관측을 다시 반영하는 실행 구조다. 이 구분이 있어야 로봇 학습 논문의 원리와 성능 수치를 정확히 읽을 수 있다.

 

그러나 현실의 로봇은 분포만 잘 학습한다고 완성되지 않는다. 좌표계와 단위, 시간 정렬, 제어 지연, 접촉과 안전, 실패 복구가 함께 맞아야 한다. 피지컬 AI의 진전은 더 그럴듯한 동작을 생성하는 데서 끝나지 않는다. 생성한 행동이 실제 장치에서 언제, 어떤 조건으로, 얼마나 반복해서 성공하는지 확인하는 시스템으로 이어질 때 의미가 있다.

논문과 기술 블로그 참고 자료

Diffusion Policy 공식 프로젝트, Diffusion Policy: Visuomotor Policy Learning via Action Diffusion. RSS 2023 및 IJRR 2024 연구의 개념, 행동 시퀀스, 이동 지평 제어와 벤치마크 설명을 확인했다. 원문: https://diffusion-policy.cs.columbia.edu/

Diffusion Policy: Visuomotor Policy Learning via Action Diffusion

 

Yaron Lipman 외, Flow Matching for Generative Modeling. 2022년 제출, 2023년 수정된 원논문 초록에서 벡터장 학습과 확산 경로의 관계, 수치 ODE 생성 설명을 확인했다. 초록의 생성 모델 성과를 로봇의 안전이나 제어 성능 보장으로 옮기지 않았다. 원문: https://arxiv.org/abs/2210.02747

Flow Matching for Generative Modeling

 

Physical Intelligence, π0: Our First Generalist Policy. 2024년 10월 31일 공개. 시각언어 사전 학습, 다양한 로봇 데이터, Flow Matching 행동 출력, 후속 학습과 평가 방식의 원자료다. 원문: https://www.physicalintelligence.company/blog/pi0

 

Embodied AI in Robotics, π0: A Vision-Language-Action Flow Model for General Robot Control. 2025년 3월 2일 게시된 한국어 논문 리뷰다. 구조와 학습, 평가를 순서대로 설명하는 국내 기술 블로그 형식을 비교했다. 세부 수식의 기호와 방향은 이 글에서 그대로 재현하지 않았다. 원문: https://seohyun00.tistory.com/11

π0: A Vision-Language-Action Flow Model for General Robot Control

 

sudoremove, Diffusion Policy. 2026년 1월 15일 최종 수정된 한국어 로보틱스 해설이다. 개념, 아키텍처, 벤치마크와 후속 연구를 연결하는 전개를 비교했다. 특정 방식의 보편적 우월성이나 모든 환경의 성능 보장으로 일반화하지 않았다. 원문: https://sudoremove.com/knowledge/models/diffusion-policy/