본문 바로가기

전체 글

(35)

승인 버튼만으로 AI는 안전해지지 않는다: AI 에이전트 HITL 설계 AI 에이전트가 이메일을 작성하고 “전송할까요?”라고 묻는다. 사람이 승인 버튼을 누르면 작업이 이어진다. 이 장면만 보면 Human-in-the-Loop, 줄여서 HITL을 구현하는 일은 간단해 보인다. 그러나 승인 이후 수신자가 달라지거나, 오래된 요청이 다시 실행되거나, 다른 사람이 대신 버튼을 눌러도 처리된다면 어떨까. 사람이 한 번 개입했다는 사실만으로 실행이 올바르게 통제되지는 않는다. AI 에이전트의 승인 설계에서 중요한 것은 질문을 띄우는 행위보다 그 질문의 대상과 효력이다. 누가 무엇을 검토했는지, 어느 실행에 동의했는지, 동의한 내용이 실제 실행 직전에도 같은지 확인할 수 있어야 한다. 모델에게 “중요한 작업은 승인받아라”라고 지시하는 것과, 실행 경로에 승인 조건을 구현하는 것은 서로..

HTTP 200인데 AI는 실패한다: AI 에이전트 트레이싱과 관측 가능성 AI 에이전트가 “요청을 처리했습니다”라고 답했다. 서버는 HTTP 200을 반환했고 예외 로그도 없다. 그런데 실제 주문 상태는 바뀌지 않았거나, 다른 상품의 규정을 적용했거나, 완료되지 않은 일을 끝났다고 보고했다면 어떨까. 통신은 정상이어도 사용자가 맡긴 업무는 실패할 수 있다. AI 에이전트 운영에서 관측 가능성과 트레이싱이 필요한 이유가 여기에 있다. 프롬프트를 고치거나 더 큰 모델로 바꾸기 전에 알아야 할 것은 실패가 발생한 위치다. 필요한 자료를 못 찾았는지, 올바른 자료를 읽고도 조건을 잘못 해석했는지, 도구 호출은 성공했지만 업무 결과를 확인하지 않았는지에 따라 해결책은 달라진다. 최종 답변 하나와 전체 응답 시간만 저장하면 이 차이를 구분하기 어렵다. 이 글은 AI 에이전트 트레이싱, ..

로봇은 왜 노이즈에서 동작을 만들까: Diffusion Policy와 Flow Matching 로봇 팔이 컵을 집는 장면을 보면 AI가 다음 움직임을 곧바로 계산한다고 생각하기 쉽다. 그런데 Diffusion Policy와 Flow Matching 계열의 행동 생성 모델은 무작위 노이즈에서 시작해 사용할 동작을 만들어 낸다. 정교하게 움직여야 하는 기계가 왜 처음부터 불확실한 숫자를 다루는 것일까. 이 질문은 이미지 생성 AI와 피지컬 AI가 만나는 지점을 보여 준다. 먼저 오해를 풀어야 한다. 여기서 노이즈를 사용한다는 말은 로봇 모터에 임의의 명령을 보내 마구 흔든다는 뜻이 아니다. 모델 내부의 수치 배열에서 후보 행동을 생성하는 과정에 관한 설명이다. 생성된 결과가 실제 로봇에 전달되기까지는 행동 표현의 해석, 제어기, 하드웨어 제약과 실행 검증이 필요하다. 생성 모델의 원리와 모터 제어를 ..

이전 1 2 3 4 5 6 7 8 ··· 12 다음

티스토리툴바