본문 바로가기

전체 글

(35)

AI끼리 주고받은 요약은 증거가 아니다: 멀티 에이전트 핸드오프의 함정 멀티 에이전트 핸드오프, 요약 한 줄에서 업무가 바뀐다 멀티 에이전트 핸드오프는 한 AI 에이전트가 다른 에이전트에게 작업이나 대화의 제어권을 넘기는 과정이다. 고객 지원에서는 접수 담당 AI가 환불 담당 AI에게 문의를 넘기고, 개발 업무에서는 조사 담당 AI가 구현 담당 AI에게 확인 결과를 전달한다. 이때 잘 쓴 요약만 있으면 일이 자연스럽게 이어질 것처럼 보인다. 하지만 요약에 조건과 출처가 빠지면 다음 에이전트는 다른 업무를 시작할 수 있다. 가령 사용자가 “실제 발송은 하지 말고 고객 안내문 초안만 작성해 줘”라고 요청했다고 하자. 첫 번째 에이전트가 이를 “고객 안내문 작성 요청”으로 전달하면 금지 조건이 사라진다. 다음 에이전트가 발송 도구를 갖고 있다면 단순한 문장 축약이 실행 범위의 확..

AI가 기억할수록 더 위험해질 수 있다: AI 에이전트 메모리 설계의 함정 AI 에이전트 메모리, 저장하는 순간 신뢰 문제가 시작된다 AI 에이전트 메모리는 이전 대화와 작업 결과를 저장했다가 다음 요청에서 다시 활용하는 장치다. 사용자가 선호하는 문체를 기억하고, 진행 중인 프로젝트를 이어 가고, 반복되는 실수를 줄일 수 있다. 그런데 잘못된 사실까지 기억하면 문제가 달라진다. 한 번의 오답이 다음 작업의 전제가 되고, 그 전제가 또 다른 메모로 저장되면서 오류가 오래 살아남을 수 있다. 예를 들어 업무 보조 AI가 “지난번에는 계약 검토가 끝났다”는 메모를 읽었다고 하자. 실제로는 초안 검토만 끝났고 법무 승인은 남아 있었다면, 에이전트는 아직 확정되지 않은 계약을 확정된 것으로 취급할 수 있다. 모델이 새로 환각을 만들지 않아도 저장된 문장 하나 때문에 잘못된 행동을 선택..

AI의 '확신도 95%'는 검증이 아니다: LLM 환각과 답변 보류 설계 AI에게 답변과 함께 확신도를 적어 달라고 하면 “95% 확신합니다”라는 숫자를 받을 수 있다. 이 숫자가 있으면 결과가 한층 과학적으로 보인다. 그러나 그 점수가 어떤 데이터에서 검증되었는지, 무엇이 맞을 확률인지, 틀렸을 때도 높은 점수를 내는지 확인하지 않았다면 단지 생성된 표현일 수 있다. 확신을 숫자로 썼다는 사실은 답변을 검증했다는 뜻이 아니다. 업무용 AI 에이전트에서 중요한 것은 무조건 자신 있게 답하는 능력만이 아니다. 근거가 부족하면 질문을 좁히고, 확인할 도구가 있으면 조회하고, 확인할 수 없으면 그 범위를 남기는 능력도 필요하다. 답변을 보류하는 설계는 모델의 부족함을 가리는 장식이 아니라, 잘못된 단정이 실제 업무로 이어지는 것을 줄이는 실행 방식이다. 이 글은 LLM 환각, 신뢰..

이전 1 2 3 4 5 6 7 ··· 12 다음

티스토리툴바