본문 바로가기

전체 글

(35)

JSON이 맞아도 AI는 틀릴 수 있다: 구조화된 출력과 에이전트 검증의 함정 구조화된 출력은 AI 응답을 미리 정한 JSON 스키마에 맞춰 프로그램이 처리하기 쉽게 만드는 기능이다. 필수 필드가 빠지거나 예상하지 못한 형식이 나오는 문제를 줄이는 데 유용하다. 그러나 JSON이 올바르다는 사실과 그 안의 날짜·금액·고객 번호가 사실이라는 것은 별개다. 환불 금액이 정수이고 고객 번호가 문자열이어도 다른 사람의 거래를 골랐거나 원문에 없는 금액을 만들어 냈다면 업무는 틀린다. 이 결과를 파싱에 성공했다는 이유만으로 바로 실행하면 오류가 데이터베이스와 외부 시스템까지 전달될 수 있다. 이 글은 Structured Outputs, JSON mode, JSON Schema, 함수 호출의 차이부터 Pydantic과 Zod, 불확실성 표현, 값과 근거 검증, 에이전트 실행 경계까지 정리한다..

프롬프트 캐싱 90% 할인, AI 요금도 90% 줄까? 에이전트 비용 최적화의 함정 프롬프트 캐싱은 여러 AI 요청에서 동일한 입력 앞부분을 다시 계산하는 일을 줄여 비용과 응답 지연을 낮추는 기술이다. 긴 지침, 반복되는 문서, 도구 정의를 계속 보내는 AI 에이전트에 특히 유용할 수 있다. 하지만 캐시 읽기 토큰의 할인율과 서비스 전체 요금의 절감률은 같은 숫자가 아니다. “최대 90% 절감”이라는 문구를 보고 전체 AI 예산을 10분의 1로 잡으면 계산이 어긋날 수 있다. 캐시에 적중하지 않는 입력, 최초 쓰기 비용, 새로 생성하는 출력, 검색과 도구 호출, 재시도 비용이 남기 때문이다. 캐시를 재사용하기 전에 만료되거나 프롬프트 앞부분이 바뀌면 기대한 효과도 나오지 않는다. 이 글은 프롬프트 캐싱의 원리와 접두사 설계, 비용 계산, 캐시 적중률, RAG와 에이전트 적용, 보안과 ..

타임아웃은 실패 확정이 아니다: AI 에이전트의 중복 결제·발송을 막는 멱등성 설계 AI 에이전트가 결제나 이메일 발송 도구를 호출한 뒤 타임아웃을 만났다고 해서 실제 작업까지 실패한 것은 아니다. 서버는 이미 처리했지만 응답만 돌아오지 않았을 수 있다. 이때 에이전트가 새 요청으로 다시 실행하면 중복 결제, 중복 주문, 중복 발송이 발생할 수 있다. 이 문제를 줄이는 핵심 개념이 멱등성, 즉 Idempotency다. 같은 업무 요청을 다시 전달하더라도 추가적인 효과가 발생하지 않도록 만드는 성질이다. 프롬프트에 “한 번만 실행하라”고 적는 것에 더해, 도구와 서버가 요청의 정체성과 처리 상태를 관리해야 한다. 이 글은 AI 에이전트의 재시도와 도구 호출, 멱등성 키, 체크포인트, 외부 상태 확인, 보상 처리와 평가 방법을 연결해 설명한다. 토스페이먼츠와 pxd의 국내 기술 글, AWS..

이전 1 ··· 6 7 8 9 10 11 12 다음

티스토리툴바