본문 바로가기

전체 글

(35)

프롬프트만 고치면 AI 에이전트는 계속 실패한다: 컨텍스트 엔지니어링의 7가지 설계 원칙 AI 에이전트가 데모에서는 똑똑한데 실제 업무에서는 자꾸 길을 잃는다면, 프롬프트의 문장만 의심해서는 답을 찾기 어렵습니다. AI 에이전트의 성능은 어떤 지시를 받았는지뿐 아니라 어떤 자료를 읽었고, 어떤 도구를 쓸 수 있으며, 무엇을 기억하고, 무엇을 근거로 완료를 판단하는지에 달려 있습니다. 이 전체 정보 환경을 설계하는 일이 컨텍스트 엔지니어링입니다. 이 글은 Anthropic의 공식 엔지니어링 문서와 AWS 한국 기술 블로그, Elastic의 한국어 기술 글을 직접 비교해 AI 에이전트 구축에 필요한 원칙을 정리한 실무 가이드입니다. 특정 제품의 우열이나 검증되지 않은 생산성 수치를 주장하지 않습니다. 아래의 고객 지원 시나리오와 평가 설계는 이해를 돕기 위한 가상 예시이며, 외부 자료에서 확인한..

프롬프트 한 줄 바꿨을 뿐인데 AI 비용이 뛴다: 프롬프트 캐싱의 숨은 함정 프롬프트 캐싱은 AI 에이전트의 반복 입력을 다시 계산하는 비용과 대기 시간을 줄이는 기술이다. 하지만 같은 대화를 이어 간다는 이유만으로 캐시가 항상 적중하는 것은 아니다. 프롬프트 앞부분의 한 줄, 도구 정의의 순서, 모델 설정의 변화가 재사용 가능한 구간을 바꿀 수 있다. 답변은 평소처럼 정상적으로 돌아오는데 요금과 첫 응답 시간이 달라지는 이유가 여기에 있다. 이 글은 프롬프트 엔지니어링을 문장 수정에서 운영 설계로 확장하려는 개발자를 위한 안내서다. 프롬프트 캐싱의 원리부터 정적 입력 배치, 비용 계산, 캐시 미스 진단, AI 에이전트의 긴 대화 관리까지 살펴본다. 자료 확인일은 2026년 11월 1일이다. AWS 한국어 기술 블로그, OpenAI 공식 문서, 국내 개발자의 정리 글을 비교했으며..

성공률 90%인데 AI 에이전트가 실패한다: 배포 전 꼭 알아야 할 평가(Evals)의 함정 AI 에이전트 평가(Evals)는 그럴듯한 답변에 점수를 주는 작업에서 끝나지 않는다. 도구를 제대로 호출했는지, 실제 업무 상태를 바꿨는지, 같은 일을 반복해도 안정적으로 성공하는지까지 확인해야 한다. 성공률 90%라는 숫자도 표본과 계산법에 따라 전혀 다른 의미가 된다. 이 글은 AI 에이전트 성능 평가를 처음 설계하는 개발자를 위해 테스트 데이터셋, 결과 검증, LLM-as-a-Judge, 회귀 테스트와 배포 기준을 하나의 흐름으로 정리한다. 분석 기준일은 2026년 11월 1일이다. Anthropic의 에이전트 평가 원문과 국내 인포그랩 기술 블로그의 실무 사례를 참고하되, 아래 환불 업무와 수치는 설명을 위한 가상 예제다. 특정 제품을 직접 벤치마크해 얻은 결과나 업계 평균으로 해석하면 안 된다..

이전 1 2 3 4 ··· 12 다음

티스토리툴바