Arize AI 웨비나 시리즈 #4: Prompt Optimizer로 최적의 프롬프트 자동으로 만들기
Arize AI 웨비나 시리즈 #4: Prompt Optimizer로 최적의 프롬프트 자동으로 만들기
AI 에이전트 개발의 핵심 아키텍처와 실전 구현 방법을 공유하는 시간에 초대합니다.
배경
AI 에이전트를 프로덕션에 배포하면서 개발자들이 가장 많은 시간을 소비하는 작업은 "프롬프트 최적화"입니다.
프롬프트를 몇 시간씩 수동으로 수정하고 테스트하지만 성능 개선이 미미하고,
30개 카테고리 분류에서 60% 정확도를 어떻게 개선해야 할지 막막하며,
엣지 케이스마다 프롬프트를 고치다 보면 기존에 작동하던 케이스가 망가지는 악순환
프롬프트 엔지니어링 전문가가 없으면 최적화 자체가 불가능한 상황
이런 문제들로 인해 많은 팀들이 에이전트의 성능을 개선하고 싶어도 "어디서부터 어떻게" 시작해야 할지 모르는 채 시행착오를 반복하고 있습니다.
Prompt Learning은 자연어 피드백을 사용하여 프롬프트를 자동으로 최적화하는 혁신적인 기법입니다. 사람이 "이 분류가 틀린 이유는..."이라고 설명하듯이, AI가 오류 패턴을 학습하여 프롬프트를 스스로 개선합니다. 데이터셋만 준비하면 수십 번의 수동 시행착오 없이, 단 5-10분 만에 15%p 이상의 성능 향상을 얻을 수 있습니다.
이번 웨비나에서는:
Prompt Learning의 핵심 원리와 전통적인 프롬프트 최적화와의 차이를 이해하고,
고객 쿼리 분류에서 57% → 73%로 개선한 실제 사례를 라이브 데모로 재현하며,
여러분의 에이전트에 바로 적용할 수 있는 구체적인 구현 방법과 모범 사례를 공유합니다.
시리즈 목표
Arize AI 웨비나 시리즈는 AI 기술을 실무에 적용하려는 개발자와 기업들에게 검증된 방법론과 실전 노하우를 전달합니다. 이론과 실무, 글로벌 베스트 프랙티스와 실제 구현 사례를 균형있게 다루며, 참가자들이 자신의 프로젝트에서 바로 활용할 수 있는 구체적인 인사이트를 제공합니다.
웨비나 아젠다 (총 120분)
14:00 – 14:10 (10분) | 오프닝 & 웨비나 소개
연사 소개
세션 개요 및 학습 목표
참여 방법 안내 (Q&A, 채팅)
14:10 – 15:00 (50분) | Part 1: Prompt Learning 핵심 원리 - 왜 숫자가 아닌 말로 가르쳐야 하는가
프롬프트 최적화의 현실적 문제들
수동 최적화의 한계: 시간, 비용, 재현성
"정확도 60%"라는 숫자로는 무엇을 개선해야 할지 알 수 없는 이유
엣지 케이스 처리와 일반화의 딜레마
Prompt Learning의 혁신: 자연어 피드백
점수 vs 설명: "틀렸다" vs "왜 틀렸고 어떻게 고쳐야 하는가"
메타 프롬프팅: AI가 자신의 프롬프트를 개선하는 원리
3-모델 루프: Agent → Evaluator → Optimizer
실전 사례: 고객 쿼리 분류 (30개 카테고리)
초기 성능: 57.7% 정확도
Prompt Learning 적용 후: 73.2% 정확도 (+15.5%p)
단 5번의 반복으로 달성한 개선
라이브 코드 워크스루
데이터셋 구조: input, output, feedback
평가자 프롬프트 작성법
PromptLearningOptimizer 실행
15:00 – 15:10 (10분) | 휴식
15:10 – 15:40 (30분) | Part 2: 실전 구현 - 여러분의 에이전트에 바로 적용하기
효과적인 데이터셋 구성
좋은 피드백 vs 나쁜 피드백 (실제 예시 비교)
50-100개 샘플로 시작하기
엣지 케이스와 실패 패턴 포함하기
피드백 자동 생성 전략
평가자 프롬프트 작성 모범 사례
"선생님이 학생 답안을 채점하듯" 작성하기
구체적이고 실행 가능한 설명의 힘
커스텀 도메인 규칙 통합하기
라이브 데모: JSON 웹페이지 생성 최적화
문제: 복잡한 스키마 준수율 65%
Prompt Learning 적용 과정
결과: 92% 준수율 달성
개선된 프롬프트 분석
비용 & 성능 최적화
모델 선택 전략 (GPT-4o vs GPT-4o-mini)
반복 횟수와 조기 종료
캐싱과 배치 처리로 비용 절감
15:40 – 15:50 (10분) | Part 3: 고급 활용과 프로덕션 배포
Arize AX 통합으로 최적화 과정 모니터링
반복별 정확도 변화 추적
프롬프트 길이와 토큰 사용량 분석
최적화 타임라인 시각화
프로덕션 배포 전략
A/B 테스팅으로 프롬프트 비교
온라인 학습 파이프라인 구축
프롬프트 버전 관리
검증된 성과들
Big Bench Hard 벤치마크 (24개 작업)
Cline 코딩 에이전트 개선 사례
RAG 시스템 정확도 향상
15:50 – 16:00 (10분) | 핵심 내용 요약 및 시작하기 가이드
3가지 핵심 포인트
자연어 피드백의 힘
데이터 품질이 전부
체계적 에러 분석의 자동화
오늘부터 시작하기
첫 최적화 실행을 위한 체크리스트
문서와 예제 코드 안내
추가 자료 및 연락처
16:00 – 16:20 (20분) | Q&A
사전 질문 답변
실시간 질의응답
16:20 | 종료
이런 분들께 추천합니다
프롬프트 최적화에 시간을 너무 많이 쓰고 있는 개발자
매번 수동으로 프롬프트를 고치는 반복 작업에서 벗어나고 싶으신 분
에이전트 성능 개선 방법을 찾는 AI 엔지니어
60% 정확도를 75%로 올리고 싶지만 어디서 시작해야 할지 모르는 분
프롬프트 엔지니어링 전문가가 없는 팀
데이터만 있으면 자동으로 최적화하는 방법을 배우고 싶으신 분
체계적인 에러 분석 프로세스를 구축하고 싶은 실무자
Andrew Ng이 강조한 "systematic error analysis"를 실제로 구현하고 싶으신 분
프로덕션 에이전트의 지속적 개선을 원하는 팀
배포 후에도 새로운 데이터로 프롬프트를 계속 개선하고 싶으신 분