"우리 서비스에도 AI 챗봇 붙일 수 있나요?"라는 문의가 1년 전 대비 3배는 늘었습니다. 답은 "거의 항상 가능하지만, 가치 있는 방식으로 붙이려면 순서가 있다"입니다. 실제로 운영 중인 프로젝트들에서 검증한 3단계를 공유합니다.
0단계 — 붙이기 전에 묻는 두 질문
- 이 챗봇이 해결하려는 구체적 문제가 뭔가? "AI 있으면 좋을 것 같아서"는 사유로 약합니다. "고객 문의의 70%가 FAQ 3개에서 나오는데 이걸 자동으로 답해줬으면 좋겠다"가 좋은 사유.
- 실패해도 괜찮은 영역인가? 의료·법률·금융 상담은 LLM 단독으로 책임지기 어렵습니다. 실패가 치명적이지 않은 영역부터 시작하는 것이 원칙.
이 두 질문을 통과하면 본격 3단계로 들어갑니다.
1단계 — 대화 설계 (기술 이전에 이게 먼저)
가장 많이 하는 실수: 모델부터 고르고 프롬프트를 짜는 것. 그 전에 "이 챗봇이 어떤 어조로, 어떤 지식을 가지고, 어떤 질문에 답하지 않는가"를 문서로 정의해야 합니다.
- 페르소나: 친근한 도우미인가, 정중한 상담사인가. 답변의 톤을 결정합니다.
- 대답 범위: "우리 제품·운영·가격 관련만 답한다"처럼 명확한 경계. 경계 밖 질문엔 "담당자에게 연결" 같은 폴백을 준비.
- Red flags: 절대 답하면 안 되는 것들. 예: "환불 해드리겠다"는 약속, 의료·법적 판단 등.
이 문서가 그대로 시스템 프롬프트의 뼈대가 됩니다. 이 단계 없이 만들면 나중에 챗봇이 엉뚱한 답을 할 때마다 프롬프트를 땜질하게 됩니다.
2단계 — 지식 공급 (RAG or 파인튜닝 or 간단 프롬프트)
대부분의 실무 챗봇은 이 세 가지 중 하나입니다.
- 프롬프트에 지식 삽입: 정책·FAQ가 2~3페이지 분량이면 가장 단순. Claude 같이 컨텍스트가 긴 모델은 수십 페이지도 프롬프트로 해결됨.
- RAG(검색 후 답변): 문서 수백~수천 건. 검색(벡터DB/키워드) + LLM 답변. 지식이 자주 바뀌거나 양이 많을 때 적합.
- 파인튜닝: 톤이나 스타일을 고정해야 하거나 특정 도메인에 특화할 때. 초기 MVP엔 거의 불필요.
제 경험상 80% 이상의 비즈니스 챗봇은 "긴 프롬프트 + 얇은 RAG" 정도로 충분합니다. 처음부터 파인튜닝 들어가면 비용·기간이 5~10배 늘어납니다.
3단계 — 핸드오프·로그·개선 루프
챗봇은 100% 자동이 아니라 "사람에게 잘 넘겨주는 것"도 핵심 품질입니다.
- 핸드오프 트리거: 일정 불확실성 이상, 고객이 "상담원 연결" 요청, 3회 연속 같은 질문 반복 등. 룰을 명확히 설정.
- 로그 저장: 모든 대화를 저장. 1주일 뒤 읽어보면 챗봇이 어디서 막히는지 금방 보입니다.
- 주간 리뷰: 실패 사례 10개만 매주 리뷰. 프롬프트·RAG 색인·핸드오프 룰 중 하나를 고치면 됩니다. 이 루프가 돌아가기 시작하면 챗봇 품질이 한 달에 눈에 띄게 올라갑니다.
비용 가이드
- 초기 개발: 500~1,500만 원 (설계 + 프롬프트 + 기본 RAG + UI).
- 월 LLM API: 트래픽 따라 10~300만 원. 초기 MVP는 월 30만 원 이하가 현실적.
- 운영: 개선 루프 유지 공수 — 주 2~4시간.
한 가지만 기억한다면
"모델 선택"보다 "대화 설계 + 핸드오프"가 챗봇 성공의 8할을 결정합니다. 최신 모델을 쓰는 것보다 1단계·3단계를 제대로 하는 팀이 훨씬 좋은 결과를 냅니다.