"AI를 어디에 어떻게 써야 효과가 나냐"가 요즘 가장 많이 받는 질문입니다. 저는 이걸 일반론으로 답하지 않고 실제로 운영 중인 세 가지 제품 사례로 답합니다. 효과가 컸던 곳, 기대만큼 안 된 곳, 그리고 그 차이를 만든 원인까지 정리합니다.
사례 ① — 내부 운영 자동화 (효과 큼)
제 업무 안에서 가장 빠르고 확실히 효과를 본 영역. 고객 문의 분류·자동 답변 초안·월간 리포트 요약 등에 LLM을 붙였습니다. 결과: 같은 업무에 드는 시간이 70% 이상 감소. 이유는 명확합니다. (1) 정답이 아니라 "쓸 만한 초안"이면 충분하고, (2) 사람이 최종 검토하므로 오류가 큰 문제로 번지지 않기 때문.
핵심 교훈: "초안을 사람이 다듬는" 구조가 가장 ROI 높은 LLM 적용 패턴입니다. 완전 자동화를 노리면 실수 비용이 효과를 잡아먹습니다.
사례 ② — 사용자 대면 검색·추천 (효과 중간)
서비스 내부 검색·추천에 LLM을 붙였습니다. "좀 더 이해하는 검색"이 목표. 결과: 만족도는 오르는데 비용·지연시간이 함께 증가. 기존 키워드 검색 대비 응답 시간이 1.5~3배, API 비용은 트래픽 대비 비례 상승.
해결: 핫스팟 질의는 캐시, 일반 질의는 키워드+LLM 하이브리드, 희귀 질의만 순수 LLM. 이 구조로 품질을 유지하며 비용을 60% 절감했습니다. 100%를 LLM으로 커버하려는 초기 설계가 가장 비쌉니다.
사례 ③ — 자유 입력 창의 제안 (효과 작음)
"AI가 적당한 문구를 제안해주면 사용자가 편해질 것"이라 기대한 피처. 실제로는 제안 사용률 10% 내외. 대부분의 사용자는 자기 문장을 쓰고 싶어 했고, 제안은 단지 "뭐라고 쓸지 감이 안 올 때"만 쓸모 있었습니다.
교훈: LLM은 "사용자의 선택"을 대체하기 어렵고, 사용자의 막힘을 푸는 조수 역할에 강합니다. 이 차이를 구분 못 하면 기능은 만들었는데 아무도 안 쓰는 결과가 나옵니다.
세 사례에서 뽑은 원칙
- 초안에 강하다, 결정에 약하다: 사람이 고르는 구조에 LLM을 넣으면 효과가 크고, LLM이 최종 결정하는 구조는 실패율이 높음.
- 핫 패스는 캐시·하이브리드: 100% LLM은 고비용. 빈번한 패턴은 저렴한 수단으로 먼저 막기.
- 반복 업무부터: 사용자 대면보다 내부 반복 업무가 ROI가 훨씬 높음.
- 로그 필수: LLM의 어디가 먹히는지 로그 보며 튜닝하지 않으면 품질은 정체됨.
비용·성능 목표치 (실전 기준)
- 내부 자동화: 월 10~30만 원 수준에서 주 20시간 이상 절감. 무조건 시도해 볼 가치.
- 사용자 대면: 사용자당 월 LLM 비용을 단가의 1~3% 이하로 유지 (그 이상이면 구조 재설계).
- 응답시간: 대화형 2초 이내, 비대화형 5초 이내가 체감 기준.
결론
"AI로 뭘 해결한다"가 아니라 "어느 반복 업무의 초안을 사람이 다듬는 구조로 옮길까"부터 시작하는 팀이 가장 빠르게 성과를 봅니다. 화려한 사용자 대면 AI 피처는 그 다음 단계에서 고민해도 늦지 않습니다.