상시 업데이트 되는 금융 이벤트 정보, 신규 상품 정보 등을 한 데 모아 고객에게 안내하는 LLM 기반 챗봇을 구축할 수 있습니다.
- 고객응대, 정보 제공 챗봇
- LLM(ChatGPT) 연동 챗봇
- 카드사, 전자상거래(이커머스)등 고객이 정보 업데이트가 잦은 분야
- 각종 정보 확인을 위한 고객 문의가 많은 분야
- 기업에서 보유한 지식, 정보, 데이터에 집중한 LLM 기반 챗봇이 필요한 경우
문제
카드 회사, 전자 상거래 플랫폼 등에는 매일같이 새로운 기간제/조건제 할인 정보와 행사 정보가 쏟아집니다. 정보가 빠르게 업데이트 되고 여러 페이지에 흩어져 있기 때문에 소비자는 자신이 누릴 수 있는 최적의 혜택을 찾기가 어렵고, 상담원은 쏟아지는 정보를 종합적으로 판단해 최적의 정보를 안내하기가 어렵습니다.
해결책
BELLA QNA를 통해 웹사이트에 수시로 업데이트되는 콘텐츠와 정보를 반영한 LLM 기반 Q&A 챗봇을 제공할 수 있습니다.
기대 효과
각 카드 상품, 금융 상품 등에 대한 정확한 정보 제공 가능하며, 이벤트의 경우 고객들의 참여율을 높일 수 있습니다.
챗GPT가 고객이 원하는 정보를 주지 못하는 이유
챗GPT와 같은 LLM 기반 챗봇을 처음 사용해보면 높은 수준의 지식을 간결하게 생성해 내는 능력에 놀라고, 제공해 주는 정보의 유용성에 놀라게 됩니다. 각 모델이 학습한 데이터의 품질, 양, 다양성, 수집 시점 등에 따라 답변의 품질 격차는 있겠으나 범용 LLM 챗봇은 일반적으로 유용하게 활용 가능합니다.
그러나 기업에서 특정한 목적을 가지고 고객에게 챗봇을 제공하려고 한다면 어떨까요? 챗GPT 그 자체 만으로는 고객의 특정한 내용 문의에 정확하게 답변을 할 수가 없습니다. 범용으로 개발되었기에 기업과 고객이 ‘원하는' 정보에 집중한 챗봇 서비스 제공이 불가능하며, LLM 자체의 특성 때문에 정확히 답을 알 수 없는 질문에도 그럴듯한 답변을 내어놓기도 합니다. 환각(hallucination)이라고 불리는 이 문제는 LLM의 본질적 특성으로 인해 발생하는 것으로, 개인이 LLM 기반 챗봇을 사용할 때도 ‘검증된 정답, 최신의 상태를 반영한 정답'이 아닐 수 있음을 인지하고 주의가 필요한 부분입니다. 하지만 기업에서 LLM 기반의 챗봇을 제공한다면 고객들이 위와 같은 LLM 기반 챗봇의 한계를 인지하지 못할 수 있음을 전제로 하고, 대비책을 마련해야 합니다. LLM 기반 챗봇의 수려한 말솜씨만 믿을 것이 아니라. 기업이 보유한 데이터와 정보에 기반하여 신뢰로운 답을 제공할 수 있는 방법을 마련해야 합니다.
RAG(Retrieval-augmented Generation)
업데이트가 잦은 Private-data에 대응할 수 있는 최적의 방법
기업용 LLM 챗봇을 구현하기 위한 몇 가지 방법이 있습니다. 대표적으로 파인 튜닝(Fine-tuning)한 모델을 사용하는 방법이 있습니다. 아주 간단하게 설명하자면, 기존의 모델에 새로운 데이터셋을 추가 학습시켜 모델을 입맛에 맞게 맞추는 작업입니다. 하지만 파인튜닝은 ML, LLM 전문성이 높지 않은 조직에서 시도하기에는 예상치 못한 어려움이 발생할 수 있고, 모델이 특정 시점까지 학습한 데이터에 기반한 답변만 내어 놓기 때문에 정보의 업데이트가 잦은 분야, 즉 챗봇이 갱신되는 정보까지 포함해 대응해야 하는 경우에는 적합한 해결책이 되지 못합니다.
이 때 가능한 다른 기술적인 해결책은 RAG(Retrieval-augmented Generation) 방식입니다. RAG 방식에서는 기업이 목표하는 데이터의 소스(문서, 웹페이지 등)을 수집해 벡터DB라는 데이터 조각으로 구성합니다. 챗봇에서 고객이 특정 질문(“임산부 할인 혜택 이벤트가 있어?)을 하면, 이에 대한 답변으로 유력한 정보가 들어있는 데이터 조각을 찾아내고(Retrieval) 정답을 담아 서비스가 요구하는 톤앤매너와 역할, 관점을 담은 답변 문장을 생성해(Augmented Generation) 고객에게 제공(“네, 서울시에서는 임산부 교통비를 지원합니다. 포인트를 통해 제공되며 Sktler 체크/신용카드를 통해 사용 가능합니다")합니다.
RAG 방식을 사용하면 벡터 DB를 갱신하여, 기업이 제공하고자 하는 최신 데이터와 정보에 대해 응답하는 챗봇을 구현할 수 있습니다.
카드 이벤트 페이지의 내용을 묻고 답하는 LLM 기반 챗봇
카드사의 이벤트 페이지는 다양한 기간제 행사들과 정보들이 업데이트 됩니다. 고객들은 상세 혜택 위주로 자신에게 도움이 되는 상품을 선택하고 싶어하지만, 모든 페이지를 일일이 열어보기 전까지는 ‘스타벅스 할인이 되는' 카드나 이벤트와 같은 것들을 바로 찾아낼 수 없습니다.
BELLA QNA는 스켈터랩스의 MRC기술, RAG 기술 챗GPT가 연동된 LLM 기반 챗봇입니다. 카드사 이벤트 정보 페이지의 정보들을 자동으로 수집하여 [BELLA QNA 벡터 DB]에 업데이트하고, 이 벡터 DB를 기반으로 답변을 생성합니다.
BELLA QNA의 ‘RAG’에 대해 상세히 알아보기
RAG 방식이 적용된 LLM 기반 챗봇 구동 방식 : BELLA QNA📍LLM의 언어 능력은 그대로, 데이터는 맞춤으로
챗GPT가 답할 수 없는, 기업이 고유하게 소유한 정보들을 기반으로 답변을 생성합니다.
📍잦은 데이터 변경도 문제 없는 이유
BELLA QNA Back Office를 통해 pdf, txt 같은 문서를 직접 업로드 하여 DB를 갱신할 수 있고, 웹 페이지의 변경 내용을 자동으로 업데이트 할 수 있습니다.