요약 

문제 (Problem)

• 상담사들은 이벤트 정보와 같은 단순 문의 응대에 많은 시간을 할애함 
• 반면, Rule 기반의 챗봇 등은 실시간 이벤트 정보를 종합적으로 판단하여 가이드 하지 못함 
• 수시로 바뀌는 이벤트 정보의 특성상 빠른 DB 업데이트가 가능하며, 유연하게 판단하고 종합적으로 안내할 수 있는 챗봇 구축이 필요함 

해결책 (Solutions)

• RAG(Retrieve Augmented Generation) 방식을 활용한 LLM 챗봇 도입
• 챗GPT가 연동된 BELLA QNA가 자주 변동되는 이벤트 정보를 자동으로 갱신하여 고객의 이벤트 정보 문의에 응대

‍

금융권 LLM 실제 활용 사례 :: KB국민카드

• KB국민카드 「이벤트 Q&AI」 서비스 개요:
  KB국민카드와 KBpay에서 운영하는 마케팅 이벤트 정보를 일상 대화하듯 쉽고 빠르게 알려주는 서비스
• 연동한 채널:
  KBpay 앱
• 이벤트 개수:
  약 150건
• 사용된 솔루션:
  스켈터랩스 BELLA QNA
• 활용 목적:
  KB국민카드 및 KBpay 고객용 챗봇 서비스
  약 150건 정도의 이벤트 정보를 대화 형식으로 안내
• 기대 효과(고객):
  상담원과 대화하듯 자연스러운 다이얼로그를 통해 진행중인 이벤트의 상세정보 확인
• 기대 효과(KB국민카드):
  고객 대상 생성형 AI 서비스 제공을 통한 혁신성 제고
  KB국민카드 고객 경험 개선
  단순 이벤트 문의 응대 줄어 상담사 효율 상승
• 서비스 구현 방식:
  자연스러운 대화를 위해 GPT-3 활용
  답변 정확도를 높이기 위한 Retrieval Augmented Generation; RAG 방식 채택
  KB국민카드 기업 이벤트 정보 API로 연동
  파일 업로드 방식으로 획기적인 챗봇 데이터 갱신
  텍스트 입력 제한, 비식별화 기술 삽입으로 고객 정보 보호‍
• 대화 설계 방식:
  ‍어렵고 전문적인 기술 용어 사용 최소화
  추가 질문에 답변 제공
  고객의 의도를 파악해 고객 중심의 대화 진행

‍

KB국민카드 프로젝트 진행 중 마주한 문제점과 해결 방법

이번 프로젝트를 진행하며 기업이 LLM을 도입할 때 마주하는 문제점들과 그에 따른 스켈터랩스의 해결방법을 정리해보았습니다.

#1. 범용 LLM은 기업에 최적화된 답변 제공이 어렵다 → LLM과 기업 데이터를 API로 연동해 해결 ✅

챗GPT같은 범용 LLM 기반 서비스는 학습하지 않은 정보에 대한 답변을 생성하는 데 어려움이 있어 기업에 최적화된 답변 제공이 어렵습니다. 범용 LLM은 특정 기업이나 데이터, 개인화된 정보 등 에 접근할 수 없기 때문인데요. 따라서 기업은 챗GPT와 같은 범용 LLM에 자체 데이터를 추가하는 등 기업에 최적화된 답변을 제공할 수 있는 시스템을 구축해야 합니다.

이벤트 Q&AI 서비스는 스켈터랩스의 LLM 기반 질의응답 챗봇 솔루션인 ‘벨라 큐나(BELLA QNA)’, 그리고 KB국민카드의 기업 이벤트 정보를 API로 연동하는 방식을 채택했습니다. 이를 통해 이벤트 정보를 LLM에 융합하는 방식으로 답변 생성 기능을 개선하고, 고객이 원하는 정보와 기업이 제공하고 싶은 정보의 간극을 줄일 수 있었습니다.

#2. 데이터의 양이 방대하고, 매일같이 업데이트 되어 관리가 힘들다 → 벨라 큐나 파일 업로드 기능으로 해결 ✅

기존의 LLM 기반 챗봇 솔루션은 시나리오 설계가 필수적이었습니다. 예상되는 질문과 답변을 일일이 입력해야 기업이 원하는 답변을 챗봇이 뱉을 수 있었죠. 새로운 데이터가 매일같이 업데이트되는 기업 입장에서, 챗봇의 응답 시나리오를 계속해서 수정하는 것은 매우 비효율적인 일 입니다.

반면 벨라 큐나는 새로운 제품이나 데이터가 지속적으로 업데이트되는 환경에서 오히려 빛을 발합니다. 관련 문서 파일을 업로드하면 단 몇 분만에 사용자 친화적인 기업용 챗봇을 구축할 수 있죠. 복잡한 시나리오 설계 과정이 아예 필요없다는 뜻 입니다. KB국민카드 또한 API를 통한 문서 업로드 방식으로 서비스를 제공하였습니다.

이렇듯 벨라 큐나는 여러 형식의 데이터 소스와의 통합을 통해 더욱 다양한 서비스를 제공할 수 있습니다. 때문에 금융 뿐 만 아니라 고객에게 신속하고 정확한 정보를 제공해야 할 필요성이 높은 커머스, 리테일, 공공기관 등 에서 부담을 줄일 수 있는 유연한 챗봇 솔루션입니다.

#3. 답변의 정확도가 매우 중요하다 → 검색 증강 생성(RAG) 방식 채택 ✅

기업들이 LLM 도입을 주저하는 주요 원인 중 하나는 바로 답변의 정확도입니다. 비용·인프라 등 여러가지 기술적인 요인도 고려되겠지만, 생성형 AI가 제공하는 부정확한 정보로 인해 기업의 신뢰성이 훼손되는 등 브랜드 이미지가 손상될 가능성이 있기 때문이죠.

스켈터랩스는 질문에 최적화된 답변을 생성하기 위해 ‘검색 증강 생성’(Retrieval Augmented Generation; RAG) 방식을 채택해 답변의 정확도를 혁신적으로 높였는데요. ‘RAG’는 생성 모델의 능력을 향상시키기 위해 정보 검색 기술을 활용하는 접근 방식입니다. 모델이 답변을 생성하기 전 정보의 출처나 근거를 먼저 검색하고, 이 근거를 기반으로 생성 모델이 답변을 만드는 방식으로 작동해 답변의 적절성을 높인다는 이점이 있습니다.

#4. 고객 정보 보안은 어떻게? → 텍스트 입력 제한, 비식별화 기술 삽입 ✅

보안은 모든 기업이 중요하게 생각하는 요소입니다. 이번 이벤트 정보 제공 챗봇 서비스엔 고객의 개인정보를 수집하는 요소가 없지만, 고객이 무작정 자신의 개인 정보를 입력해버리는 경우엔 어떻게 해야할까요?

스켈터랩스는 아라비아 숫자나 한글화된 형태의 숫자를 연속해서 입력 시, 텍스트를 입력할 수 없는 ‘입력 제한' 조치를 취했습니다. 또한, 고객이 임의로 개인정보를 입력했을 때, 기업의 표준 마스킹 처리 양식에 따라 ‘비식별화’ 처리를 해 고객의 개인정보를 보호할 수 있었습니다.

‍