기업이 LLM에 RAG를 통합한 챗봇을 도입한 후 얻을 수 있는 이점과 RAG를 잘 활용할 수 있는 전략을 살펴보겠습니다.
LLM이 세상에 등장하면서, 많은 기업들은 이 기술을 다양한 문제 해결의 열쇠로 여겼습니다. 그러나 데이터의 시의성, 지식의 전문성, 그리고 출처의 투명성 등의 이유로 기업의 LLM 활용에는 제한이 생겼습니다.
기업용 LLM 챗봇은, 범용 LLM ‘ChatGPT’ 처럼 단순히 그럴싸한 (하지만 사실일 가능성은 전혀 보장되지 않는) 답변을 생성하는 것이 아니라, 기업의 데이터와 목적에 맞는 정확하고 신뢰할 수 있는 정보를 제공해야 합니다.
이러한 문제들을 해결하기 위한 방법으로 Retrieval-Augmented Generation(RAG; 검색 증강 생성)이 주목받고 있습니다. RAG는 검색에서 시작하여 생성으로 이어지는 프로세스인데요. 기본적인 작동 방식은 아래와 같습니다:
사용자가 질문을 한다 → RAG는 사용자가 직접 업로드한 문서 또는 데이터베이스에서 검색을 한다 → LLM이 답변을 생성한다. (LLM이 답변을 생성하기 전, RAG가 답변의 정확도와 최신성을 위해 데이터베이스에서 검색을 한 번 돌리는 셈이죠.)
한 마디로, RAG는 다음과 같이 표현할 수 있겠습니다 : LLM + 최신성 + 전문성 + 객관성 = RAG
이번 블로그 글에서는, 기업이 LLM에 RAG를 통합한 챗봇을 도입한 후 얻을 수 있는 이점과, RAG를 잘 활용하는 방법을 실제 사례와 함께 살펴보겠습니다:
📖 목차
• 200건이 넘는 기업 문서, RAG로 빠르게 업데이트 하기
• 할루시네이션 현상, RAG로 최소화하기
• 다양한 질문 유형, RAG로 더 정확하게 식별하기
💡 200건이 넘는 기업 문서, RAG로 빠르게 업데이트하기
→ 한 줄 요약 : KB국민카드는 명확한 목표와 요구사항을 사전에 뾰족하게 설정해 RAG를 성공적으로 활용했습니다.
KB국민카드는 고객에게 최신의 이벤트 정보를 빠르고 정확하게 제공하는 것을 목표로 설정했습니다. 이 목표를 달성하기 위해, KB국민카드는 LLM에 RAG를 통합한 챗봇 솔루션 ‘BELLA QNA’를 도입했는데요.
KB국민카드는 200건이 넘는 방대한 양의 원시 이벤트 정보를 데이터베이스에 간편하게 업데이트하였고, RAG를 통해 수많은 이벤트 정보를 신속하게 검색하여 고객에게 정확한 이벤트 정보를 챗봇을 통해 실시간으로 제공하는 데 성공했습니다.
KB국민카드가 RAG를 성공적으로 활용할 수 있었던 이유는 간단합니다. 명확한 목표와 요구사항을 사전에 잘 설정했기 때문이었죠.
KB국민카드는 매일같이 변경되고, 동시에 수백 건에 달하는 이벤트 문서를 관리해야 하는 운영 부담을 뾰족하게 지목했기 때문에 이러한 문제를 해결할 수 있는 BELLA QNA를 지체 없이 도입할 수 있었습니다.
반면 챗봇 도입에 관심을 표하면서도 구체적인 목표를 설정하지 않는 경우, 챗봇을 설계할 때 룰 기반 방식을 사용해야 할지, 아니면 LLM(Large Language Model)을 활용해야 할지 결정하기 어려워집니다.
프로젝트 초기 단계에서 기업의 구체적인 요구사항이 명확하지 않은 경우는 흔한 사례입니다. 그러나 LLM을 효과적으로 도입하고 활용하기 위해서는, KB국민카드 사례처럼 프로젝트의 방향성을 명확히 하고 기업이 원하는 요구와 목표를 미리 정의하는 것이 중요합니다.
💡 거짓 정보를 사실처럼 말하는 ‘할루시네이션’ 현상, RAG로 최소화하기
→ 한 줄 요약 : A 언론사는 질 좋은 소스 콘텐츠로 답변의 퀄리티를 높였습니다.
A언론사 또한 ‘BELLA QNA’를 자사 웹사이트에 도입, 구독자 층을 확대하고 온라인 뉴스의 가시성 및 수명을 연장하는 것을 목표로 설정했습니다. LLM이 때때로 정확하지 않거나 현실과 동떨어진 정보를 제멋대로 만들어내는 '할루시네이션' 현상을 최소화하는 것이 가장 중요했죠.
A언론사는 답변의 정확성을 최우선 과제로 삼고, RAG를 활용해 데이터베이스에 업데이트한 많은 보도 기사를 기반으로 LLM이 검증된 출처의 답변을 생성하게 했는데요. 이 과정에서 할루시네이션 현상을 효과적으로 줄이고, 답변의 퀄리티도 높일 수 있었습니다.
이처럼 RAG를 통해 답변의 퀄리티를 높일 수 있었던 이유는, A언론사가 잘 정제된 보도 기사를 소스 콘텐츠로 활용했기 때문입니다.
소스 콘텐츠는 RAG가 데이터베이스에서 검색할 때 참조하는 데이터로, 질문과의 연관성이 얼마나 강하냐에 따라 가장 유력한 답을 찾아낼 수 있도록 구조화되어 있는데요.
소스 콘텐츠의 질이 높을수록 챗봇은 더 정확하고 유익한 답변을 제공할 수 있습니다. 반대로 소스 콘텐츠의 품질이 낮으면, 그 결과로 생성되는 챗봇의 답변도 기대에 못 미칠 가능성이 높습니다. 예를 들어, 기자와 같은 전문가들이 작성한, 정보의 정확성과 의미를 분명히 전달하는 고품질 문장들로 구성된 소스 콘텐츠는 챗봇 답변의 품질을 상당히 향상시킬 수 있죠.
따라서, 기업이 LLM 기반 챗봇의 장점을 최대한 활용하고자 한다면, A언론사처럼 고품질의 소스 콘텐츠를 활용할수록 더 좋은 답변을 기대할 수 있습니다.
💡 다양한 질문 유형, RAG로 더 정확하게 식별하기
→ 한 줄 요약: Extra data를 활용해 두 가지 시나리오도 처리할 수 있습니다.
기업용 챗봇을 기획할 때, 대부분 한 가지 주요 시나리오에 초점을 맞추는 것이 일반적입니다. 이는 챗봇이 제공하는 답변의 정확도와 효율성을 최대화하기 위함입니다. 예를 들어, 고객 서비스 챗봇은 주로 고객 문의에 응답하는 데 특화되어 있고, 쇼핑 어시스턴트 챗봇은 제품 추천과 구매 과정을 돕는 데 중점을 둡니다.반면, A언론사는 챗봇이 'A언론사 관련 질의'와 '기사 관련 질의' 두 가지 유형의 질문을 모두 처리할 수 있도록 요구했습니다.
이를 실현하기 위해, 스켈터랩스는 extra data(일명 꼬리표)와 RAG를 활용했습니다.
우선 사용자가 질문을 제출했을 때 RAG가 적절한 소스 콘텐츠에서 검색할 수 있도록, 'A언론사 관련 소스 콘텐츠'에는 "A언론사" extra data를, '기사 관련 소스 콘텐츠'에는 "보도자료" extra data를 지정해 구분하였습니다.
이러한 과정을 통해 RAG는 extra data를 검토하여 질문이 A언론사의 정보에 관한 것인지, 아니면 특정 기사의 내용에 관한 것인지를 정확히 판단할 수 있었고, 가장 적절한 소스 콘텐츠를 찾아 LLM이 사용자 질문에 맞는 답변을 생성하도록 했습니다.
💡 마치며
이렇듯 KB국민카드와 A언론사의 사례를 통해 볼 때, LLM과 RAG를 통합한 챗봇의 도입은 비즈니스에 혁신을 가져올 큰 잠재력을 가지고 있지만, 이를 성공적으로 구현하기 위해서는 여러 중요한 요소가 필요합니다:
- 기업은 챗봇을 도입하며 달성하고자 하는 목표를 분명히 해야 합니다.
- 답변의 퀄리티를 높이기 위해서는 고품질의 소스 콘텐츠를 활용할수록 유리합니다.
- 기술이 가진 본래의 힘에 의존하기보다는, 상황에 따라 기술을 다양하게 응용할 수 있는 기획력과 유연성도 중요합니다.
물론, 이러한 모든 과정은 RAG 모델을 기업 환경에 맞춰 적용하는 경험이 풍부한 전문가들과 협력할 때 훨씬 수월하고 간결해질 것입니다.
LLM, RAG와 같은 신기술이 진정한 빛을 발하게 하는 열쇠는, 사람들 간의 긴밀한 협업일지도 모르겠습니다.