AI 기반 문서 검토 자동화 실제 사례

AI 없이는 혁신을 논하기 어려운 시대입니다.

그만큼 다양한 산업에서 AI 기술은 미래 성장의 핵심 동력으로 평가받으며, 산업 경쟁력을 한층 높이는 중요한 기반으로 주목받고 있는데요.

건설 산업의 분위기도 다르지 않습니다.

건설업은 특성상 수많은 문서를 신속하고 정확하게 검토해야 하는 과제를 안고 있습니다. 견적서, 발주서와 같은 주요 문서는 프로젝트 진행에 필수적이지만, 다양한 형식과 비정형 데이터를 포함하고 있어 사람이 직접 검토하는 데 많은 시간이 소요되는데요.

이에 국내 대표 A 건설사는 이러한 비효율성을 해결하기 위해 AI 기반 문서 검토 자동화를 목표로 스켈터랩스와 AI 문서 분석 프로젝트를 진행하였습니다.

‍

기존 방식의 문제점과 AI 도입 필요성

기존 문서 검토 방식에서 가장 큰 문제점은 두 가지였습니다:
‍

문서 양식의 다양성: 해당 건설사는 다수의 협력사와 협업하며 각기 다른 양식을 가진 문서를 받아왔습니다. 표와 이미지가 혼합된 문서나, 특정 프로그램에서 생성된 문서들은 기존 OCR 방식으로 분석하기 어려웠죠. 문서 분석과 데이터 추출에 최대 1-2개월까지 소요되는 경우도 있었습니다.
‍
휴먼 에러: 사람이 직접 데이터를 추출하는 과정에서 오류가 발생할 가능성이 높았습니다. 수작업으로 검토해야 하므로 시간이 많이 소요되었으며, 데이터 품질의 일관성을 유지하기도 어려웠습니다.
‍

이러한 문제를 해결하기 위해, 스켈터랩스는 LLM과 멀티모달 기술을 활용해 다양한 형식의 문서에서 데이터를 정확하게 추출하는 것을 목표로 삼고 AI 솔루션을 개발했습니다.

‍

발견된 문제점 및 해결 방안

프로젝트 시작 단계에서 문서를 분석한 결과, 예상보다 복잡한 구조의 문서들이 많았습니다. 이러한 문서들은 기존 OCR 기반 방식으로만은 효과적으로 처리하기 어려운 경우가 많았지만, AI 기술을 적용함으로써 해결할 수 있는 가능성을 확인했습니다.
‍

AI 기반 문서 분석 솔루션 구현 과정

이번 프로젝트의 핵심 목표는 문서 내 핵심 정보를 얼마나 정확하게 추출할 수 있는지 검증하는 것이었습니다.

이를 위해 고객사가 제공한 약 180여 개의 문서를 대상으로, 각 문서에서 80여 개의 엔티티(entity)를 추출하는 것을 구체적인 목표로 설정하고, 세 가지 핵심 기술 요소로 구성된 아키텍처를 설계했습니다:

📍 데이터 변환

기존 방식에서는 PDF 파서를 사용해 텍스트를 추출하는 것이 일반적이었습니다.

그러나 이번 프로젝트에서는 고객사마다 다른 규격의 PDF 문서를 처리해야 했기 때문에, PDF를 이미지로 변환하여 멀티모달 모델로 분석하는 아래와 같은 방식을 병행했습니다.
‍

Python의 pdf2image 패키지를 활용하여 PDF를 이미지로 변환
텍스트 기반 분석(PDF Parser)과 이미지 기반 분석(OCR) 병행

이러한 방식을 통해, 기존 OCR만으로는 처리하기 어려웠던 표, 도형 삽입 텍스트, 복합 구조 문서 등의 문제를 해결할 수 있었습니다.

📍 프롬프트 엔지니어링

LLM 모델을 효과적으로 활용하기 위해서, 아래와 같은 프롬프트 엔지니어링 최적화 전략이 적용되었습니다:
‍

각 문서 섹션별 엔티티 정보 제공 → 문맥을 반영한 정확한 추출 가능
엔티티 추출을 위한 단계별 프롬프트 설계 → 다단계 접근 방식을 통한 성능 향상
데이터 타입과 형식에 맞춘 추출 지침 제공 → 유사 엔티티 간 혼동 방지
프롬프트와 추출 결과 간 반복 학습(Iteration) 적용 → 성능 지속적 개선

또한, 보다 정교한 추출을 위해 다양한 프롬프트 기법을 병행하여 활용하기도 했는데요:
‍

문서 반복 제공: 문서를 한 번만 제공하는 것이 아니라, 여러 번 참조할 수 있도록 하여 모델이 지속적으로 정보를 학습할 수 있도록 설계함
Multi-turn 대화 방식 적용: 엔티티 추출을 한 번에 완료하는 것이 아니라, 단계별로 답변을 생성하고 수정하는 다중 턴(Multi-turn) 방식을 활용하여 정확도를 높임
동의어/유의어 태깅: 같은 의미를 가지지만 다르게 표현되는 용어들을 LLM이 인식할 수 있도록 학습을 유도함. 예를 들어, 업계에서 동일한 개념을 가리키는 다양한 표현(예: ‘클라이언트’와 ‘고객’, 특정 기술 용어의 약어와 풀네임 등)을 연결하여 문맥을 더 잘 이해할 수 있도록 설계함
단위 정보 활용: 온도와 같은 수치형 데이터를 처리할 때, ‘°C’, ‘°F’ 등 일반적으로 사용되는 단위를 함께 제공하여 모델이 맥락을 더 잘 이해할 수 있도록 함

위와 같은 전략들을 통해 LLM이 문서 내 정보를 보다 정확하게 분석하고, 기존 OCR이나 단순 텍스트 파싱보다 높은 정확도로 엔티티를 추출할 수 있도록 설계하였습니다.

📍 LLM API 활용

마지막으로 문서 내 복잡한 데이터를 보다 정밀하게 추출하기 위해, LLM API를 두 단계로 나누어 활용했습니다.
‍

Step 1: 엔티티가 포함된 영역(span) 식별
- PDF에서 텍스트 및 이미지 기반 데이터를 추출
- 문서 내 엔티티가 포함된 주요 영역(span)을 식별
Step 2: 엔티티 정제 및 가공
- Step 1에서 추출한 엔티티 span을 분석
- 타입 정보 등을 활용하여 최종 엔티티를 추출하고 정제

이렇게 기존 OCR 방식보다 높은 정확도로 엔티티를 추출할 수 있었으며, 실무에서 활용 가능한 수준으로 자동화 프로세스를 구축할 수 있었습니다.

‍

성능 검증 및 결과

AI 기반 문서 분석의 정확도를 평가하기 위해 '추출 정확도'를 주요 성능 지표로 설정하였습니다.

문서 내 두 가지 주요 엔티티 그룹을 대상으로 성능 개선 과정을 진행했으며, 초기 57.62%에서 최종 90.92%까지 성능을 향상시켰습니다.
‍

1️⃣ 초기 모델 평가

기본 프롬프트만 사용한 상태에서 57.62%의 추출 정확도를 기록하였습니다.
‍

2️⃣ 데이터 변환 및 클렌징 적용

문서 내 구조를 정리하고, 불완전한 데이터를 정제한 결과 84.83%까지 성능이 향상되었습니다.
- 비정형 데이터를 정리하고 노이즈 제거 → AI가 보다 신뢰할 수 있는 데이터를 학습하도록 개선
- PDF 내 표, 이미지 데이터 변환 → 분석 가능한 형태로 처리하여 AI가 문서를 더 정확하게 이해할 수 있도록 지원
  ‍

3️⃣ 프롬프트 엔지니어링 + LLM API 활용

AI가 문서의 문맥을 보다 깊이 이해할 수 있도록 프롬프트 최적화와 LLM API를 활용한 다중 패스(Multi-pass) 접근 방식을 적용하여 최종 90.92%의 정확도를 달성했습니다.
- 프롬프트 설계 개선 → 각 데이터 항목의 의미를 명확하게 구분하여 AI의 해석력 향상
- 멀티턴(Multi-turn) 방식 도입 → 단계별 추출 방식으로 복잡한 질의를 보다 정교하게 처리
- LLM API 최적화 → 문서 구조에 맞춘 데이터 추출 방식을 적용하여 보다 높은 정확도 달성

‍

AI가 문서 검토를 효율적으로 바꿉니다.

수많은 문서를 하나하나 검토하는 데 걸리는 시간. 비효율적이라고 생각하면서도, 달리 방법이 없었습니다.

하지만 이제는 다릅니다.

✔ 검토 시간 절감 → 기존 대비 속도 향상
✔ 데이터 정확도 증가 → 90% 이상의 정밀한 추출 성능
✔ 업무 효율 극대화 → 반복 작업은 AI에게, 전문가들은 더 중요한 의사결정에 집중

AI가 문서를 읽고, 분석하고, 필요한 데이터를 정확하게 찾아주죠. 1~2개월 걸리던 검토 작업이 단 며칠로 단축됩니다. 사람이 직접 하면 피할 수 없는 오류도 크게 줄어듭니다.

이제 문서 검토는 단순한 자동화를 넘어, AI 기반 데이터 분석이 업무 프로세스를 혁신하는 핵심 도구로 자리 잡고 있습니다.

‍

AI를 건설업에만 적용할 수 있을까요? 그렇지 않습니다.

법률, 금융, 의료, 제조업까지—문서가 핵심인 모든 산업에서 AI는 이미 변화를 만들어가고 있습니다.

계약 검토, 공정 관리, 안전 매뉴얼 작성. 인간의 판단이 필요한 업무를 제외하면, 대부분의 문서 작업은 AI가 더 빠르고, 더 정확하게 처리할 수 있습니다.

AI는 단순한 트렌드가 아닙니다.

비즈니스 경쟁력을 높이고, 업무 효율을 극대화하는 실질적인 도구입니다. 더 나아가, 전문가의 의사결정을 지원하며 기업의 경쟁력을 강화하는 전략적 자산으로 진화하고 있습니다.

스켈터랩스는 증명했습니다.

이번 프로젝트는 건설업에서 AI의 잠재력을 확인한 첫걸음에 불과합니다. 90% 이상의 추출 정확도와 획기적인 시간 단축 또한 AI가 비즈니스에 가져올 변화의 예고편일 뿐입니다.

이제, AI가 기업의 생산성과 성장에 어떤 가치를 더할 수 있는지 직접 경험해보세요.

‍

_{References
황귀윤 PM, 소병훈 NLP 엔지니어}