[임베딩 모델 비교 검증] 한국어 ESG 뉴스 분석을 위한 AI 임베딩 모델 선정

[chaehun0i]

검토안

수집한 뉴스 기사 데이터(총 894개 덩어리)를 자동으로 분류하기 위해 두 AI 모델을 비교 검증함.

애초에 처음부터 모든 ESG 미디어 데이터를 우리 목적에 맞게 직접 학습시키는 파이프라인을 구축한다는 관점에서 어떤 모델 구조를 기본 뼈대로 삼아야 하는지 검토함.

• 문제1 (낮은 분류 일치율): 두 모델을 비교한 결과, 같은 뉴스를 보고 똑같이 판단한 비율은 25.84%(231개)에 불과함. 무려 74.16%(663개)의 뉴스에서 두 모델의 의견이 완전히 갈리기 때문에, 우리 데이터로 처음부터 학습을 시작할 때 베이스가 되는 기초 모델 구조 선택이 매우 중요함.
• 문제2 (모호한 판단과 인프라 비용): 글로벌 모델 구조(BGE-M3)는 한국어 뉴스 특유의 문맥을 읽을 때 정답과 오답 후보 간의 점수를 아슬아슬하게 출력하여 분류가 모호함. 또한 저장 용량이 커서 향후 대량의 뉴스를 누적하여 처음부터 다시 학습시키고 유지할 때 서버 인프라 비용과 컴퓨터 연산 시간이 늘어나는 한계가 식별됨.

---

최종 결정

실제 테스트 데이터와 검증 스크립트 실행 결과를 바탕으로, 향후 ESG 미디어 데이터 자체 학습 파이프라인을 구축할 때 기초 뼈대가 될 베이스 모델로 KR-SBERT 구조를 최종 선택함.

결정 근거 (실제 데이터 검증 수치)

1. 정량적 매칭 및 불일치 확인

• 총 비교 뉴스 청크 수: 894개
• 두 모델의 의견 일치: 25.84% (231개)
• 두 모델의 의견 불일치 (판단 갈림): 74.16% (663개)
• 시사점: 74.2%에 달하는 판단 불일치는 글로벌 범용 구조보다 한국어 미디어 문맥에 특화된 구조를 가져와서 학습시켜야만 우리 프로젝트 목적에 맞는 정확한 결과가 나온다는 정량적 증거임.

2. 확실한 판단 능력 (Top-2 점수 격차)

• BGE-M3 평균 점수 격차: 0.0248
• KR-SBERT 평균 점수 격차: 0.0310 (0.0062 점 더 우세)
• 시사점: 1등 정답과 2등 오답 사이의 점수 차이를 KR-SBERT 구조가 훨씬 더 넓게 벌려줌. 처음부터 직접 학습을 시키더라도 오답 후보와 정답을 명확하게 구분해 내는 기초 판단 능력이 이 구조에서 훨씬 우수하게 작동함.

3. 누적 학습 및 스토리지 다이어트 (27.0% 비용 절감)

• BGE-M3 결과 파일 용량: 20.96 MB (1024차원)
• KR-SBERT 결과 파일 용량: 15.30 MB (768차원)
• 저장 용량 절감 효율: 27.0% 절감 완료
• 시사점: 매일 쏟아지는 ESG 미디어 데이터를 긁어모아 처음부터 다 학습시키고 데이터베이스에 쌓을 때, KR-SBERT 구조는 공간을 27%나 덜 차지함. 데이터가 수만, 수십만 건으로 쌓일수록 서버 인프라 유지 비용과 컴퓨터 연산 속도를 효율적으로 아낄 수 있음.

---

영향 범위

• 백엔드 (BE): 처음부터 시작하는 자체 학습 및 데이터베이스 구조를 큰 용량(1024차원) 대신 가볍고 빠른 768차원 벡터 구조로 설계 단일화. 대규모 뉴스 데이터를 학습시키는 파이프라인 연산 속도 향상.

---

결정일

• 2026-05-18

[sooah-0208]

확인했습니다.
상단에 모델명 기재 부탁드립니다. @chaehun0i