모델 선정 및 아키텍처 분석 관련 문서화

[chaehun0i]

ESG AI 시스템 — 모델 선정 및 아키텍처 분석

벤치마크 실측 데이터 기반 — 8개 모델 × 5개 섹션 직접 실행 결과

---

1. 모델 벤치마크 전체 수치

모델	응답시간	VRAM	문단길이(원시)	문단길이(정제)	수치 무결성	수치 환각률	CPS
llama3.2:3b	3.05s	2.5GB	178자	~148자	17.3%	82.7%	57.24
gemma2:2b	6.85s	—	456자	~278자	51.6%	48.4%	71.06
gemma3:4b	17.05s	3.2GB	854자	~360자	89.8%	10.2%	52.82
qwen2:7b	15.85s	—	649자	~390자	92.8%	7.2%	44.72
qwen3:8b	33.81s	5.8GB	340자	~323자	93.3%	6.7%	10.88
qwen3:14b	160.61s	3.2GB	404자	~366자	86.6%	13.4%	2.63
gemma4:e4b	56.95s	3.2GB	948자	~484자	90.0%	15.2%	21.44
mistral-nemo:12b	30.77s	—	432자	~378자	79.4%	20.6%	16.82

문단길이(원시): report 필드 전체 길이 / 문단길이(정제): 이전 실행 기준 실측값 (노이즈 제거 후)
수치 무결성: 입력 KPI 수치가 생성 결과에 유지된 비율 (avg_value_integrity)
수치 환각률: 생성 수치 중 환각으로 탐지된 비율 (avg_numeric_hallucination_rate) — 수치 무결성과 합산 시 100%

모델별 노이즈 패턴 (원시 vs 정제 차이 원인)

모델	노이즈 패턴	평균 노이즈 길이
llama3.2:3b	노이즈 없음 — 단순 짧음	~17자
gemma2:2b	영문 **Explanation:** 블록	~553자
gemma3:4b	## 초안 헤더 + **컨설턴트 추가 설명** 섹션	~481자
qwen2:7b	[ESG REPORT] 태그 + [REFERENCE INSIGHTS] 푸터	~183자
qwen3:8b	**ESG STRATEGY** 헤더	~35자
qwen3:14b	**섹션 제목** 헤더	~28자
gemma4:e4b	**[작성된 문단]** 이후 ---\n**[컨설팅 코멘트]** 섹션	~675자
mistral-nemo:12b	**제목** 헤더 + *참고:* 주석	~42자

gemma4:e4b의 원시 1,159자는 컨설팅 코멘트(전략 분석, 작성 의도 설명) 포함 수치
실제 ESG 보고서 문단은 ~484자로, 정제 기준으로도 전체 모델 중 최장

---

2. 모델 선정 기준 및 결론

기준별 최상위 모델

기준	최상위 모델	수치	한계
수치 정확도	qwen3:8b	무결성 93.3% / 환각률 6.7%	VRAM 5.8GB + CPS 10.88 — 자원 비효율
생성 속도	llama3.2:3b	3.05s / 57.24 CPS	무결성 17.3% / 환각률 82.7% — 탈락
문단 품질	gemma4:e4b	정제 ~484자 + ESG 보고서 문체 적합성 우수 (정성 평가)	수치 환각률 15.2%

탈락 모델 사유

모델	탈락 사유
llama3.2:3b	수치 무결성 17.3% / 환각률 82.7% + 타 회사명 출력 (HL만도 섹션 2)
gemma2:2b	수치 무결성 51.6% / 환각률 48.4% + 타 회사명 출력 (Hanon Systems 섹션 3)
gemma3:4b	환각률 10.2% + 타 회사명 출력 (HL만도 섹션 5, Hanon Systems 섹션 3)
qwen3:8b	VRAM 5.8GB + CPS 10.88 — 자원 대비 효율 낮음
qwen3:14b	응답시간 160.61초, CPS 2.63 — 실서비스 불가 + 타 회사명 출력 (Hanon Systems 섹션 3)
mistral-nemo:12b	수치 무결성 79.4% + 타 회사명 출력 (Hanon Systems 섹션 3)

최종 선정

메인: gemma4:e4b

• 문단 품질 전체 1위 (정제 기준 ~484자, 원시 1,159자는 컨설팅 코멘트 포함)
• ESG 격식체 유지, 회사명 임의 출력 없음 (정성 검증)
• 수치 환각률 15.2% → 백엔드 Validator 도입으로 보완 예정

서브: qwen2:7b

• 수치보존율 96.0% (전체 1위)
• gemma4 리소스 병목 시 대안
• 응답시간 14.69s (gemma4 대비 4배 빠름)

메인·서브 모델 상세 비교

구분	gemma4:e4b	qwen2:7b
수치 무결성	90.0%	92.8%
수치 환각률	15.2%	7.2%
응답시간	56.95s	15.85s
정제 문단 길이	~484자	~390자
ESG 격식체 품질	상	중상
회사명 정합성	우수	주의 (HL만도·Hanon Systems 출력 사례)
역할	메인 생성 모델	백업 모델

모델 선정은 수치 정확도 단일 기준이 아닌 ① ESG 보고서 문체 품질 ② 수치 정확성 ③ 응답 속도 ④ 로컬 운영 가능성을 종합 평가하여 결정하였다.
qwen2:7b의 수치 무결성이 더 높지만, 문체 품질과 회사명 정합성(타 회사명 출력 사례)에서 gemma4:e4b에 미치지 못하여 서브로 지정하였다.

---

3. 현재 아키텍처

처리 흐름

[요청]  companyId, year, materialityRunId
         ↓
[KPI 조회]  ESG_KPI_FACT (MariaDB)
            + ESG_GROUP_ROLLUP_RESULT (연결 기준 fallback)
         ↓
[템플릿 치환]  5개 고정 템플릿에 KPI 수치 치환
              → filledText (완성형 KPI 문장) 생성
         ↓
[SR 검색]  pgvector 코사인 유사도 + jsonb 태그 필터
           이슈명 + 이슈ID 텍스트 기반
           → 조건 매칭 전체 반환 (SQL LIMIT 없음)
         ↓
[컨텍스트 압축]  rows[:5] 슬라이싱 → 각 80자 잘라냄  ← 병목
                → 키워드 스타일 가이드로 변환
         ↓
[LLM 생성]  gemma4:e4b 단일 호출
            system + filledText + 압축 컨텍스트
            (검색해석 + KPI분석 + 문단생성 동시 처리)
         ↓
[저장]  saveSection() + saveMetricTrace()
         ↓
[반복]  5개 섹션 순차 반복

현재 구조 정량 현황

항목	수치
지원 이슈 수	5개 고정
RAG 컨텍스트 총 길이	400자 (80자 × 5건)
5섹션 LLM 응답시간 합산	약 285초 (56.95s × 5, DB 조회·벡터검색·저장 제외)
수치 무결성	90.0%
수치 환각률	15.2%
템플릿 준수율	100%
Validator	없음

---

4. 고도화 — 추가되는 요소

현재 구조에서 무엇이 추가되는가

추가 요소	위치	사용 기술 / 기능
전처리 계산 계층	KPI 조회 직후	Python 계산 로직 (증감률, 비율, 추세)
동적 템플릿 선택	템플릿 치환 전	62개 템플릿 DB 또는 코드 매핑
복합 SR 검색	SR 검색 단계	이슈 + 산업군 + KPI 유형 복합 필터
구조화 컨텍스트	컨텍스트 압축 단계	500자 × 10건, 문장 단위 구조화
Validator	LLM 생성 직후	원본 수치 일치 검증 + 자동 Retry

각 추가 요소 상세

① 전처리 계산 계층

현재: filledText에 단일 수치만 포함
       → LLM이 감축률·증감률 해석 시도 (오류 가능)

향후: filledText 생성 전 사전 계산
       예) 2024 배출량 80t / 2023 배출량 100t
           → 감축률 20.0%, 감축량 20t 자동 계산 후 주입

② 동적 템플릿 선택 (5 → 62개)

현재: REPORT_TEMPLATES 리스트에 5개 하드코딩
       → 설문 상위 이슈가 바뀌면 대응 불가

향후: 62개 서브이슈 각각에 템플릿 구축
       → 어떤 설문 결과가 나와도 즉시 매핑 가능
       (장기) 서브이슈 코드 + KPI만으로 동적 생성 (템플릿 불필요)

③ 구조화 컨텍스트

현재: compressSrContext() → text[:80] 잘라냄
       → 키워드 나열 (감축, 증가, 확대...)

향후: 이슈·산업군 복합 필터 적용
       → 500자 × 10건 문장 단위 컨텍스트 (최적 길이는 실험 후 조정)
       → 업종별 표현 방식 반영 가능
       ※ 컨텍스트가 길수록 품질이 오르는 게 아님 — 노이즈 증가·중요 정보 희석 가능성 존재

④ Validator

현재: validateReport() → 이모지/보충 유니코드 문자 제거만 ([\U00010000-\U0010ffff])
              수치 검증 없음, ASCII 제어문자 처리 없음

향후: 원본 filledText 수치 추출
       → 생성 결과 수치와 대조
       → 불일치 감지 시 자동 Retry (최대 3회)
       → 3회 후에도 실패 시 수동 검토 플래그

---

5. 고도화 최종 아키텍처 예상도

                          Supervisor
                               │
        ┌──────────────────────┼──────────────────────┐
        ▼                      ▼                      ▼
  Retrieval Agent      Benchmark Agent        Validation Agent
                               │
        └──────────────────────┴──────────────────────┘
                               ▼
                 Data Interpretation Agent
                               │
                ┌──────────────┼──────────────┐
                ▼              ▼              ▼
      Pre-Handoff Gate   Writing Agent   Post-Validation Gate
                │              │              │
                └──────────────┼──────────────┘
                               ▼
                    Final Human Handoff (★ MAIN)
                               │
                ┌──────────────┼──────────────┐
                ▼              ▼              ▼
           Approve         Edit / Patch     Reject / Retry
                               │
                               ▼
                     Finalization Layer
                               │
                       SR Output Generator

구조 의미 (Revised: Gate 기반 DAG Multi-Agent)

Supervisor (Orchestrator)

• 전체 워크플로우 DAG 제어

• Agent 실행 순서 및 조건 분기 관리

• 실패 시 retry / fallback 정책 결정

• Pre-Handoff / Post-Validation / Final Handoff 게이트 상태 관리

---

Retrieval Agent

• KPI / SR / 벡터 DB 검색 수행

• 이슈별 컨텍스트 구성

• 산업군 / 태그 기반 정보 필터링

• Writing Agent 입력용 structured context 생성

---

Benchmark Agent

• 산업 보고서 패턴 분석

• 문체 스타일 및 ESG 서술 기준 제공

• 유사 보고서 기반 reference signal 생성

• KPI 해석 보조 기준 제공 (정량 비교 baseline)

---

Validation Agent

• KPI 수치 정합성 검증 (source vs generated)

• hallucination / out-of-distribution detection

• 구조적 오류 탐지 (missing metric / mismatch)

• retry trigger 생성 (Supervisor로 전달)

---

Data Interpretation Agent

• 증감률 / 달성률 / CAGR / 추세 분석 수행

• KPI raw → derived metrics 변환

• Writing Agent용 “해석된 수치 레이어” 생성

• Pre-Handoff Gate 이전 핵심 계산 계층

---

Compliance Agent (optional extension)

• GRI / ESRS / ISSB 기준 매핑

• 누락 공시 요소 탐지

• ESG 규제 기준 충족 여부 평가

• Post-Validation Gate 단계에서 작동 가능

---

Writing Agent

• ESG 문단 생성 (Narrative generation only)

• KPI 해석 + Benchmark + Retrieval context 기반 서술

• 계산 / 검증 로직 없음 (pure generation layer)

• 구조적으로 “final content producer”

---

Human-in-the-Loop Gate 구조 (핵심 추가)

Pre-Handoff Gate

• Data Interpretation 이후 위치

• Writing Agent 입력 전 검증 지점

• KPI 계산 오류 / 구조 누락 차단

---

Post-Validation Gate

• Writing + Validation Agent 이후

• AI 내부 검증 완료 상태 확인

• hallucination / numeric mismatch 필터링

• Human Review 전 최종 AI 통제 단계

---

Human Review (Final Handoff)

• 최종 승인 / 수정 / 재생성 결정

• Audit 대응 책임 지점

• ESG 보고서 최종 법적/공시적 확정 단계

• Edit 시 부분 재진입 또는 Agent 재실행 트리거

---

구조적 특징 (Rewritten)

• 기존 “단일 LLM 처리 구조” → DAG 기반 Multi-Agent + Control Gate 시스템으로 전환

• Retrieval / Interpretation / Generation / Validation이 완전히 분리된 execution layer로 동작

• Writing Agent는 “서술 전용 엔진”으로 역할 축소 (no computation, no validation)

• Supervisor가 전체 DAG 실행 흐름과 게이트 상태를 제어

• Human Review가 단일 단계가 아닌 Pre / Post / Final 3-tier control system으로 분산 배치

---

핵심 구조 변화 요약

• LLM 중심 구조 → Agent 분리 구조

• Linear pipeline → DAG execution graph

• Single human review → Multi-stage human control gates

• Implicit validation → explicit Validation Agent + human override layer

• Generation 중심 시스템 → Controlled ESG production system

---

6. AI 고도화 로드맵

AI 아키텍처 진화 단계

현재 시스템은 단일 Writer LLM이 검색, KPI 해석, 벤치마킹, 문단 생성까지 수행하는 Single-Agent 구조이다.

향후에는 역할 분리를 통해 ESG 보고서 생성 품질과 신뢰성을 향상시키는 Multi-Agent 구조로 발전시키고자 한다.

단계별 AI 아키텍처

단계	구조	주요 특징
현재 (MVP)	Single Writer LLM	검색·해석·생성·검증을 하나의 모델이 수행
중기	Supervisor + Multi-Agent	Retrieval, Benchmark, Writing, Validation 역할 분리
장기	ESG AI Copilot	Materiality, Compliance, Review Agent 추가

---

현재 구조

Writer LLM
├ Retrieval
├ Benchmark
├ KPI 해석
├ 문단 생성
└ 자체 검증

한계

• 역할 집중으로 인한 품질 편차
• 오류 원인 추적 어려움
• 벤치마킹 품질 통제 한계
• Hallucination 대응 한계

---

중기 구조

Supervisor
├ Retrieval Agent
├ Benchmark Agent
├ Data Interpretation Agent
├ Writing Agent
└ Validation Agent
        ↓
Human Review

Retrieval Agent

• Fact 조회
• Evidence 조회
• 컨텍스트 구성

Benchmark Agent

• 동종 업계 보고서 분석
• 공시 패턴 분석
• 우수 사례 추출
• 산업별 문체 분석

Data Interpretation Agent

• 증감률 계산
• 달성률 계산
• 추세 분석
• KPI 해석

Writing Agent

• ESG 문단 생성
• Narrative 구성

Validation Agent

• Fact Validation
• Evidence Validation
• Numeric Validation
• Citation Validation
• Hallucination Detection

---

장기 구조

Supervisor
├ Materiality Agent
├ Retrieval Agent
├ Benchmark Agent
├ Compliance Agent
├ Data Interpretation Agent
├ Writing Agent
├ Validation Agent
└ Review Agent

Materiality Agent

• DMA 결과 분석
• 산업 트렌드 반영
• 중요 이슈 추천

Compliance Agent

• GRI 검토
• ESRS 검토
• ISSB 검토
• 누락 공시 탐지

Review Agent

• 중복 표현 제거
• 문체 통일
• 논리 흐름 검토
• 장 간 일관성 검토

---

7. AI 고도화 기대효과

구조 변화

항목	현재	중기	장기
AI 구조	Single LLM	Multi-Agent	ESG Copilot
Retrieval	Writer 내부 처리	Retrieval Agent	Retrieval Agent
Benchmark	단순 RAG 참고	Benchmark Agent	Benchmark Agent
KPI 해석	Writer 수행	Data Interpretation Agent	전문 Agent
Validation	제한적	Validation Agent	Validation Agent
Compliance 검토	없음	없음	Compliance Agent
DMA 지원	없음	없음	Materiality Agent

---

기대 효과

항목	현재	중기 목표	장기 목표
수치 무결성	90.0%	95~97%	98%+
수치 환각률	15.2%	5~8%	2% 이하
오류 추적성	낮음	높음	매우 높음
Hallucination 대응	제한적	자동 검증	자동 검증 + 규제 검증
벤치마킹 품질	단순 참고	산업별 분석	지능형 벤치마킹
DMA 지원	없음	없음	AI 기반 의사결정 지원

---

최종 비전

현재 시스템은 ESG 보고서 초안 생성을 지원하는 RAG 기반 Writer 단계이다.
장기적으로는 ESG 데이터 분석, 중대성 평가, 공시 기준 검토, 보고서 작성 지원까지 수행하는 ESG AI Copilot으로 발전하는 것을 목표로 한다.

현재

RAG ESG Report Writer

↓
중기
Multi-Agent ESG Copilot
↓
장기
DMA Copilot
+
Report Generation Copilot
↓
최종
ESG AI Operating System

AI는 단순히 문단을 생성하는 역할을 넘어 ESG 의사결정을 지원하는 지능형 협업 시스템으로 진화하는 것을 목표로 한다.

---

8. AI 고도화 기술 스택 (AI System Layer Only)

1) LLM / 파운데이션 모델 계층 (생성·추론 엔진)

시스템의 실제 문장 생성과 추론을 담당하는 핵심 AI 모델 계층이다.
각 모델은 단일 역할 기반으로 고정 배치되며, task-based routing 구조로 운영된다.

• Gemma 4 (e4b)

  • 역할: Writing Agent (ESG 서술문 생성)
  • 특징: 장문 생성 안정성, ESG 보고서 문체 적합성 중심
  • 사용 목적: 최종 Narrative 생성

• Qwen 2 (7B)

  • 역할: Validation / reasoning fallback
  • 특징: 수치 구조 해석, 논리 정합성 처리
  • 사용 목적: 검증 및 보조 추론

• Mistral / LLaMA 계열 (선택적 사용)

  • 역할: 경량 요약 및 컨텍스트 압축
  • 특징: 빠른 처리 속도 기반 전처리 용도

핵심 구조는 다음과 같다:

• 작업 단위 기반 모델 라우팅 (task-based model dispatch)
• Agent별 단일 모델 고정 구조 (모델 공유 없음)

---

2) 에이전트 아키텍처 계층 (Multi-Agent System)

시스템은 하나의 LLM이 모든 작업을 수행하는 구조가 아니라,
역할 단위로 분리된 에이전트 기반 구조를 사용한다.

구성 에이전트:

• Retrieval Agent
• Benchmark Agent
• Data Interpretation Agent
• Writing Agent
• Validation Agent

구현 방식:

• tool-calling 기반 실행 구조
• 상태 기반 실행 그래프(stateful execution graph)
• Supervisor가 DAG(비순환 그래프) 형태로 실행 제어

핵심 특징:

• 에이전트는 모델이 아니라 “역할 실행 단위”
• 각 에이전트는 독립된 프롬프트와 도구 세트를 가짐
• 동일 모델이라도 역할에 따라 완전히 분리된 동작 수행

---

3) RAG (검색 증강 생성) 계층

ESG 문서 생성을 위한 외부 지식 및 근거 데이터를 제공하는 계층이다.

구성 요소:

• Embedding 모델

  • bge-large / e5 / instructor 계열

• 벡터 DB

  • pgvector 기반
  • cosine similarity 검색 사용

• 검색 방식

  • keyword + embedding hybrid search
  • ESG 이슈 taxonomy 기반 필터링

• 컨텍스트 엔지니어링

  • 토큰 압축 (truncation + summarization)
  • 구조화된 컨텍스트 생성 (이슈 → KPI → 근거)

역할:

• Writing Agent 입력 데이터 제공
• Benchmark Agent 참고 문서 제공

---

4) 추론 / 계산 계층 (AI 외부 연산 레이어)

LLM이 직접 계산하지 않고, 외부 로직에서 수치 처리를 수행하는 계층이다.

구성:

• KPI 해석 엔진

  • 증감률, CAGR, 달성률 등 계산

• 룰 기반 추론 엔진

  • ESG 도메인 규칙 적용
  • 이상치 탐지 로직

특징:

• Python 기반 deterministic 계산
• LLM이 아닌 외부 계산 레이어 중심 구조
• Data Interpretation Agent의 핵심 엔진 역할

---

5) 검증 및 검증 제어 계층 (Validation Layer)

LLM 출력 결과의 신뢰성을 확보하는 통제 계층이다.

구성:

• 수치 일관성 검증기

  • 입력 KPI vs 생성 결과 비교

• 환각 탐지 시스템

  • 범위 초과 값 탐지
  • 존재하지 않는 KPI 탐지

• 스키마 검증

  • JSON / 구조화 출력 강제 검증

• 재시도 컨트롤러

  • 실패 시 Supervisor 기반 retry 수행

역할:

• LLM 결과를 “검증 가능한 데이터”로 변환
• 생성 결과의 신뢰성 보장

---

6) 프롬프트 / 추론 오케스트레이션 계층

LLM 입력을 구조적으로 구성하는 제어 계층이다.

구성:

• Jinja2 기반 구조화 프롬프트 시스템
• 역할별 system prompt 분리
• 동적 컨텍스트 삽입

구조:

• system prompt (역할 정의)
• context block (RAG 결과)
• computation block (KPI 결과)
• constraint block (검증 규칙)

핵심:

• 단순 prompt engineering이 아니라
  “prompt orchestration 시스템”

---

7) 상태 및 메모리 계층 (Agent State Layer)

에이전트 간 실행 상태를 공유하고 유지하는 계층이다.

구성:

• session 기반 short-term memory

• 구조화된 state object

  • KPI 상태
  • 검색 결과
  • 벤치마크 정보
  • 검증 상태

선택 확장:

• ESG 패턴 장기 메모리 (vector memory)
• 이슈 단위 embedding 저장

역할:

• 에이전트 간 context continuity 유지
• 실행 상태 추적

---

8) Multi-Agent 제어 로직 (DAG Execution Engine)

전체 시스템 실행 흐름을 제어하는 핵심 오케스트레이션 계층이다.

특징:

• Directed Acyclic Graph(DAG) 기반 실행 구조

• 조건부 분기 처리

  • 검증 실패 → retry loop
  • human gate → pause 상태

상태 흐름:
INIT → RETRIEVE → INTERPRET → WRITE → VALIDATE → HUMAN GATE → FINALIZE

핵심 구조:

• LLM은 실행 노드(node)
• Supervisor가 전체 execution controller 역할 수행

---

9) Human-in-the-loop (HITL) / Human Handoff 계층

AI와 인간 검토자가 연결되는 최종 제어 구간이다.

구성:

• 생성 전 제약 피드백 단계
• 검증 후 승인 단계
• 최종 수정 및 override 단계

의미:

• 인간은 외부 보정 신호 역할
• 시스템은 “폐쇄형 피드백 루프 구조”로 동작

---

전체 구조 핵심 요약

이 시스템의 본질은 다음 네 가지로 정리된다:

• task 기반 Multi-model routing
• 역할 분리형 Multi-Agent 구조
• RAG 기반 근거 중심 생성
• Validation 기반 출력 통제

---

한 줄 정의

이 시스템은 단순 LLM 생성기가 아니라 다음 구조이다:

“Multi-Agent RAG + Validation 기반 ESG 의사결정 생성 시스템”