Repository navigation
AI 문단 생성 트러블 슈팅 관련 문서화 #254
chaehun0i
started this conversation in
Decision Log
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
Uh oh!
There was an error while loading. Please reload this page.
1. 정량적 성능 비교 (종합 요약)
각 오픈소스 모델의 전체 섹션 평균 성능 지표입니다.
2. 모델별 생성 문단 전체 리스트 (정성적 평가)
각 모델별 5개 섹션의 실제 생성 문단 전문입니다.
모델: gemma2:2b
[S-1] 기후목표·전환계획
[S-2] 공급망 감사·시정조치
[S-3] 교육훈련·역량개발
[S-4] 저탄소·친환경 제품
[S-5] 소비자 건강·제품안전
모델: llama3.2:3b
[S-1] 기후목표·전환계획
[S-2] 공급망 감사·시정조치
[S-3] 교육훈련·역량개발
[S-4] 저탄소·친환경 제품
[S-5] 소비자 건강·제품안전
모델: gemma3:4b
[S-1] 기후목표·전환계획
[S-2] 공급망 감사·시정조치
[S-3] 교육훈련·역량개발
[S-4] 저탄소·친환경 제품
[S-5] 소비자 건강·제품안전
모델: qwen2:7b
[S-1] 기후목표·전환계획
[S-2] 공급망 감사·시정조치
[S-3] 교육훈련·역량개발
[S-4] 저탄소·친환경 제품
[S-5] 소비자 건강·제품안전
모델: qwen3:8b
[S-1] 기후목표·전환계획
[S-2] 공급망 감사·시정조치
[S-3] 교육훈련·역량개발
[S-4] 저탄소·친환경 제품
[S-5] 소비자 건강·제품안전
모델: mistral-nemo:12b
[S-1] 기후목표·전환계획
[S-2] 공급망 감사·시정조치
[S-3] 교육훈련·역량개발
[S-4] 저탄소·친환경 제품
[S-5] 소비자 건강·제품안전
모델: qwen3:14b
[S-1] 기후목표·전환계획
[S-2] 공급망 감사·시정조치
[S-3] 교육훈련·역량개발
[S-4] 저탄소·친환경 제품
[S-5] 소비자 건강·제품안전
모델: gemma4:e4b
[S-1] 기후목표·전환계획
[S-2] 공급망 감사·시정조치
[S-3] 교육훈련·역량개발
[S-4] 저탄소·친환경 제품
[S-5] 소비자 건강·제품안전
3. 최종 모델 선정 및 아키텍처 전략
메인 선정 모델: gemma4:e4b
선정 이유 (정성적/문맥적 측면): ESG 보고서의 격식 있는 톤앤매너와 깊이 있는 서술 능력이 가장 우수합니다. 특히 팀 내부적으로 검증해온 문체와 일관성이 가장 높아 시스템 전환 리스크가 없습니다.
회사명 정합성 (보안 기준 준수): A_GROUP 외 타 회사명을 일절 언급하지 않으며, 본인 회사 지칭(당사, 자사, 당 그룹 등)을 유연하고 자연스럽게 사용합니다.
기술적 대응 (환각/명칭/노이즈 제어): 벤치마크상 나타난 데이터 왜곡(환각) 및 명칭 이슈는 인프라단 보완 로직으로 원천 제어합니다.
서브/경량화 추천 모델: qwen2:7b
5. 팀 공유용 트러블슈팅 및 운영 가이드 (Troubleshooting)
gemma4:e4b 데이터 무결성 보완 파이프라인 (핵심)
문제: 모델의 문장력은 우수하나 일부 데이터 왜곡(환각) 가능성 존재.
해결책: 엔진의 최종 출력물(JSON/Text)을 파싱하여, 원본 데이터의 숫자(KPI 등)가 일치하는지 대조하는 Atomic Metric Validator를 백엔드에 통합합니다. 수치 불일치 시 자동 Retry(재생성) 로직을 통해 데이터 정확도를 100%로 보정합니다.
회사명 정규화 및 타사 언급 방지
문제: 일부 모델에서 특정 기업명(ex: Hanon Systems)이 임의 출력되는 정합성 오류 발견.
해결책: gemma4:e4b는 해당 오류가 없으나, 향후 발생할 수 있는 잠재 리스크를 차단하기 위해 백엔드에 Company Name White-list 필터를 적용합니다. 명시된 그룹명 외 타사 이름이 검출될 경우 문단을 즉시 폐기하고 재생성하는 로직을 가동합니다.
영어 부가 설명 생성 이슈 제어
문제: 일부 경량 모델(ex: gemma2:2b)에서 발생하는 영어 사족(Explanation 등) 노이즈.
해결책:
VRAM 예측 및 인프라 스케일링
현황: 고사양 모델 사용 시 응답 시간 지연 및 VRAM 부하 발생.
해결책: Docker 기반 배포 시 Nginx 역방향 프록시(proxy_read_timeout) 설정을 최소 300초 이상으로 확장하고, 응답 시간이 긴 모델 특성을 고려하여 Celery/Redis 기반의 비동기 큐를 통해 리포트를 생성하는 구조로 전환합니다.
All reactions