ESG 보고서 생성용 로컬 LLM 비교

[luniana217]

한국어 ESG 보고서 생성 AI에 여러 로컬 LLM을 붙여 정보 활용 정확도(RAG·충실도) 와 추론 비용(시간·CPU·GPU) 을 동일 환경에서 정량 비교했습니다.
8GB VRAM 환경에서 모델을 늘리며 관찰된 이슈를 공유하니, 해석/개선 의견 부탁드립니다.

✅ 요약 (TL;DR)

• 모델 8종 × 프롬프트 3종(A/B/C), 각 5개 문단 기준. (일부 모델은 일부 프롬프트만 실행)
• 충실도(faithfulness) 가 전 조합 0.49~0.59에 몰려 변별력이 약함 → 측정 방식 점검 필요.
• mistral-nemo:12b는 VRAM peak ≈7.6GB로 8GB 한계에 근접 → CPU 오프로딩(CPU avg 4551%)으로 느려짐(1518s/문단).
• gemma4:e4b는 RAM peak 16GB(시스템 전량)·27s/문단으로 사실상 사용 불가 수준.
• 가성비: exaone3.5:2.4b(최속 3.5s, 충실도 준수) · gemma2:2b(충실도 최상위) · qwen2:7b(충실도 상위·저부하).

🖥️ 환경 (Environment)

항목	값
CPU	Intel Core i7-10700KF @ 3.80GHz
RAM	16 GB (2667 MHz)
GPU	NVIDIA GeForce RTX 3050 (VRAM 8 GB)
추론 엔진	Ollama (http://localhost:11434)
임베딩	snunlp/KR-SBERT-V40K-klueNLI-augSTS
생성 파라미터	temperature=0.1, num_predict=2048, repeat_penalty=1.1
양자화	Ollama 기본(대부분 Q4_K_M)

📊 핵심 결과 (Key metrics)

충실도 = 생성문 vs 참조 원문 코사인 유사도(↑좋음) / Gen time = 문단당 평균 생성시간(↓좋음)

Model	Prompt	Gen time (s)	Faithfulness	CPU peak %	RAM peak MB	GPU peak %	GPU mem peak MB
gemma2_2b	promptA	4.75	0.5653	26.7	10577	89	3380
gemma2_2b	promptB	5.21	0.5537	34.5	10324	93	6678
gemma2_2b	promptC	4.85	0.5884	29.8	9805	91	6738
gemma3_4b	promptA	7.24	0.5428	26.9	12764	100	6237
gemma3_4b	promptB	7.17	0.5532	21.5	12370	100	6234
gemma3_4b	promptC	6.33	0.5452	27.9	12192	91	6266
gemma4_e4b	promptC	27.15	0.5050	40.7	16028	100	4554
qwen2_7b	promptA	11.59	0.5679	20.6	10538	100	5580
qwen2_7b	promptB	11.79	0.5507	36.9	10898	100	5742
qwen2_7b	promptC	10.36	0.5554	21.6	10517	98	5704
qwen2.5vl_7b	promptA	14.14	0.5299	67.1	10679	100	5469
qwen2.5vl_7b	promptB	14.68	0.5510	79.6	10916	99	5558
qwen2.5vl_7b	promptC	12.91	0.5385	58.9	10511	100	5551
exaone3.5_7.8b	promptA	6.54	0.5071	28.6	10252	100	6544
exaone3.5_7.8b	promptB	7.09	0.5617	24.6	9754	100	6466
exaone3.5_7.8b	promptC	6.43	0.4948	31.7	9507	100	6428
exaone3.5_2.4b	promptA	3.89	0.5347	30.8	10247	98	6524
exaone3.5_2.4b	promptA (run2)	3.50	0.5480	28.3	9474	100	3362
exaone3.5_2.4b	promptB	3.69	0.5174	42.2	9504	91	3395
exaone3.5_2.4b	promptC	4.57	0.4889	30.4	10217	100	3358
mistral-nemo_12b	promptA	15.25	0.5220	72.9	12420	100	7613
mistral-nemo_12b	promptB	15.77	0.5473	73.1	11753	100	7639
mistral-nemo_12b	promptC	17.72	0.5544	78.4	10805	100	7626

최고 충실도: gemma2_2b/C (0.5884) · qwen2_7b/A (0.5679) · exaone3.5_7.8b/B (0.5617)
최속: exaone3.5_2.4b/A run2 (3.50s) · 최저속: gemma4_e4b/C (27.15s)
VRAM 최대: mistral-nemo_12b (≈7.6GB, 8GB 한계 근접)

📋 전체 컬럼 원본 데이터 (avg 값 포함)

model	prompt	sections	total_time_s	avg_gen_time	faithfulness	ref_search	cpu_avg	cpu_peak	ram_avg_mb	ram_peak_mb	gpu_avg	gpu_peak	gpu_mem_avg_mb	gpu_mem_peak_mb	gpu_ok
gemma2_2b	promptA	5	26.0	4.748	0.5653	0.7986	15.7	26.7	10183.2	10577.1	59.1	89	3195.3	3380.0	True
gemma3_4b	promptA	5	38.34	7.242	0.5428	0.7986	11.5	26.9	12077.3	12764.2	59.8	100	5995.4	6236.6	True
qwen2.5vl_7b	promptA	5	72.94	14.144	0.5299	0.7986	43.6	67.1	10331.2	10678.8	47.6	100	5211.8	5469.4	True
qwen2_7b	promptA	5	60.22	11.59	0.5679	0.7986	10.1	20.6	8895.7	10538.0	75.8	100	5443.9	5579.6	True
gemma2_2b	promptB	5	28.27	5.212	0.5537	0.7986	16.5	34.5	9709.5	10324.0	58.7	93	3380.8	6677.6	True
gemma3_4b	promptB	5	37.97	7.172	0.5532	0.7986	8.8	21.5	11835.9	12370.2	61.3	100	6009.1	6233.5	True
qwen2.5vl_7b	promptB	5	75.68	14.68	0.551	0.7986	43.3	79.6	10596.3	10915.7	45.9	99	5296.0	5558.2	True
qwen2_7b	promptB	5	61.06	11.792	0.5507	0.7986	12.4	36.9	9172.4	10898.0	78.2	100	5604.8	5741.6	True
gemma2_2b	promptC	5	26.42	4.854	0.5884	0.7986	15.3	29.8	9401.1	9804.8	59.3	91	3433.2	6737.8	True
gemma3_4b	promptC	5	33.65	6.332	0.5452	0.7986	11.8	27.9	11614.4	12191.6	57.2	91	6029.0	6265.6	True
qwen2.5vl_7b	promptC	5	66.76	12.908	0.5385	0.7986	42.3	58.9	10171.6	10510.7	45.5	100	5304.7	5551.3	True
qwen2_7b	promptC	5	53.88	10.364	0.5554	0.7986	10.5	21.6	8789.0	10516.6	74.0	98	5571.1	5704.3	True
gemma4_e4b	promptC	5	138.06	27.148	0.505	0.7986	12.3	40.7	15540.5	16027.5	74.0	100	4399.6	4553.7	True
exaone3.5_7.8b	promptC	5	34.29	6.428	0.4948	0.7986	13.0	31.7	9221.7	9506.9	79.9	100	6098.5	6428.1	True
exaone3.5_7.8b	promptB	5	37.37	7.088	0.5617	0.7986	11.3	24.6	9556.3	9754.2	84.2	100	6463.5	6466.2	True
exaone3.5_7.8b	promptA	5	34.56	6.538	0.5071	0.7986	10.7	28.6	9998.1	10251.5	84.0	100	6534.5	6544.0	True
exaone3.5_2.4b	promptA	5	21.56	3.892	0.5347	0.7986	16.3	30.8	8997.5	10246.9	62.1	98	3401.4	6524.5	True
exaone3.5_2.4b	promptA	5	19.62	3.496	0.548	0.7986	16.2	28.3	9303.4	9473.7	69.9	100	3357.7	3361.6	True
exaone3.5_2.4b	promptB	5	20.77	3.688	0.5174	0.7986	17.3	42.2	9342.0	9503.9	67.1	91	3383.4	3394.8	True
exaone3.5_2.4b	promptC	5	64.26	4.572	0.4889	0.7986	10.1	30.4	10006.5	10216.9	41.7	100	3358.3	3358.3	True
mistral-nemo_12b	promptC	5	92.16	17.72	0.5544	0.7986	44.9	78.4	10419.5	10804.6	38.5	100	7292.3	7626.1	True
mistral-nemo_12b	promptB	5	81.04	15.768	0.5473	0.7986	50.9	73.1	11428.8	11753.4	40.8	100	7621.0	7638.8	True
mistral-nemo_12b	promptA	5	78.4	15.254	0.522	0.7986	47.3	72.9	11934.3	12419.9	40.5	100	7608.6	7612.6	True

----

promptA 모델별 문단 비교 — gemma2:2b vs gemma3:4b

동일 프롬프트(promptA)·동일 데이터로 생성한 5개 섹션 문단을 모델별로 비교합니다.

📊 섹션별 지표

섹션	이슈	존댓말(2b/4b)	충실도 sim(2b/4b)	생성시간(2b/4b)	환각 숫자
1	기후목표·전환계획	0.00 / 0.67	0.617 / 0.600	12.6s / 18.3s	4b: 2024 삽입
2	공급망 감사·시정조치	0.60 / 0.75	0.511 / 0.473	3.2s / 5.2s	없음
3	교육훈련·역량개발	0.60 / 0.75	0.601 / 0.615	2.8s / 5.1s	4b: 2024 삽입
4	저탄소·친환경 제품	0.00 / 0.80	0.633 / 0.597	2.7s / 4.0s	없음
5	소비자 건강·제품안전	0.75 / 0.83	0.464 / 0.429	2.4s / 3.7s	없음
평균	—	—	0.565 / 0.543	4.75s / 7.24s	—

존댓말 = 문장 끝이 ~니다/~니까인 비율 / 충실도 = 생성문↔참조원문 코사인 유사도 / 환각 = 원본 데이터에 없는 숫자

🔎 한눈 요약

• gemma2:2b — 더 빠르고(평균 4.75s) 충실도도 약간 높음(0.565). 단, 섹션 1·4에서 존댓말이 완전히 무너져 평서체(~이다/~달한다)로 작성 → 규칙 1 위반. 섹션 5 끝에 작성규칙을 본문에 노출하는 메타 문장 있음.
• gemma3:4b — 존댓말이 5개 섹션 모두 일관되고 문장이 매끄러움. 단, 데이터에 없는 2024년을 보고연도로 지어냄(섹션 1·3), 섹션 2에서 CAP를 "수급업체 위험 평가"로 잘못 풀어씀(실제 Corrective Action Plan). 더 느림(7.24s).

---

섹션 1 · 기후목표·전환계획

gemma2:2b (존댓말 0.00 ⚠️)

A_GROUP은 2045년 탄소중립 및 2040년 재생에너지 100% 전환을 목표로 Scope 1·2 배출 감축과 전환계획을 관리하고 있으며, 기준연도는 2019이며 기준연도 연결 Scope 1·2 배출량은 130,890 tCO2eq이다. 기준연도 연결 Scope 1·2 배출량은 112,500 tCO2eq로, 전년 대비 감축량은 4,402 tCO2eq이며, 감축률은 3.91%에 달한다. 재생에너지 전환율은 9.49%로, A_GROUP은 재생에너지 전환율과 온실가스 감축 실적을 경영진 KPI에 연계하여 연 단위로 이행 현황을 점검한다.

gemma3:4b (2024 환각 ⚠️)

A_GROUP은 2045년 탄소중립 및 2040년 재생에너지 100% 전환이라는 장기적인 목표를 설정하고, 이를 위해 Scope 1·2 배출 감축과 체계적인 전환 계획을 추진하고 있습니다. 기준연도인 2019년 연결 Scope 1·2 배출량은 130,890 tCO2eq였으나, 보고연도인 2024년에는 112,500 tCO2eq로 감축되어 전년 대비 4,402 tCO2eq 감소했습니다. 이는 감축률 3.91%에 해당하는 수치입니다. 재생에너지 전환율은 9.49 %를 기록했으며, 이러한 온실가스 감축 실적과 재생에너지 전환율은 경영진의 KPI로 연계되어 지속적으로 이행 현황이 점검되고 있습니다.

비교: 2b는 평서체이고 보고연도 값(112,500)을 "기준연도 배출량"으로 잘못 라벨링함. 4b는 기준/보고연도 구분은 정확하지만 데이터에 없는 2024년을 임의로 채워 넣음. 둘 다 섹션 1에서 서로 다른 종류의 오류가 있음.

섹션 2 · 공급망 감사·시정조치

gemma2:2b

A_GROUP은 공급망 지속가능성 리스크를 관리하기 위해 주요 협력사의 환경, 인권, 윤리 리스크에 대한 조달 안정성 및 브랜드 신뢰에 영향을 미치는 요소들을 고려하여 공급망 지속가능성 리스크 관리 시스템을 운영하고 있습니다. 공급망 실사는 사전평가, 현장진단, 고위험 협력사 식별, CAP 부여 및 구매정책 반영의 순서로 진행되며, 연결 기준 공급업체 감사 수행률은 71.90%이며, 고위험 공급업체 수는 64개사입니다. 공급망 CAP 완료율은 68.09%로, 진단 결과는 고위험 협력사 개선계획과 구매정책 검토에 반영되며, CAP 이행 현황은 정기적으로 모니터링합니다.

gemma3:4b (CAP 오역 ⚠️)

A_GROUP은 공급망 지속가능성 리스크 관리를 통해 협력사의 환경·인권·윤리 리스크가 조달 안정성과 브랜드 신뢰에 미치는 영향을 체계적으로 관리하고 있습니다. 공급망 실사는 사전평가, 현장진단, 고위험 협력사 식별, CAP(수급업체 위험 평가) 부여 및 구매정책 반영의 단계를 거쳐 운영되며, 연결 기준 공급업체 감사 수행률은 71.90%로 관리되고 있습니다. 또한, 고위험 공급업체 수는 64개 사로 확인하고 있으며, 이는 지속적인 관리가 필요함을 시사합니다. 공급망 CAP 완료율은 68.09 % 수준이며, 이 결과는 고위험 협력사의 개선계획 수립 및 구매정책 검토에 중요한 근거 자료로 활용되고 있습니다. CAP 이행 현황은 정기적으로 모니터링되어 리스크 관리의 효과성을 지속적으로 평가하고 있습니다. 이러한 노력들을 통해 A_GROUP은 공급망 전반의 지속가능성 수준을 향상시키고, 장기적인 조달 안정성과 브랜드 신뢰를 확보하는 데 주력할 것으로 보입니다.

비교: 둘 다 수치(71.90%, 64개사, 68.09%)는 정확히 반영. 4b가 더 길고 매끄럽지만 CAP에 잘못된 정의를 붙임(CAP=Corrective Action Plan). 2b는 군더더기 없이 간결.

섹션 3 · 교육훈련·역량개발

gemma2:2b

Hanon Systems는 전동화, 자율주행, 디지털화 전환에 대한 인재 확보와 내부 역량 강화를 통해 미래 모빌리티 기술을 선도하고 있습니다. 연구개발 및 소프트웨어 직무 인력의 실무 프로젝트 기반 교육 프로그램인 SW아카데미와 글로벌 전문가 과정을 통해 핵심직무 교육 달성률이 72.01%에 이르는 등, 연구개발 및 소프트웨어 직무 인력의 역량을 확대하고 있습니다. 또한 연결 임직원 수는 8,367명으로, 1인당 교육시간은 33.42 시간/명으로, 전문성과 교육 강화를 통해 ESG 성장에 기여할 것으로 예상됩니다.

gemma3:4b (2024 환각 · 메타 시작 ⚠️)

본 보고서는 미래 모빌리티 기술 전환에 발맞춘 지속가능경영 체계 구축의 중요성을 강조합니다. Hanon Systems는 전동화, 자율주행, 디지털화라는 핵심 트렌드에 대응하기 위해 연구개발, 소프트웨어, 친환경 기술 역량 강화를 위한 인재 확보 및 내부 역량 강화에 집중하고 있습니다. 특히, SW아카데미를 통해 연구개발 및 소프트웨어 직무 인력에게 실무 프로젝트 기반 교육을 제공하며, 글로벌 전문가 과정을 운영하여 해외법인 및 글로벌 고객 대응 인력의 사업 수행 역량을 강화하는 데 주력하고 있습니다. 2024년 기준, 연결 임직원 수는 8,367명이며, 1인당 교육시간은 33.42 시간으로 나타났습니다. 또한, 핵심직무 교육 달성률은 72.01%를 기록하여, 인재 양성 및 기술 역량 강화 프로그램의 효과성을 입증하였습니다. 이러한 노력들을 통해 Hanon Systems는 지속가능한 미래 모빌리티 생태계 조성에 기여할 수 있을 것으로 기대됩니다.

비교: 2b가 더 압축적이고 핵심 수치를 바로 제시. 4b는 "본 보고서는 …강조합니다"로 메타 문장으로 시작(규칙 위반)하고 또 2024년을 임의 삽입.

섹션 4 · 저탄소·친환경 제품

gemma2:2b (존댓말 0.00 ⚠️)

A_GROUP은 전동화 부품, 경량화 부품을 중심으로 저탄소 제품 포트폴리오를 관리하며, 연결 친환경 제품 매출액은 4,298,000,000,000 KRW로, 이는 연결 매출 대비 비중이 24.15%에 달한다. 이는 A_GROUP의 ESG 목표를 달성하는 데 중요한 역할을 하고 있으며, 회피 배출량은 1,245,000 tCO2eq로, 사회적 비용 절감 효과는 68,973,000,000 KRW에 달한다. 이러한 노력은 A_GROUP의 지속가능한 경영을 위한 중요한 발판을 마련하고 있다.

gemma3:4b

A_GROUP은 전동화 부품 및 경량화·고효율 부품 등 친환경 제품 포트폴리오 관리를 통해 제품 사용 단계의 온실가스 감축과 환경영향 저감에 기여하고 있습니다. 연결 친환경 제품 매출액은 4,298,000,000,000 KRW로, 연결 매출 대비 비중이 24.15%를 기록했습니다. 또한 회피 배출량은 1,245,000 tCO2eq로 측정되었으며, 이와 더불어 사회적 비용 절감 효과는 68,973,000,000 KRW로 산정되었습니다. 이러한 수치들은 A_GROUP이 지속가능한 경영을 통해 환경적 가치를 창출하고 있다는 것을 보여줍니다.

비교: 수치는 양쪽 동일하게 정확. 2b는 다시 평서체(달한다/마련하고 있다)로 빠져 존댓말 0%. 4b는 존댓말 유지하며 해석 문장도 자연스러움. 이 섹션은 4b 우세.

섹션 5 · 소비자 건강·제품안전

gemma2:2b (메타 문장 ⚠️)

제품 안전 관리 체계는 설계 검증, 양산 품질관리, 고객사 필드 이슈 접수, 원인분석 및 CAP 이행 등을 통해 구축되어 있으며, 주요 제품군은 출하 전 검증 절차를 거치며, 고위험 이슈는 별도 심의체계로 관리합니다. 이 체계는 연결 기준 필드액션 건수 10건과 리콜 건수 3건을 통해 70.37%의 제품안전 CAP 완료율을 달성했습니다. 이는 ESG 보고서 작성 시, 핵심 수치를 반복적으로 언급하여 효과적인 정보 전달을 가능하게 합니다.

gemma3:4b (메타 시작 ⚠️)

본 보고서에서는 제품 품질과 안전이 고객 신뢰를 구축하고, 관련 규제를 준수하며, 필드 리스크 관리에 중요한 역할을 한다는 점을 강조합니다. 제품안전 관리체계는 설계 검증부터 양산 품질관리, 고객사 필드이슈 접수 및 원인분석, CAP 이행까지 전 과정에 걸쳐 이루어지고 있습니다. 특히, 연결 기준 필드액션 건수는 10건으로 집계되었으며, 리콜 건수는 3건으로 보고되었습니다. 또한, 제품안전 CAP 완료율은 70.37%를 기록했습니다. 이러한 수치들은 제품 안전 관리에 대한 지속적인 개선의 필요성을 시사하며, 고객 만족도 향상 및 잠재적 위험 감소에 기여할 것으로 기대됩니다.

비교: 둘 다 마지막/처음에 메타 성격 문장이 섞임. 2b는 끝에 "ESG 보고서 작성 시 핵심 수치를 반복적으로…"라며 작성 규칙 자체를 본문에 노출(가장 부적절). 4b는 "본 보고서에서는 …강조합니다"로 시작하는 정도. 수치는 양쪽 정확.

---

✅ 종합 평가

항목	gemma2:2b	gemma3:4b
속도	✅ 빠름(4.75s)	느림(7.24s)
충실도(평균)	✅ 0.565	0.543
존댓말 일관성	❌ 섹션 1·4 붕괴	✅ 전 섹션 유지
수치 정확성	✅ 환각 없음	❌ 2024년 2회 삽입
용어 정확성	✅	❌ CAP 오역
문장 매끄러움	보통	✅ 우수
메타 노출	섹션 5(규칙 노출)	섹션 3·5(보고서 자기언급)

결론: 두 모델 모두 promptA에서 결정적 약점이 있어 그대로 쓰긴 어렵습니다. gemma2:2b는 빠르고 숫자를 지어내지 않지만 존댓말이 절반 섹션에서 무너지는 게 치명적이고, gemma3:4b는 문체는 좋지만 없는 연도(2024)를 만들어내는 환각이 ESG 보고서엔 더 위험합니다. 프롬프트에 "연도 등 데이터에 명시되지 않은 값은 절대 추가하지 말 것"과 "모든 문장은 반드시 ~합니다체"를 더 강하게 못박으면 양쪽 약점이 줄어들 가능성이 높습니다.

📖 지표 설명 (Legend)

컬럼	의미	방향
avg_gen_time	문단 1개당 평균 LLM 생성 시간(초)	↓ 좋음
total_time_seconds	모델 1회 실행 전체(검색·임베딩 포함)	↓ 좋음
faithfulness	생성문 ↔ 참조 원문(SR top5) 코사인 유사도	↑ 좋음(과도하면 표절 의심)
ref_search	검색기가 가져온 SR 문단의 질의 적합도	↑ 좋음 (모델 무관)
cpu/gpu_*	생성 구간 사용률 평균/최댓값(%)	↓ 저렴
ram/gpu_mem_*_mb	RAM·VRAM 사용량(MB)	↓ 저렴

⚠️ 관찰된 이슈 / 논의 포인트 (Symptoms)

1. mistral-nemo:12b VRAM 한계 근접 — gpu_mem peak ≈7.6GB로 8GB 카드에 거의 꽉 참. 동시에 cpu_avg가 4551%로 타 모델(1015%)의 34배 → CPU 오프로딩 발생 → 1518s/문단으로 느림. 8GB VRAM에선 12B가 사실상 한계.
2. gemma4:e4b 메모리 압박 — ram peak 16,028MB로 시스템 RAM 16GB를 전부 소진, 27s/문단으로 최저속. 이 하드웨어에선 비권장.
3. 충실도 변별력 부족 — 신규 모델 포함 전 조합이 0.49~0.59. 임베딩 유사도가 모델 품질을 잘 못 가름. 보조 지표(수치 환각률 등) 병행 검토 필요.
4. ref_search가 전 행 0.7986로 동일 — 검색 단계는 모델·프롬프트와 무관하므로 정상(버그 아님).
5. gpu_peak가 대부분 100% 고정 — GPU 포화로 peak는 변별력 없음. 비교축은 gpu_avg·gpu_mem_peak가 적절.
6. exaone3.5:2.4b/promptC 시간 이상치 — total 64.26s인데 문단평균은 4.57s(×5=22.9s). ~41s 오버헤드(콜드스타트/검색/첫토큰 지연 추정). 반복 측정 필요.
7. VRAM 단발 스파이크 — exaone3.5:2.4b/promptA가 gpu_mem avg 3401 → peak 6524로 튐. 0.2s 샘플링이 모델 로딩 순간을 잡은 것으로 추정.
8. 프롬프트 효과가 모델마다 상반 — promptC가 gemma2_2b엔 최고(0.5884)지만 exaone3.5_7.8b(0.4948)·exaone3.5_2.4b(0.4889)엔 최저. 프롬프트는 모델별로 따로 튜닝 필요.

❓ 도움 요청 (Questions)

• 충실도가 전 모델 비슷하게 낮은 건 측정 방식(임베딩 유사도) 문제일까요, 아니면 실제 품질 차이가 작은 걸까요? 더 변별력 있는 보조 지표 추천 부탁드립니다.
• 8GB VRAM에서 mistral-nemo:12b처럼 오프로딩되는 모델을, OLLAMA_KV_CACHE_TYPE 조정 등으로 온전히 GPU에 올리는 게 의미가 있을까요?
• exaone3.5:2.4b/C의 41s 오버헤드 원인을 좁힐 좋은 프로파일링 방법이 있을까요?

🔁 재현 방법 (Reproduce)

ollama pull exaone3.5:7.8b exaone3.5:2.4b mistral-nemo:12b   # 신규 비교 대상
 
python aimodel.py             # → {model}__{prompt}.json, benchmark_summary.csv
python analyze_benchmark.py   # → benchmark_table.csv, benchmark_charts.png

_{측정 조건: 동일 머신, Ollama 단일 인스턴스, GPU 측정은 pynvml. 자원 지표는 시스템 전체값(추론 외 백그라운드 부하 포함 가능). 일부 조합은 단일 실행이라 시간/자원에 분산이 있을 수 있음.}