Experiments

Evidence-Chunker v0.1.2의 설정·구성 요소에 대한 실험을 기록합니다. 정식 버전의 전체 성능표는 Benchmark에 있습니다.

Experiment setup

항목	설정
PDF	90개
평가 QA	2,239개 (QA_v2_verified)
원본 QA	2,725개 (독립 구조 감사 후 486개 보류)
Evidence-Chunker	v0.1.2, commit 87a43e4f15e50b3ad27e91769ffe9e1864e06791
Docling / Docling Core	2.143.1 / 2.105.0
Embedding	sentence-transformers/all-MiniLM-L6-v2
문맥 설정	bbox_threshold=300.0, sim_threshold=0.0
비교 조건	동일 PDF, 동일 Docling 파싱 결과, 동일 QA/임베딩 모델
검색 집계	전체 검색 후보를 chunk_id별 max-pool로 집계
처리 실패	0 / 90 PDF
평가 지표	PageHit, TableHit, EvidenceHit; LLM 답변 생성은 수행하지 않음

Context selection

기본값 bbox_threshold=300.0pt는 사전 파라미터 탐색으로 선택한 값입니다. 문맥 후보 수집에는 거리뿐 아니라 섹션·컬럼 및 192토큰 예산도 적용됩니다.

context_dependent QA	문항 수	원본 EvidenceHit@1
기록된 문맥 거리 ≤ 300pt	321	22.43%
기록된 문맥 거리 > 300pt	92	0.00%

이 값은 검색 결과 1위의 근거 포함률이며 순수한 문맥 부착 성공률이 아닙니다. QA 생성과 2단계 감사는 300pt 설정을 문항 선정 게이트로 사용하지 않았습니다.

사전 튜닝의 전체 스윕 테이블·목적함수는 이번 공개 문서의 근거 자료에 포함되지 않았으므로, 별도 수치는 제시하지 않습니다.

Ablation results

아래 변형은 벤치마크 코드에서 구성했으며 v0.1.2의 공개 API 옵션이 아닙니다.

변형	변경 요소	PageHit@1	EvidenceHit@1
eu	정식 v0.1.2	62.26%	49.44%
eu_no_caption	캡션 필드와 요약 내 캡션 표현 제거	80.21%	65.03%
eu_no_context	주변 문단 필드 제거	61.32%	46.58%
eu_no_both	캡션 및 주변 문단 제거	80.26%	61.37%
eu_no_abstract	표 요약 제거	61.23%	48.82%
eu_no_repeated_caption_prefix	하위 검색 유닛의 반복 캡션 prefix 제거	79.28%	64.14%

eu_no_caption은 단순히 원본 캡션 필드만 삭제한 비교가 아닙니다.

파생 요약의 캡션 문자열도 제거했습니다.

캡션, 문맥이 여러 필드에 중복될 수 있으므로 Ablation 결과를 각 요소의 완전히 독립적인 인과효과로 해석할 수 없습니다.

context_dependent 413문항에서 원본 EU의 EvidenceHit@1은 17.43%, eu_no_context는 **1.45%**로 나타났습니다.

Caption-prefix experiment

v0.1.2의 EvidenceUnit.retrieval_units는 캡션을 각 행·문맥 검색 문자열 앞에 반복해 붙입니다.

Original:
  [Table 3. Model accuracy] BERT | Accuracy: 85%
  [Table 3. Model accuracy] GPT  | Accuracy: 92%

Experimental:
  Table summary: Table 3. Model accuracy
  BERT | Accuracy: 85%
  GPT  | Accuracy: 92%

이 변형은 검색용 임베딩 입력 문자열만 변경합니다.

표시용 text, 부모 ID, 연결된 표, 문맥 및 검색 유닛 수는 동일하게 유지합니다.

두 방식 모두 95,550개 검색 벡터를 사용했습니다.

지표	정식 v0.1.2	Prefix 제거 변형
PageHit@1	62.26%	79.28%
TableHit@1	59.00%	77.18%
EvidenceHit@1	49.44%	64.14%

이 결과는 동일한 90개 PDF를 사용한 탐색 실험입니다.

개선안을 선택한 데이터에서 다시 측정했으므로 독립 데이터의 성능으로 일반화할 수 없습니다.

아직 repeat_caption_prefix=False 옵션이나 이를 기본 동작으로 하는 정식 릴리스는 존재하지 않습니다.

Token budget experiment

캡션 prefix 변형의 상위 검색 결과는 정답 근거를 더 자주 포함했지만, 부모 EvidenceUnit 전체를 반환할 때의 토큰 비용은 별개입니다.

방식	Top-5 결합 근거 확보율	Top-5 평균 근거 토큰
HybridChunker	63.02%	1,003
Evidence-Chunker v0.1.2	70.79%	5,942
Prefix 제거 실험군	80.62%	6,749

따라서 다음 개선은 검색용 텍스트 최적화와 최종 컨텍스트 패킹을 구분해 다뤄야 합니다.

전체 표, 문맥 대신 필요한 행과 관련 설명을 전달하는 Compact mode는 아직 설계 아이디어이며 미구현 상태입니다.

예산별 상세 지표와 계산 규칙은 Benchmark를 참고하세요.

Reporting rules

• 실험 변형의 수치를 정식 v0.1.2 결과로 표기하지 않습니다.
• 동일 문서에서 탐색, 선택한 개선안은 독립 홀드아웃 평가와 구분합니다.
• EvidenceHit을 실제 LLM 정답 정확도(Answer EM)로 부르지 않습니다.
• 코드 버전, 파서 설정, 모델, 평가 QA 버전을 함께 기록합니다.