[dnjsgkfka]

문제

실제 논문 PDF에서 표 4개 중 3개가 llm_summary로 빠져 분할되지 않았다. 고정 비용 (캡션·표 요약·섹션 헤더·문맥 단락)이 토큰 한도를 거의 다 먹어서, 행 하나를 더해도 512를 넘기 때문이다. 고정 비용은 분할해도 줄지 않고 모든 조각에 복제된다.

원인 두 가지:

1. table_abstract가 캡션으로 조립되는데 캡션 자체도 EU 맨 앞에 들어가 두 번 계산
2. 문맥 단락을 bbox 300pt 안에서 개수·토큰 제한 없이 전부 수집

변경

• unit.safe_abstract: 캡션 문구를 덜어낸 요약을 반환
• context.CONTEXT_TOKEN_BUDGET = 192: 표에서 가까운 단락부터 예산까지만 수집. 위/아래를 각각 자르지 않고 거리 하나로 줄 세운다.

bbox 수집 범위(300pt)는 그대로다. "300pt 안에서 모은 뒤 가까운 것부터 예산만큼 싣는다"로 바뀐 것이다.

측정 (Attention Is All You Need, 표 4개)

표	수정 전	수정 후
#0	767 · row_split	662 · row_split
#1	1832 · llm_summary	1640 · row_split
#2	2784 · llm_summary	2715 · llm_summary
#3	1574 · llm_summary	1277 · row_split

표 #2는 13열이라 행 하나가 셀 문장 13개를 끌고 온다. 행 하나 + 헤더 + 문맥만으로 한도를 넘으므로 "행 하나가 한도를 넘는 표는 분할하지 않고 원본 유지"에 해당하는 정상 동작이다.

후속

192는 실측으로 잡은 1차 값이다. 문맥이 줄면 문맥 기반 질의의 Recall에 영향이 있을 수 있으므로 벤치마크 재측정 때 함께 조정한다.

Fixes #40

[dagshub]

Join the discussion on DagsHub!