refactor: 반환 타입 어노테이션 추가 — tokenizer, lemmatizer 모듈

[lovit]

대상

반환 타입 어노테이션이 누락된 public 함수들. tokenizer, lemmatizer 모듈 우선.

tokenizer/tokenizer.py

• RegexTokenizer.tokenize
• LTokenizer.tokenize
• MaxScoreTokenizer.tokenize, _tokenize_eojeol, _prepare_word_candidates, _select_best_words, _add_inter_tokens, _add_first_token, _add_last_token
• NounMatchTokenizer.tokenize

tokenizer/tokenizer_builder.py

• EojeolPatternTrainer.train, save, load

lemmatizer/lemmatizer.py

• lemma_candidate, lemma_candidate_chat
• Lemmatizer.lemmatize, lemmatize_chat

[lovit]

PR #303 (feature/294)에서 해결되었습니다. refactor-2026에 병합 완료.