RAG와 대화형 AI를 연결하는 데서 끝내지 않고, 실제 사용자 대화에서 발견한 실패를 평가 세트와 회귀 테스트로 되돌립니다.
현재 반려견 AI 케어 서비스 DAENGS에서 RAG, 대화 오케스트레이션, 평가 및 백엔드·앱 통합을 담당하고 있습니다. 금융권에서 익힌 수치 정합성과 위험 관리 관점을 바탕으로, 근거와 권한이 불명확할 때 안전하게 실패하는 시스템을 지향합니다.
Python FastAPI LangGraph RAG PostgreSQL LLM Evaluation
- RAG Engineering — 데이터 출처 관리부터 검색 품질 평가, 서비스 통합까지 연결합니다.
- Conversation Orchestration — LLM은 의미를 판단하고, 코드는 실행 경로를 통제하도록 설계합니다.
- Evaluation — 단일 정확도보다 행동 테스트, 실패 분류, 회귀 테스트를 중요하게 봅니다.
- Production Reliability — 실제 DB·모델·디바이스에서 실패를 재현하고 운영 추적 가능성을 확보합니다.
Team Project AI Engineer 2026.08–진행 중 Private Repository
반려견 프로필, 케어 기록, 훈련 근거와 서비스 기능을 하나의 대화형 AI로 연결하는 프로젝트입니다.
- Training RAG를 서비스 백엔드에 통합하고 개인화된 근거 기반 답변 구현
- Gemini 의미 분류와 결정론적
RoutePlan을 결합한 LangGraph 오케스트레이션 설계 - 실제 사용자 대화에서 발견한 실패를 멀티턴 평가 세트와 회귀 테스트로 관리
- 백엔드·앱·AI 기능의 API 계약을 조율하고 실제 DB·모델·Android 환경에서 검증
RAG 데이터와 사전 평가 과정은 dog-training-rag에 공개했습니다.
담당 역할 자세히 보기
- 반려견 훈련 자료의 출처와 검수 상태를 기록하는 데이터 provenance 구조 설계
multilingual-e5-base, PostgreSQL·pgvector, Gemini 기반 검색·생성 파이프라인 구현- 검색 근거 공개, 의료 질문 경계, 도메인 외 질문 탐지 적용
- 독립 FastAPI 서비스로 개발한 RAG를 DAENGS 모듈형 모놀리스에 통합
- Gemini가 사용자 의도를 구조화해 반환하고, 코드가 실행 가능한
RoutePlan을 생성하도록 책임 분리 CLARIFY독점 실행, 고정된HANDOFF등 기능 간 충돌 방지 규칙 구현- LangGraph와
create_agent를 동일한 80개 질문으로 각각 3회 비교 - 정확도 차이가 거의 없는 조건에서 LangGraph가 토큰 46.5%, 평균 지연 48.0%를 절감한 결과를 확인하고 단일 런타임으로 전환
- 대화 세션·턴·요약 저장과 멀티턴 문맥 복구 구현
- 반려견 프로필, 케어 기록, 산책 활동과 대화 응답 연결
- 반복 질문 종료 규칙과 증상 누적에 따른 답변 전환 조건 구현
- LLM-as-a-Judge를 자동 품질 점수가 아닌 사람의 검토가 필요한 응답을 찾는 도구로 제한
- Android 채팅 화면을 실제
/assistant/queryAPI와 연결 - 훈련 답변·인용, 산책 추가 질문, 보행 분석 연결을 실제 기기에서 검증
- LangSmith와 OpenTelemetry 기반 실행 추적 구조 설계
- 영수증 OCR에 동의·초안 확인·확정 단계를 적용해 민감 정보가 자동 저장되지 않도록 구현
주요 트러블슈팅과 기술적 판단
| 문제 | 진단 및 검증 | 해결 |
|---|---|---|
| GraphRAG가 구조 대비 효과를 내는지 불명확 | 그래프 밀도 0.13–0.25%, 고립 노드 56%를 확인하고 32개 질문에서 Vector·Hybrid 검색 결과 비교 | 순위 지표상 이점이 없고 추출 비용만 증가한다고 판단해 Neo4j·GraphRAG를 폐기하고 Vector RAG로 단순화 |
| 범용 Agent 구조의 운영 비용 증가 | 동일 계약의 80개 질문을 3회씩 실행해 정확도·토큰·턴 수·지연 비교 | 결과에 따라 Tool을 선택할 필요가 없다는 결론을 내리고 create_agent를 제거해 LangGraph를 단일 런타임으로 확정 |
| AI가 증상을 물은 뒤 다시 같은 질문을 반복 | 실제 실패 대화를 평가 세트로 만들고 멀티턴 상태 전이를 재현 | 증상이 누적되면 추가 질문을 중단하는 종료 규칙과 Pydantic 출력 계약 적용 |
| 대화 저장 중 PostgreSQL 트랜잭션 대기 발생 | 격리된 DB 환경에서 잠금과 외래키 검사 순서를 추적 | 외부 모델 호출을 DB 트랜잭션 밖으로 이동하고 인증·예약 트랜잭션 경계를 분리 |
Python Transformers Behavioral Testing Calibration
한국어 감정분석 모델을 단순 정확도가 아닌 실제 행동과 실패 유형을 중심으로 비교한 평가 프로젝트입니다.
- 한국어 Transformer 3종, TF-IDF 모델, 사전 기반 모델을 동일 조건에서 비교
- 202개 행동 테스트를 MFT·INV·DIR·UNC 유형과 14개 능력군으로 구성
- Brier Score·ECE·AURC와 고신뢰 오답 비율을 이용해 예측 신뢰도 분석
- 모델이 공통으로 틀린 139건을 직접 검토해 라벨 오류 23.0%, 판단 불가 57.6%, 실제 모델 오류 19.4%로 분류
정확도 하나로 모델을 선택하기보다, 어떤 상황에서 얼마나 위험하게 틀리는지를 확인했습니다.
FastAPI LangGraph Ollama Human-in-the-Loop
자연어 요청을 게시판 작업으로 변환하되, 데이터를 변경하는 작업은 사용자의 승인을 받아야 실행되는 AI Agent입니다.
- 조회는 자동 실행하고 생성·수정·삭제는 승인·수정·거절 절차를 거치도록 분리
- 정책에 없는 Tool은 실행하지 않는 default-deny 정책과 Pydantic 입력 검증 적용
- 승인 대기 상태를 저장해 서버 재시작 후에도 대화 흐름 복구
tool_call_id기반 멱등성 처리와 백엔드 테스트 146개·GitHub Actions CI 구성
Team Project React Native Expo TypeScript Gemini
사진에서 닮은 견종을 찾고 캐릭터를 성장시키며 대화하는 반려동물 앱입니다.
- 20개 견종 × 4단계, 총 80개 캐릭터를 SVG 조합으로 구현
- 견종별 팔레트·Breed Anchor·포즈표를 포함한 이미지 프롬프트 명세 작성
- 게임 규칙을 순수 함수로 분리하고 플랫폼별 이미지 처리 차이를 격리
| 프로젝트 | 담당 내용 |
|---|---|
| eval-pos-neg | 음성·표정을 결합한 로컬 멀티모달 감정분석 API와 단일 모달 fallback 구현 |
| DAENGS_CARDS | 반려견 데이터를 활용한 카드·자동 전투·3D 미니게임 프로토타입 개발 |
| ESG 탄소배출량 관리 시스템 | PM·풀스택 역할로 출고 도메인과 배출량 이상 탐지·LLM 보고서 기능 개발 |
- 비교 후 선택합니다. 동일한 질문과 조건을 고정한 뒤 비용·지연·품질을 측정합니다.
- 실패를 테스트로 남깁니다. 실제 사용자 대화와 운영 오류를 평가 세트와 회귀 테스트로 전환합니다.
- 경계를 명확히 합니다. LLM의 판단 영역과 코드가 강제해야 하는 정책·권한을 분리합니다.
- 결정을 기록하고 공유합니다. 실험 결과와 기술 선택의 근거를 PR과 문서로 남겨 팀이 같은 기준으로 판단할 수 있게 합니다.
| 영역 | 기술 |
|---|---|
| AI Engineering | LangGraph · LangChain · RAG · Gemini · OpenAI · Ollama |
| Backend & Data | Python · FastAPI · PostgreSQL · pgvector · SQLAlchemy |
| Evaluation | pytest · Behavioral Testing · LLM-as-a-Judge · Regression Test |
| Observability | LangSmith · OpenTelemetry · Google Cloud Trace |
| Product | TypeScript · Next.js · React Native · Expo |
| Delivery | Docker · GitHub Actions |
| 기간 | 소속·직무 | 주요 경험 |
|---|---|---|
| 2024.09–2025.09 | 세계로선박금융 · 펀드관리팀 매니저 | 46개 펀드 관리, 금융 구조·KYC·UBO·재무지표 검토, 공공·금융기관 대응 |
| 2023.07–2024.04 | SC제일은행 · ALM/Internal Liquidity Analyst | 유동성 위험 보고서 작성, Treasury·CEO Office 보고, ALCO 운영 지원 |
금융권에서 수치와 규정의 정합성을 검증한 경험을 AI 시스템의 평가·데이터 검증·안전한 실패 설계에 연결하고 있습니다.
| 기간 | 교육 |
|---|---|
| 2017.09–2020.07 | University of Leeds · BA Economics and Politics, 2:1 |
| 2025.12–2026.06 | 삼정KPMG · ESG Data 활용 AX Academy with AI Agent |
| 2026.07–2026.09 | 생성형 AI 활용 심화과정 |
- GitHub: github.com/frankie516c
- Email: frankie516c@gmail.com