Skip to content

chore: dev VLM 을 gemini-2.5-flash 로 일시 되돌려 3자 품질 비교

변재혁 requested to merge feature/vlm-model-gemini-3.5-flash-lite into develop

3.5-flash-lite 의 minimal/HIGH 는 측정했으나 정작 운영에 돌던 gemini-2.5-flash 는 실측이 없다(dev 로그 1주일치에 VLM 호출 0건). 기준선 없이 비용 4.2배를 판단할 수 없으므로 같은 문서로 3자 비교를 완성한다.

  • config_dev.yml 만 변경. stg/prod 는 gemini-3.5-flash-lite 유지.
  • thinking_level 은 비운다. Gemini 3.x 전용 파라미터이고, 2.5-flash 는 thinking 이 기본 ON 이라 지정할 필요도 없다.

측정 이력(같은 파일: 다우오피스4.0 소개자료_20250708v1.pdf)

  • 23651 = 3.5-flash-lite / minimal : 설명 9p, 센티널 4건, out 382tok, 2.67s, 20원
  • 23701 = 3.5-flash-lite / HIGH : 설명 12p, 센티널 1건, out 1651tok, 6.88s, 84원
  • 이번 = 2.5-flash : ?

판정 기준은 7페이지다. 텍스트 레이어가 연도·라벨이 붙어버린 상태로 깨져 있어 minimal 은 센티널로 넘겼고 HIGH 만 타임라인 7개 연도를 복원했다.

주의: gemini-2.5-flash 는 2026-10-20 은퇴(Vertex)이므로 측정 후 반드시 gemini-3.5-flash-lite 로 원복해야 한다.

706 tests pass.

Co-Authored-By: Claude Opus 5 (1M context) noreply@anthropic.com

Merge request reports