株式会社LayerX株式会社LayerX

帳票構造化タスクにおけるLLMファインチューニングの性能評価

LLM

サマリー

・OCR出力(帳票の文字検出結果)から「日付・金額・取引先名」など27項目を抽出してJSON化。評価指標は「スキーマ適合率」と「正解率」。
・Fine-tuning後、全モデルでスキーマ適合率99.6%以上・正解率平均76.5%を達成。特にLlama-3.1-Swallowが最も安定・高精度。Qwen3-4Bは軽量ながら高精度で有力な小型モデル候補。Claude Sonnet 4は金額・日付で高性能だが日本語固有名詞(取引先名)に弱い。
・少量データ(2000件)でもFine-tuningにより軽量モデルが商用モデルに迫る精度を実現。日本語帳票構造化における小型LLM活用の実用性を示した。"

株式会社LayerXのAI情報をみる