サマリー

・経費申請における申請者・承認者の負担軽減を目的に、AIがリアルタイムで入力内容をレビューする「AI申請レビュー」を開発している。
・ルールベースによる決定的処理と、LLMによる柔軟な判断を組み合わせる設計を採用している。
・精度検証にはLangfuseを利用し、プロンプトのバージョン管理・データセットによる自動スコアリングを行うことで改善を数値で判断している。
・プロンプトはコードと同様にPRで変更管理し、CIで自動検証を回すなど、LLMを安全かつ継続的に改善できる運用体制を構築している。