株式会社LayerX株式会社LayerX

LLMOpsのパフォーマンスを支える技術と現場で実践した改善

LangfuseLLMOps

サマリー

・LayerXはLLMOps基盤にLangfuse+ClickHouseを採用し、LLMトレース管理と精度評価を構築。
・運用中、トレース書き込みのTimeoutが多発し、EFSのスループット制限(Burstingモード)が原因と判明。
・Terraform初期値をElasticに修正し、Langfuseの安定稼働を実現。
・ClickHouseはデータをPart単位で格納し、granule+mark構造で圧縮・高速化。
・ネットワークとファイルシステム両方のスループットを意識する必要。
・AI診断だけでは限界があり、インフラ理解とDeep Diveが根本解決の鍵。

株式会社LayerXのAI情報をみる