.png&w=3840&q=75)
【#も読】LLMによるテスト生成 / Guardian / 圏論的量子力学入門(@kanade_k_1228)
投稿日時:
「あの人も読んでる」略して「も読」。さまざまな寄稿者が最近気になった情報や話題をシェアする企画です。他のテックな人たちがどんな情報を追っているのか、ちょっと覗いてみませんか?
Kanade (@kanade_k_1228) です。最近ハムスターを飼い始めました。ふと横を見ると、もけもけの毛玉が走りまわっていてかわいいです。
テスト生成
Automated Unit Test Improvement using Large Language Models at Meta
Meta 社の LLM を使ったテスト生成についての論文です。実際に Facebook と Instagram のテストに使用された実績についても記載されており、実用性の高い内容でした。論文は 2024 年 2 月と 1 年ほど前のものですが、考え方は今でも通用すると思います。
内容としては LLM が生成されたテストをフィルタリングするパイプラインを構築し、
- Build: ビルド可能か?
- Pass: テストが通過するか?
- Flake: テストが Flakey でないか?
- Coverage: テストカバレッジが向上したか?
これらをパスしたテストコードが、最終的にエンジニアのレビューを経てマージされるという流れです。LLM が生成したコードのフィルタリングやレビューをいかに自動化&効率化するかは、テスト生成に限らず、LLM コード生成全般において有効な手法だと思いました。