「あの人も読んでる」略して「も読」。さまざまな寄稿者が最近気になった情報や話題をシェアする企画です。他のテックな人たちがどんな情報を追っているのか、ちょっと覗いてみませんか？
みなさんこんにちは。
「あの人も読んでる」、第10回目の投稿です。maguro (@yusuktan)がお届けします。
AIによって本当に生産性は向上しているのか？
数週間前からClaude Maxの月200ドルプランに課金しはじめて、Claude Codeを本格的に利用しています。
課金してから最初の数日はccusageを細かく眺めながら、毎日200ドルとか300ドルとかを使えることに快感を覚えていましたが、その後は数十ドルくらいに収まるくらいの利用にとどまっています。
Claude Code v1.0.44からはClaude Maxの定額サブスクリプションでのClaude Code Action利用が正式にサポートされるようになったこともあり、GitHub上で @claude のメンションを飛ばして具体的な処理の調査や新機能の実装方針の相談などをすることも多くなりました。この方法での利用分はccusageでは確認することができないのですが、いずれにしても月200ドルの価値は十分にあると感じます。
半年くらい前は、ChatGPT、Claude、Cursorのどれに課金するかを毎月検討して、せいぜい月40ドルくらいしか課金していなかったのが、いざ月200ドル課金し始めると「これは必要不可欠な課金だな」と思うようになって、財布のひもがどんどん緩んでいるのを感じます。
さて今回は、このようにAIツールを使うのがスタンダードになった今、「果たして本当にAIによって生産性が向上しているのか？」という核心に迫る調査結果が発表されていたため、こちらを紹介していきます。
この調査は、AIエージェントの評価を専門的に行う非営利団体、METRによって2025年初頭に実施されました。経験豊富なオープンソース開発者16名を対象に、AIツール（Claude 3.5/3.7 Sonnet + Cursor Pro）を使った場合と使わない場合で、実際のリポジトリのissueをどれくらいの速度で解決できるかを比較したのです。対象のオープンソースプロジェクトは平均22kスター、100万行以上のコードベースで、現実世界の問題を解決するのにAIツールがどれほど助けになるのかを評価するのには最高の条件です。
その結果はなんと、AIツールを使ったケースの方が19%遅かったのです！
さらにおもしろいことに、開発者自身は、issueにとりかかる前には「24%速くなるだろう」と予測し、さらに終えたあとも「20%速くなった」と回答した、というのです。つまり、予測と体感では開発速度が向上したように感じていたのにもかかわらず、観測された時間上は遅くなっていた、というギャップがあるという興味深い結果が現れたということです。
個人的に、このギャップを説明することができそうだなと思う仮説が1つあります（これは元エントリや論文中では述べられておらず、個人的な見解です）。実測値が悪化した一方で、開発者の体感的な数値は向上していたということは、「実時間に比して脳のCPU時間を消費していない、そして認知負荷やそれに伴う疲労も軽減されていたのではないか」ということです。
issueの種類にもよりますが、例えば「どこのコードをどんな感じで直せば良いのかはすぐに思いつくけど、実際にコードを書くのはちょっと億劫だな」というissueもあるでしょうし、あるいは「この機能追加はできたけど、ドキュメントを書くのはつまらないな」ということもよくあるはずです。そのようなケースで、実は自力でやったほうが速いけど、AIに依頼して何度かのイテレーションを経てタスクを終わらせたら、脳というCPUの時間の消費は抑えられるのでは、ということです。
仮にこの仮説が正しいとしたら、AIツールの使用によって、脳というCPUがアイドル状態になるケースが増える、ということが言えます。ちょうど本当のCPUがI/O待ちで手持ち無沙汰になるように、脳もAIに対するI/O待ち状態になるということです。
そして、そのようなアイドル状態を有効活用するためにすることといえば、並行化です。I/O待ちになったら別のタスクに切り替えて進めて、それがI/O待ちになったらまた別のタスクに切り替えて……を繰り返す。
これ、まさにClaude Codeのようなターミナルで動くAIエージェントが登場して以来、多くの人がtmuxなどのターミナルマルチプレクサを利用してやっていることではないでしょうか。つまり、単一のタスクにとりかかる場合の実時間は、AIツールによって悪化するかもしれない。しかし、AIによって脳というCPUリソースに空き時間ができ、並行化の余地が生まれる。それも考慮したら実時間でも短縮されるのでは、という予想ができます。
実際、本調査では、AIツールとしてCursorが利用されたということで、Claude CodeのようなCLIのAIエージェントを利用した場合にどうなるかは調べられていません。調査チームは、同様の調査を今後も継続的に実施し、AIの進化に伴う結果の変化を観察していく予定とのことなので、次回以降の発表が楽しみです。
おわりに
今回は、AIツールの利用が当たり前になった今だからこそ気になる「生産性は本当に向上しているのか？」という疑問に対する調査結果をご紹介しました。
実測値では速度が低下したにもかかわらず、開発者の体感では向上したと感じるというギャップは、非常に興味深いものでした。単純な作業速度だけでなく、認知負荷の軽減や並行作業の可能性といった、より広い視点で生産性を捉える必要があるのかもしれません。Claude Code登場以後の結果が反映される次回の調査結果に注目したいところです。
また次回、おすすめコンテンツを紹介していきます。お楽しみに！
maguroさんの「も読」過去記事
- OSSに長期で関わることの難しさ、イマドキNode.js、Rust界の超人が語るDB開発(7月11日公開)
- AIエージェント時代のセキュリティ - 隔離・パーミッション制御(6月30日公開)
- Rustの実践的な採用事例をながめる(6月13日公開)
- DockerなどのコンテナにおけるSIGTERMの取り扱い(5月30日公開)
- ライブコーディング視聴のすすめ(5月19日公開)
- 生成AIを使うか、使われるか - 学習を加速するための活用(5月8日公開)
- Rustの学習の難しさと取るべきルート(4月17日公開)
- MCPことはじめ / MCPサーバーのセキュリティリスク(4月4日公開)
- n月刊ラムダノート、実用Raft(3月21日公開)