【#も読】生産性のパラドックス――AIで「速くなった気がする」のに実測値は19%悪化(@yusuktan)のトップ画像

【#も読】生産性のパラドックス――AIで「速くなった気がする」のに実測値は19%悪化(@yusuktan)

投稿日時:
maguroのアイコン

Deno Land Inc. / ソフトウェアエンジニア

maguro

Xアカウントリンク

「あの人も読んでる」略して「も読」。さまざまな寄稿者が最近気になった情報や話題をシェアする企画です。他のテックな人たちがどんな情報を追っているのか、ちょっと覗いてみませんか?


みなさんこんにちは。

「あの人も読んでる」、第10回目の投稿です。maguro (@yusuktan)がお届けします。

AIによって本当に生産性は向上しているのか?

数週間前からClaude Maxの月200ドルプランに課金しはじめて、Claude Codeを本格的に利用しています。

課金してから最初の数日はccusageを細かく眺めながら、毎日200ドルとか300ドルとかを使えることに快感を覚えていましたが、その後は数十ドルくらいに収まるくらいの利用にとどまっています。

Claude Code v1.0.44からはClaude Maxの定額サブスクリプションでのClaude Code Action利用が正式にサポートされるようになったこともあり、GitHub上で @claude のメンションを飛ばして具体的な処理の調査や新機能の実装方針の相談などをすることも多くなりました。この方法での利用分はccusageでは確認することができないのですが、いずれにしても月200ドルの価値は十分にあると感じます。

半年くらい前は、ChatGPT、Claude、Cursorのどれに課金するかを毎月検討して、せいぜい月40ドルくらいしか課金していなかったのが、いざ月200ドル課金し始めると「これは必要不可欠な課金だな」と思うようになって、財布のひもがどんどん緩んでいるのを感じます。

さて今回は、このようにAIツールを使うのがスタンダードになった今、「果たして本当にAIによって生産性が向上しているのか?」という核心に迫る調査結果が発表されていたため、こちらを紹介していきます。

この調査は、AIエージェントの評価を専門的に行う非営利団体、METRによって2025年初頭に実施されました。経験豊富なオープンソース開発者16名を対象に、AIツール(Claude 3.5/3.7 Sonnet + Cursor Pro)を使った場合と使わない場合で、実際のリポジトリのissueをどれくらいの速度で解決できるかを比較したのです。対象のオープンソースプロジェクトは平均22kスター、100万行以上のコードベースで、現実世界の問題を解決するのにAIツールがどれほど助けになるのかを評価するのには最高の条件です。

その結果はなんと、AIツールを使ったケースの方が19%遅かったのです!

この記事のつづきを読もう
新規登録/ログインしたらできること
  • すべての記事を制限なく閲覧可能
  • 限定イベントに参加できます
  • GitHub連携でスキルを可視化
ログイン
アカウントをお持ちでない方はこちらから新規登録