AI工具反讓資深開發者效率下降19%！

非營利AI研究機構METR近期發布報告，揭示資深開發者在利用AI協助完成任務時，所需時間反而增加19%。

METR專注於評估尖端AI模型的能力與風險，堅持獨立性，未接受AI公司資金。

此次研究中，METR邀請16名平均擁有2.2萬顆GitHub星星的資深開發者，執行246個真實任務，包括修復漏洞、開發新功能及程式碼重構等，任務平均耗時約2小時。

開發者被隨機分為AI組與禁用AI組，前者多使用Cursor Pro搭配Claude Sonnet，後者則使用傳統IDE，並錄製螢幕與自報時間。

研究前，開發者預期AI能提升24%效率，但結果顯示使用AI後時間增加19%。

更令人意外的是，即便效率下降，開發者主觀仍認為AI讓他們快了20%。

METR指出，傳統基準測試往往缺乏真實性，難以反映AI工具在實際工作中的效益，且開發者對AI效能存在認知偏差。

METR建議未來應進行更多基於現場情境的實測研究，而非僅依賴基準測試或主觀印象，以更準確評估AI在部署環境中的影響。

這項研究凸顯AI工具在實際應用中的複雜性，提醒業界需謹慎看待AI的潛在效益與局限性。