"Does AI Assistance Enhance or Erode Expertise? Evidence from a Three-Month Field Experiment in..."

本ではなく、経済学の研究成果ですが、"Does AI Assistance Enhance or Erode Expertise? Evidence from a Three-Month Field Experiment in Patent Drafting" と題する論文を読みました。全米経済研究所(NBER)のワーキングペーパーであり、ざっくりいって、AIによる支援が専門的能力を高めるか、低下させるかについて、米国の知的財産法律事務所の特許弁護士を対象にしたランダム化比較実験(RCT)を実施しています。まず、ワーキングペーパーの引用情報は次の通りです。
Autor, David, Tanya Rodchenko, Josh Martin, Zanna Iscenko, Scott Strand, David Pearl and Melissa Ferere (2026) "Does AI Assistance Enhance or Erode Expertise? Evidence from a Three-Month Field Experiment in Patent Drafting," NBER Working Paper No.35720, National Bureau of Economic Research, Sep.2026

続いて、NBERのサイトからワーキングペーパーのABSTRACTを引用すると次の通りです。
------------------------------ ABSTRACT ------------------------------
Whether AI assistance builds or erodes professional expertise is unsettled. In a pre-registered three-month randomized controlled trial, we gave 133 practicing patent lawyers at eleven U.S. intellectual property law firms access to a custom AI drafting assistant and measured both their performance while using AI and their professional judgment afterward without it. All work was scored by blinded expert patent attorneys. Paralleling findings from other white-collar domains, AI access raised the quality of work delivered on benchmark patent drafting tasks at 10 days (0.34 SD, p = 0.03) and 90 days (0.38 SD, p = 0.01), with larger gains among junior lawyers. After three months, all subjects redlined an existing patent application without AI, a core task of patent practice requiring expert judgment. Treated lawyers outperformed controls by 0.32 SD (p = 0.04), but this advantage was concentrated entirely among senior lawyers (0.45 SD, p = 0.02). Junior lawyers showed no average gain; their scores instead bifurcated, with sharply fewer mediocre scores offset by more poor and more good ones. The largest gains from AI thus accrued to the lawyers who retained the least. Foundational expertise may be a prerequisite for extracting durable skill from AI-assisted practice.
------------------------------------------------------------

米国の知的財産法律事務所11社に所属する実務経験のある特許弁護士133名を対象に、独自のAIドラフティング(起草)支援ツールを利用することにより、AI使用時の業務パフォーマンスと、その後のAIを使用しない状態での専門的判断力の双方を測定する形で、3か月間のランダム化比較試験(RCT)を実施しています。といえば難しげですが、要するに、特許申請のドラフティング業務に関して、人工知能(AI)による支援が専門職の人的資本、特に専門的判断力の形成を促進するのか、どうかを評価しようと試みています。
その結果を端的に示したのが Figure 1: Impact of AI Access on Performance on Patent Drafting and Redlining Tasks: Pooled Scales and Component Subscales, Overall and By Seniority であると考えています。すなわち、このRCTでは、10日後と90日後に特許明細書の作成課題を実施し、さらに90日後にはAIを使用せず既存の特許出願書類をレビューし、修正できるかどうかのレッドライン課題を行わせた結果が示されています。Figure 1 の左のパネルが10日後のAI支援ドラフティング、真ん中のパネルが90日後のAI支援ドラフティング、右のパネルが90日後のAIなしレッドライン、となります。青いラインが若手=junior (under 7 years of experience) aであり、オレンジがベテラン=senior (7 or more years) の特許弁護士であり、黒がその平均、ということです。ですから、若手の仕事のクオリティはAI支援を受けると向上し、逆に、ベテランはそれほどでもない、といえる一方で、AIなしでの専門的判断を評価するレッドライン課題ではベテランのスキルアップの効果が大きいものの、若手ではそれほどでもない、という結果です。AI支援を受けた短期的な成果のクオリティの向上と人的資本の持続的形成は異なると評価すべき、ということです。別の角度から見ると、若手の場合は短期的な業務のクオリティの向上が見られる一方で、人的資本の持続的な形成は確認できず、逆に、ベテランの場合は短期的なクオリティの向上はそれほどでもない一方で、人的資本の持続的形成がなされている、ということです。このRCTは特許弁護士を対象に実施されていますので、ほかの業務でどうなるかについては慎重に考える必要があるとはいえ、とても興味深い結果だと私は受け止めています。特に、AI利用や人的資本形成に詳しいオーター教授がファーストオーサーですので信頼性はかなり高い、と受け止めるエコノミストが多そうな気がします。
最後に、これを大学生のリポート作成になぞらえて考えます。おそらく、大学生は経験7年未満の若手に分類されるでしょうから、リポートそのものは実力以上のいい出来のものとなる一方で、そのAIが示した結果をうまく取り入れて後々のリポート作成能力の向上につなげることについてはそれほど上手くいかない、ということになりそうな気がします。