オープンAI（OpenAI）が発表したチャットＧＰＴ(Generative Pretrained Transformer)が話題になっているが、この高性能の大規模言語モデルの成功は現在の言語学の主流であり、日本語記述文法他にも多大な影響を与えている生成文法論の破綻を意味している。
生成文法論の形式主語、機能主義的な非科学性については、これまで、
言語を自然科学の産物と捉える言語科学の妄想
https:/
脳科学の奇妙な言語獲得論
https:/
他で指摘してきたが、生得的な言語能力を前提とする生成文法論に対し、ニューラルネットワークによる統計的な深層学習の手法を用いるGPTのような大規模言語モデルの成功は、チョムスキーの言語理論の本質的な誤りを実証している。
統計的自然言語処理の研究者は次のように指摘している。
Modern language models refute Chomsky’s approach to language
Steven Piantadosi
March 2023
緒言
The rise and success of large language models undermines virtually every strong claim for the innateness of language that has been proposed by generative linguistics. Modern machine learning has subverted and bypassed the entire theoretical framework of Chomsky's approach, including its core claims to particular insights, principles, structures, and processes. I describe the sense in which modern language models implement genuine theories of language, including representations of syntactic and semantic structure. I highlight the relationship between contemporary models and prior approaches in linguistics, namely those based on gradient computations and memorized constructions. I also respond to several critiques of large language models, including claims that they can't answer ``why'' questions, and skepticism that they are informative about real life acquisition. Most notably, large language models have attained remarkable success at discovering grammar without using any of the methods that some in linguistics insisted were necessary for a science of language to progress.
https:/
deepl 翻訳
大規模な言語モデルの台頭と成功は、生成言語学によって提案された言語の生得性に対する事実上すべての強力な主張を弱体化させます。
現代の機械学習は、特定の洞察、原則、構造、およびプロセスに対するその中心的な主張を含む、チョムスキーのアプローチの理論的枠組み全体を覆し、迂回しました。私は、現代の言語モデルが、構文的および意味的構造の表現を含む、本物の言語理論を実装する感覚について説明します。
また、「なぜ」の質問に答えられないという主張や、実際の獲得について有益であるという懐疑論など、大規模な言語モデルに対するいくつかの批判にも応えます。最も注目すべきは、大規模な言語モデルは、言語学の一部が言語科学の進歩に必要であると主張した方法を使用せずに文法を発見することに目覚ましい成功を収めたことです。／／
こうした生成文法論の本質的な誤りについては既に半世紀以上前に、三浦つとむにより、
チョムスキー文法論の逆立ち的性格
http://
他で指摘されているが、深層学習に基づく大規模言語モデルの台頭と成功は三浦の指摘の正しさを明証するとともに、三浦により展開された言語過程説がこの成功が言語のどのような本質に支えられているのかを考えるのに多大なヒントを与えることになっている。
現在の生成文法論はもとより、構造言語学や記述文法論などはこうした大規模言語モデルの展開、理解には全く無力である事実を先ず理解し、言語過程説の科学としての性格を正しく理解し発展させることが重要である。
GPT-3、機械学習については下記を参照。
「GPT-3とは」
https:/
橋本幸士 (編集) 『物理学者,機械学習を使う』朝倉書店 (2019/10/10)
●目次
0. 機械学習,深層学習が物理に何を起こそうとしているか [橋本幸士]
第1部 物 性
1. 深層学習による波動関数の解析 [大槻東巳・真野智裕]
2. 量子多体系とニューラルネットワーク [斎藤弘樹]
3. 機械学習でハミルトニアンを推定する [藤田浩之]
4. 深層学習とポテンシャルフィッティング [安藤康伸]
第2部 統 計
5. 自己学習モンテカルロ法 [永井佑紀]
6. 深層学習は統計系の配位から何をどう学ぶのか [青木健一・藤田達大・小林玉青]
第3部 量子情報
7. 量子アニーリングが拓く機械学習の新時代 [大関真之]
8. 量子計測と量子的な機械学習 [久良尚任]
第4部 素粒子・宇宙
9. 深層学習による中性子星と核物質 [福嶋健二・村瀬功一]
10. 機械学習と繰り込み群 [船井正太郎]
11. 量子色力学の符号問題への機械学習的アプローチ [柏 浩司]
12. 格子場の理論と機械学習 [富谷昭夫]
13. 深層学習と超弦理論 [橋本幸士] ／／
■
生成文法論の形式主語、機能主義的な非科学性については、これまで、
言語を自然科学の産物と捉える言語科学の妄想
https:/
脳科学の奇妙な言語獲得論
https:/
他で指摘してきたが、生得的な言語能力を前提とする生成文法論に対し、ニューラルネットワークによる統計的な深層学習の手法を用いるGPTのような大規模言語モデルの成功は、チョムスキーの言語理論の本質的な誤りを実証している。
統計的自然言語処理の研究者は次のように指摘している。
Modern language models refute Chomsky’s approach to language
Steven Piantadosi
March 2023
緒言
The rise and success of large language models undermines virtually every strong claim for the innateness of language that has been proposed by generative linguistics. Modern machine learning has subverted and bypassed the entire theoretical framework of Chomsky's approach, including its core claims to particular insights, principles, structures, and processes. I describe the sense in which modern language models implement genuine theories of language, including representations of syntactic and semantic structure. I highlight the relationship between contemporary models and prior approaches in linguistics, namely those based on gradient computations and memorized constructions. I also respond to several critiques of large language models, including claims that they can't answer ``why'' questions, and skepticism that they are informative about real life acquisition. Most notably, large language models have attained remarkable success at discovering grammar without using any of the methods that some in linguistics insisted were necessary for a science of language to progress.
https:/
deepl 翻訳
大規模な言語モデルの台頭と成功は、生成言語学によって提案された言語の生得性に対する事実上すべての強力な主張を弱体化させます。
現代の機械学習は、特定の洞察、原則、構造、およびプロセスに対するその中心的な主張を含む、チョムスキーのアプローチの理論的枠組み全体を覆し、迂回しました。私は、現代の言語モデルが、構文的および意味的構造の表現を含む、本物の言語理論を実装する感覚について説明します。
また、「なぜ」の質問に答えられないという主張や、実際の獲得について有益であるという懐疑論など、大規模な言語モデルに対するいくつかの批判にも応えます。最も注目すべきは、大規模な言語モデルは、言語学の一部が言語科学の進歩に必要であると主張した方法を使用せずに文法を発見することに目覚ましい成功を収めたことです。／／
こうした生成文法論の本質的な誤りについては既に半世紀以上前に、三浦つとむにより、
チョムスキー文法論の逆立ち的性格
http://
他で指摘されているが、深層学習に基づく大規模言語モデルの台頭と成功は三浦の指摘の正しさを明証するとともに、三浦により展開された言語過程説がこの成功が言語のどのような本質に支えられているのかを考えるのに多大なヒントを与えることになっている。
現在の生成文法論はもとより、構造言語学や記述文法論などはこうした大規模言語モデルの展開、理解には全く無力である事実を先ず理解し、言語過程説の科学としての性格を正しく理解し発展させることが重要である。
GPT-3、機械学習については下記を参照。
「GPT-3とは」
https:/
橋本幸士 (編集) 『物理学者,機械学習を使う』朝倉書店 (2019/10/10)
●目次
0. 機械学習,深層学習が物理に何を起こそうとしているか [橋本幸士]
第1部 物 性
1. 深層学習による波動関数の解析 [大槻東巳・真野智裕]
2. 量子多体系とニューラルネットワーク [斎藤弘樹]
3. 機械学習でハミルトニアンを推定する [藤田浩之]
4. 深層学習とポテンシャルフィッティング [安藤康伸]
第2部 統 計
5. 自己学習モンテカルロ法 [永井佑紀]
6. 深層学習は統計系の配位から何をどう学ぶのか [青木健一・藤田達大・小林玉青]
第3部 量子情報
7. 量子アニーリングが拓く機械学習の新時代 [大関真之]
8. 量子計測と量子的な機械学習 [久良尚任]
第4部 素粒子・宇宙
9. 深層学習による中性子星と核物質 [福嶋健二・村瀬功一]
10. 機械学習と繰り込み群 [船井正太郎]
11. 量子色力学の符号問題への機械学習的アプローチ [柏 浩司]
12. 格子場の理論と機械学習 [富谷昭夫]
13. 深層学習と超弦理論 [橋本幸士] ／／
■
|
|
|
|
コメント(5)
前項で、
言語とは何かを明らかにすることができていない言語学はこの現実に全く無力である。
と述べましたが、認知言語学者である今井 むつみ氏が記号接地の問題として積極的に発言されています。
算数が苦手な子どもはAIと似ている 「記号接地問題」とは？
https://business.nikkei.com/atcl/gen/19/00554/062200004/#:~:text=%E6%84%8F%E5%91%B3%E3%82%92%E7%90%86%E8%A7%A3%E3%81%97%E3%81%AA%E3%81%84%E8%A8%98%E5%8F%B7,%E3%80%8C%E8%A8%98%E5%8F%B7%E6%8E%A5%E5%9C%B0%E5%95%8F%E9%A1%8C%E3%80%8D%E3%81%A7%E3%81%99%E3%80%82
ChatGPTには言葉の「意味」が分からない カギは「記号接地」
https://www.asahi.com/articles/ASR7P3F2TR7LUCVL06M.html?linkType=article&id=ASR7P3F2TR7LUCVL06M&ref=mor_mail_free_topix1_20230724
しかし、ここでいう「記号接地」とは規範としての意義の問題であり、規範論、意味論を展開できない認知言語学が単に現象としての「記号接地」を問題にしても何ら本質的な理解にはなりません。
そもそも記号とは何かを明らかにできずに問題をすり替える程度の意義しかないことは明らかです。
この点については、
言語はどんな矛盾を含んでいるか ： 【３】 対象の捉え方における矛盾
https://mixi.jp/view_bbs.pl?comm_id=2748&id=99412669
言語はどんな矛盾を含んでいるか 【7】 言語表現の発展とレーニンの記号論の限界
https://mixi.jp/view_bbs.pl?comm_id=2748&id=99421965
他を参照下さい。■
言語とは何かを明らかにすることができていない言語学はこの現実に全く無力である。
と述べましたが、認知言語学者である今井 むつみ氏が記号接地の問題として積極的に発言されています。
算数が苦手な子どもはAIと似ている 「記号接地問題」とは？
https://business.nikkei.com/atcl/gen/19/00554/062200004/#:~:text=%E6%84%8F%E5%91%B3%E3%82%92%E7%90%86%E8%A7%A3%E3%81%97%E3%81%AA%E3%81%84%E8%A8%98%E5%8F%B7,%E3%80%8C%E8%A8%98%E5%8F%B7%E6%8E%A5%E5%9C%B0%E5%95%8F%E9%A1%8C%E3%80%8D%E3%81%A7%E3%81%99%E3%80%82
ChatGPTには言葉の「意味」が分からない カギは「記号接地」
https://www.asahi.com/articles/ASR7P3F2TR7LUCVL06M.html?linkType=article&id=ASR7P3F2TR7LUCVL06M&ref=mor_mail_free_topix1_20230724
しかし、ここでいう「記号接地」とは規範としての意義の問題であり、規範論、意味論を展開できない認知言語学が単に現象としての「記号接地」を問題にしても何ら本質的な理解にはなりません。
そもそも記号とは何かを明らかにできずに問題をすり替える程度の意義しかないことは明らかです。
この点については、
言語はどんな矛盾を含んでいるか ： 【３】 対象の捉え方における矛盾
https://mixi.jp/view_bbs.pl?comm_id=2748&id=99412669
言語はどんな矛盾を含んでいるか 【7】 言語表現の発展とレーニンの記号論の限界
https://mixi.jp/view_bbs.pl?comm_id=2748&id=99421965
他を参照下さい。■
- mixiユーザー
- ログインしてコメントしよう！
|
|
|
|
言語学 更新情報
-
最新のアンケート
言語学のメンバーはこんなコミュニティにも参加しています
人気コミュニティランキング
- 1位
- 写真を撮るのが好き
- 208260人
- 2位
- マイミク募集はここで。
- 89481人
- 3位
- お洒落な女の子が好き
- 89972人