この記事で分かること
- 形式意味論が何を決めた分野なのか。真理条件・構成性・関数適用・量化・スコープ・前提と含意・分布意味論の7語を、例つきで
- その前提を「指示・構成性・否定と量化・前提・翻訳」の5つの軸にほどくと、LLMの意味を調べた論文70本がどこに並ぶか
- 一番弱い現象(否定)と、意外に強い現象(スコープ)。測り方で結論が割れる現象(量化詞)
- 前回の統語の記事と並べたときに、「LLMは言語を理解している」のどこまでが言えて、どこからが言えないか
1. 先に用語。形式意味論は何を決めたのか
形式意味論は、1970年前後に Richard Montague が始めた分野です。言っていることは一つで、自然言語の意味も、数学の道具(論理・集合・関数)で厳密に書ける。Montague は1970年の論文を、自然言語と形式言語の間に理論上の重要な違いはない、という宣言から始めました[S01]。同じ年に英語の断片へ真理条件的な意味論を実際に与え[S02]、1973年には量化名詞句を統一的に扱う方法を書き切りました[S03]。現在の標準教科書は Heim と Kratzer(1998年)で、統語の木の各ノードに関数適用で意味を割り当てていく計算を一冊かけて練習します[S04]。
用語を7つに絞ります。
- 真理条件(truth conditions)。文の意味とは「その文がどんな状況で真になるか」の条件です。「雪は白い」の意味を知っているとは、雪が白い世界では真、そうでなければ偽、と判定できることです。意味を頭の中のイメージではなく、世界との対応で定義します
- 構成性(compositionality)。文全体の意味は、部分の意味と、組み合わせ方だけから決まります。「赤い本を読んだ」なら「赤い」「本」「読んだ」それぞれの意味と、統語の木の組み方で決まる。前回のXバー理論の木が、ここで意味の計算の足場になります
- 関数適用(function application)。単語の意味は集合や関数です。「走る」は走るものの集合、「赤い」は名詞の意味を受け取って赤いものだけを返す関数。主要部が補部を「取る」ことが、関数が引数に適用されることに対応します
- 量化(quantification)。「すべての」「ある」「ほとんどの」は、二つの集合を受け取って真偽を返す関数です。「すべての学生が走った」は、学生の集合が走った者の集合に含まれるなら真。式で書けば ∀x [学生(x) → 走った(x)] です
- スコープ(scope)。「すべての学生がある本を読んだ」は、全員が同じ本なのか、各自別の本なのかで二通りに読めます。量化詞のどちらが外側にあるか、という式の構造の違いです。否定と量化詞が同じ文にあるときも同じ曖昧さが出ます
- 前提(presupposition)と含意(implicature)。「やめた」は「以前していた」を前提します。否定しても(「やめていない」)前提は残ります。「何人かは来た」は「全員ではない」をほのめかします。前者は意味論、後者は語用論との境目にあり、形式意味論はこの線引きを長く議論してきました
- 分布意味論(distributional semantics)。対照的な立場です。意味を「文脈の統計」としてベクトルで表します。word2vec も LLM の埋め込みもこちらです。両者をつなぐ試みは、形式意味論の関数適用をベクトルと行列の積として実装する「構成的分布意味論」[S06]や、文法型の代数と分布ベクトルを圏論で統合する DisCoCat[S05]として2010年代にあり、Boleda(2020年)が理論言語学との接点を総覧しています[S07]
2. LLMに問う5つの軸
この骨組みを、LLMに問う軸に変えます。
- T 真理条件と指示。形式(文字列)だけで訓練されたモデルが、形式の外にある世界との対応を持ちうるか
- C 構成性。部分の意味と組み合わせ方から、見たことのない組み合わせの意味を出せるか
- Q 否定・量化・スコープ・単調性。形式意味論が最も精密に扱ってきた個別現象を、正しく処理するか
- P 前提・含意。意味論と語用論の境目の推論を扱えるか
- F 形式表現への翻訳。LLMを「自然言語から論理式への翻訳器」として使い、推論を記号処理に任せられるか
70本の内訳は、T が16本、C が15本、Q が19本、P が11本、F が10本、形式意味論の原典と理論が8本です(1本が複数の軸に入ることがあります)。
3. 真理条件と指示(T)は、哲学で割れたまま
Bender と Koller(ACL 2020)は、意味を「形式と、形式の外にある意図や世界との関係」と定義し、テキストだけで訓練されたモデルは意味を学べないと論じました[S11]。海底ケーブルを盗聴して会話を学ぶタコの思考実験で知られます。Bisk ら(EMNLP 2020)も同じ年に、テキストだけでは言語理解は頭打ちになると主張し、知覚・身体・社会へ「世界の範囲」を広げる段階を描きました[S12]。Merrill ら(TACL 2021)はこれを形式化し、同じ表現が文脈で値を変える言語では、文からの意味の復元が計算不能になりうると証明しています[S13]。
反論も厚い。Piantadosi と Hill(2022年)は、意味を「内部表現どうしの関係」(概念役割)と見れば参照はなくてよいと返しました[S14]。Søgaard(2023年)は Bender と Koller に直接応答し、生テキストから学んだベクトル空間が知覚空間と構造的に同型になりうるので「接地」は可能だと論じました[S16]。Mollo と Millière(2023年)は記号接地問題の現代版として、人間のフィードバックによる訓練などで世界との因果的な結びつきがあれば、LLMの内部状態は外界について「指示」しうると論じ[S17]、Mandelkern と Linzen(2024年)は言語哲学の外在主義を使って、LLMの語も人間の使用の連鎖を通じて世界を指示しうると主張しています[S18]。Lederman と Mahowald(2024年)は LLM を「図書館」(意味は人間の文に由来)と見る立場を擁護しつつ、新しい名前で新しい対象を指す例がその見方の限界になると指摘しました[S19]。Pavlick(2023年)は、これは経験的に調べるべき問いで、現時点では両方の証拠が部分的にあると整理しています[S15]。
経験的な証拠は中間にあります。Abdou ら(CoNLL 2021)は、テキストだけで学んだ色の語の表現が、知覚的な色空間(CIELAB)の距離構造と有意に対応することを示しました[S20]。Li、Nye、Andreas(ACL 2021)は、BART や T5 の内部表現が談話中の実体の状態を追跡していて、動的意味論のモデルに機能的に似ていると示しました[S21]。Zhang ら(2024年)は、分布意味論の予測に反して、LLM が「many」のような曖昧な量化詞より「more than half」のような厳密な量化詞で人間の判断に近いことを見つけています[S26]。
「真理条件そのもの」ではないが、「世界の構造の一部」はテキストから入っている。これが現時点の落としどころです。Mahowald ら(2024年)はこれを「形式的言語能力(規則とパターン)は高く、機能的言語能力(世界の中で言語を使う)はまだら」と整理しました[S23]。
4. 否定・量化・スコープ(Q)は、現象ごとに結果が違う
否定は最も弱い
BERT の時代から一貫しています。Ettinger(TACL 2020)は心理言語学の診断セットで、BERT が「ロビンは鳥ではない」の後にも「鳥」を予測することを示し[S37]、Kassner と Schütze(ACL 2020)は「鳥は飛べる」と「飛べない」の穴埋めが区別されないと示しました[S38]。Hossain ら(EMNLP 2020)は、既存の推論ベンチマークに否定を含む例が少なく、否定が効く例では精度が大きく落ちると報告しています[S39]。
LLM になっても変わりません。Truong ら(2023年)は GPT-3 系を含む LLM が、否定の存在に無感覚で、否定の語彙的意味を捉えず、否定の下での推論に失敗するという三つの限界を持つと報告しました[S42]。García-Ferrero ら(EMNLP 2023)は約40万文の否定ベンチマークで、LLM が肯定文の分類はできるが否定文では表層手がかりに頼り、微調整しても汎化しないと示しています[S43]。否定を含む指示では、モデルが大きいほど成績が下がる逆スケーリングも出ました[S41]。文脈を伴う設定では改善する例もあります[S40]。
2026年には二つの新しい報告があります。Tan と Blanco(EMNLP 2026)は、200種以上の否定表現を含む180万例で追加訓練すると、よく研究されてきた not 型の寄与は小さく、接辞否定(un- など)のほうが否定理解を改善したと報告しました[S44]。Bao ら(2026年)は、否定の読み(閉世界か三値か)を指定したときに LLM がそれに従えるかを、論理ソルバーで検証した問題で測るベンチマークを提案しています[S45]。法律や医療では否定の読みが分野で違う、という問題意識です。
量化詞は、測り方で割れる
Michaelov と Bergen(2023年)は「few」型の量化詞の後の予測で22モデルすべてが不調で、大きいモデルほど悪い逆スケーリングを示したと報告しました[S46]。Gupta(2023年)はそれを測定法の問題だと反論し、別の測り方では few 型と most 型の意味の差をモデル規模とともに捉えると示しています[S47]。Dentella ら(PNAS 2023)は文法性判断を繰り返し問うと LLM の正答率は低く不安定で「はい」に偏ると報告しており[S54]、評価の仕方そのものが結論を動かす分野です。
単調性推論(「犬が走った」から「動物が走った」が出るような、句の置換で含意が決まる推論)は、日本の研究が先行しています。谷中らは HELP データセットで既存モデルがこれを苦手とすることを示し[S49]、ACL 2020 では訓練と統語構造が近ければ未知の語彙の組み合わせにも汎化するが、構造が少し変わると大きく落ちると示しました[S50]。Richardson ら(AAAI 2020)は量化・条件・比較・単調性の「意味の断片」で BERT を調べ、最初は不調だが短い追加学習で習得できると報告しています[S51]。
スコープは、意外に強い
Kamath ら(TACL 2024)は約1,000文のスコープ曖昧文で、LLM が曖昧性に人間と同じ向きで感応し、人間の好む読みを最大90%超の精度で選ぶことを示しました[S48]。否定と量化詞を単独で正しく扱えないのに、二つの相対的な順序は人間と同じに読める、という結果です。
5. 構成性(C)は「分布内では完璧、分布外では崩れる」。使い方で変わる
Lake と Baroni(ICML 2018)の SCAN は、系列モデルが訓練と似た命令には汎化するが、「dax twice」のような体系的な合成を要する場合に大きく失敗することを示しました[S27]。Kim と Linzen(EMNLP 2020)の COGS は意味解析の形で同じことを示し、分布内の精度は96〜99%、構成的汎化の精度は16〜35%でした[S29]。Hupkes ら(JAIR 2020)は「構成的」の意味が論者で違うことを整理し、5つのテストに分けました[S28]。
ただし三つの注意があります。第一に、事前学習で語彙に触れているため構成的汎化は過大評価されうる[S30]。第二に、自然言語の構成性は算術のように固くなく、機械翻訳ではデータが多いほど構成的になる[S33]。第三に、語順を無作為に崩した文で事前学習した BERT でも下流タスクの精度がほぼ落ちない、という結果があり、成功の大半が高次の共起統計で説明できる可能性があります[S35]。反事実課題でも成績は一貫して落ちます[S36]。
使い方で変わる、という結果も出ています。Lake と Baroni(Nature 2023)はメタ学習で、標準的なニューラルネットが人間並みの体系的汎化を示すと報告しました[S34]。Drozdov ら(ICLR 2023)は統語解析を先にさせてから少しずつ意味解析を生成する促しで、構成的汎化の最高精度を更新しています[S32]。モデル規模については、全パラメータの微調整では改善せず、文脈内学習では規模とともに改善しました[S31]。谷中らの SyGNS は量化詞と否定の未知の組み合わせを論理式へ写像する課題で、形が近い組み合わせには汎化するがそれ以外には汎化しないと報告しています[S52]。日本語では JSICK が語順と格助詞の入れ替えへの感度を構成的に評価しています[S53]。
6. 前提と含意(P)は「単純な例はできる、文脈が絡むと崩れる」
Jeretic ら(ACL 2020)は含意と前提の診断セットで、BERT が「some」の尺度含意は学ぶが、前提は引き金によってしか扱えないと示しました[S55]。Parrish らの NOPE コーパス(CoNLL 2021)では、Transformer は単純な前提は正しく推論するが、文脈と引き金が複雑に絡む少数例で失敗しました[S56]。動詞の事実性(「知っている」は真を前提するが「思っている」はしない)も、NLI モデルは人間の判断を部分的にしか再現せず[S57]、語彙的な手がかりが語用論的な読みと食い違う例に失敗します[S58]。
含意では、Ruis ら(NeurIPS 2023)が「手袋をしていた」から「指紋は残していない」を読む課題で、ほとんどの LLM が偶然に近く、例示付きの指示微調整モデルだけが人間に迫ったと報告しました[S59]。一方 Hu ら(ACL 2023)は7種の語用論現象で、最大のモデルが高精度かつ人間と同じ誤り方をすると示しています[S60]。Jian と Siddharth(2024年)は合理的発話行為モデルと比べ、相関はあるが語用論的な話者と言える証拠は不足と結論しました[S61]。
2026年の研究も同じ形です。Azin らは条件文での前提投射を120人と4つの LLM で比べ、人間に近い評定を出すモデルほど語用論的な理由づけが一貫しない、という乖離を報告しました[S63]。前提投射の「proviso 問題」では、モデルは人間の判断に概ね合うが浅いパターン照合に頼っています[S64]。Sathyanathan ら(ACL 2026)は、誤った前提を含む質問に対し、推論モデルでも26〜42%は前提を正さず答えてしまうと報告しました[S65]。「even」「only」の尺度表現でも、出力は似るが背後の仕組みは異なる可能性が示唆されています[S62]。
7. 翻訳器としてのLLM(F)。出口はここにある
形式意味論を実用に乗せる道は、LLM 以前からありました。Zettlemoyer と Collins(2005年)は文をラムダ計算の論理式へ写像する文法を訓練データから誘導し[S08]、峯島・戸次らは CCG 解析から高階論理式を合成して定理証明器で含意を判定する仕組みを作り[S09]、ccg2lambda として公開しました[S10]。語彙の意味テンプレートを差し替えれば日英どちらでも論理式が出ます。
LLM 時代の出口は、この分業をそのまま使います。LLM に「自然言語を論理式に翻訳」だけさせて、推論は定理証明器やソルバーに任せる。LINC(EMNLP 2023、Outstanding Paper)は LLM を意味解析器として一階論理へ翻訳し、プロンプトだけの推論より堅牢でした[S67]。Logic-LM(2023年)も同じ構成で、5つの論理推論データセットで改善し、ソルバーのエラーを使って翻訳を直す仕組みを持ちます[S68]。Wong ら(2023年)はさらに広く、LLM を「自然言語から確率的な思考言語への翻訳器」として使い、記号的な世界モデルで推論する枠組みを提案しました[S66]。Clark ら(IJCAI 2020)は逆に、自然言語で書かれた規則と事実から Transformer が演繹推論をほぼ完全に学べることを示しており、「柔らかい」形式論理の模倣も可能です[S69]。
これは Montague が「自然言語は形式言語として扱える」と言った、まさにその分業です。ただし翻訳器としての信頼性は検証が要ります。Dan(2026年)は手書き文法 ERG の意味表現 MRS について、LLM は MRS から文を書くのは得意でも、文から MRS を解析する側は手書き文法に大きく劣ると報告しました[S70]。意味表現を「読む」のと「書く」のは非対称です。
8. 軸×立場の集計
ファクトシートの「軸」「立場」欄から本数を数えました。1本が複数の軸に入ることがあります。
| 軸 | 支持 | 反証 | 中立 | 基礎 | 計 |
|---|---|---|---|---|---|
| T 真理条件と指示 | 7 | 3 | 6 | 0 | 16 |
| C 構成性 | 2 | 4 | 7 | 2 | 15 |
| Q 否定・量化・スコープ | 2 | 9 | 8 | 0 | 19 |
| P 前提・含意 | 1 | 3 | 7 | 0 | 11 |
| F 翻訳 | 4 | 0 | 3 | 3 | 10 |
読み方は三つです。T は哲学の論争で、支持と反証が拮抗している。Q は反証が最も多く、しかもその大半が否定(S37〜S39、S41〜S43)に集中している。F は反証がなく、「LLM を翻訳器にして推論は記号処理に任せる」構成が実務の出口として安定している。
9. 前回の統語の記事と並べる
統語は「階層が創発するが、保証はなく、木を与えたほうが確実」でした。意味は「世界の構造の一部はテキストから入るが、真理条件の計算(否定・量化・分布外の合成)は保証されない」です。
二つを並べると、同じ形をしています。どちらも「訓練から出てくるものはあるが、形式意味論や生成文法が要求する厳密さには届かず、明示的な構造(木、論理式)を与えたほうが確実」。Mahowald らの「形式的言語能力は高く、機能的言語能力はまだら」という整理に、統語と意味の両側から合流します[S23]。
10. 限界
- 70本の立場(支持・反証・中立)は、要旨に基づく筆者の分類で、原論文の自己評価ではありません。軸の割り当ても筆者の判断です
- 2026年の論文(S25、S44、S45、S62〜S65、S70)は arXiv 投稿時点のもので、会場は投稿者のコメント欄の記載に基づきます
- Heim と Kratzer(S04)は書評の DOI で、Montague の「English as a Formal Language」(S02)は1975年の再録の DOI で実在を確認しました
- 日本語を扱うものは JSICK(S53)と ccg2lambda 系(S09、S10)だけです。否定・量化の結果はほぼ英語のものです
- 実在確認は arXiv API、Crossref、ACL Anthology で行い、Semantic Scholar と検索エンジンは使っていません
まとめ
- 形式意味論は「意味を真理条件として記号で書く」立場で、LLM の分布意味論とは意味の定義そのものが違う。その前提を5軸にほどくと、「形式だけから意味は学べるか」(T)は哲学で割れたまま、経験的には「世界の構造の一部」までは入っている
- 否定は BERT から LLM まで一貫して最も弱く、否定指示は逆スケーリングする。量化詞は測り方で結論が割れ、スコープ曖昧性は意外に人間と同じ読みを選ぶ。前提と含意は単純な例はできるが文脈が絡むと崩れる
- 構成性は分布内では完璧で分布外では崩れるが、メタ学習や統語解析を先にさせる促しで改善する。実務の出口は、LLM を論理式への翻訳器にして推論はソルバーに任せる構成。ただし意味表現を「読む」側はまだ手書き文法に劣る
私自身、LLM に条件判定を任せるとき、「〜を除く」「〜ではない場合」を含む条件をそのまま渡していたことがあります。否定が最も弱いという結果を見てからは、条件を肯定文に言い換えるか、論理式に翻訳させてから検証するようにしました。あなたの業務で LLM に任せている判定に、否定と量化詞は入っていませんか。
出典
脚注
- https://doi.org/10.1111/j.1755-2567.1970.tb00434.x ↩
- https://doi.org/10.1515/9783111546216-007 ↩
- https://doi.org/10.1007/978-94-010-2506-5_10 ↩
- https://doi.org/10.2307/417746 ↩
- https://arxiv.org/abs/1003.4394 ↩
- https://doi.org/10.33011/lilt.v9i.1321 ↩
- https://arxiv.org/abs/1905.01896 ↩
- https://arxiv.org/abs/1207.1420 ↩
- https://doi.org/10.18653/v1/d15-1244 ↩
- https://doi.org/10.18653/v1/p16-4015 ↩
- https://aclanthology.org/2020.acl-main.463/ ↩
- https://arxiv.org/abs/2004.10151 ↩
- https://arxiv.org/abs/2104.10809 ↩
- https://arxiv.org/abs/2208.02957 ↩
- https://doi.org/10.1098/rsta.2022.0041 ↩
- https://doi.org/10.1007/s11023-023-09622-4 ↩
- https://arxiv.org/abs/2304.01481 ↩
- https://arxiv.org/abs/2308.05576 ↩
- https://arxiv.org/abs/2401.04854 ↩
- https://arxiv.org/abs/2109.06129 ↩
- https://arxiv.org/abs/2106.00737 ↩
- https://arxiv.org/abs/2301.06627 ↩
- https://arxiv.org/abs/2410.13984 ↩
- https://arxiv.org/abs/1711.00350 ↩
- https://arxiv.org/abs/1908.08351 ↩
- https://arxiv.org/abs/2010.05465 ↩
- https://arxiv.org/abs/2212.10769 ↩
- https://arxiv.org/abs/2205.12253 ↩
- https://arxiv.org/abs/2209.15003 ↩
- https://arxiv.org/abs/2108.05885 ↩
- https://doi.org/10.1038/s41586-023-06668-3 ↩
- https://arxiv.org/abs/2104.06644 ↩
- https://arxiv.org/abs/2307.02477 ↩
- https://arxiv.org/abs/1907.13528 ↩
- https://arxiv.org/abs/1911.03343 ↩
- https://aclanthology.org/2020.emnlp-main.732/ ↩
- https://aclanthology.org/2022.acl-long.315/ ↩
- https://arxiv.org/abs/2209.12711 ↩
- https://arxiv.org/abs/2306.08189 ↩
- https://arxiv.org/abs/2310.15941 ↩
- https://arxiv.org/abs/2609.13685 ↩
- https://arxiv.org/abs/2609.27517 ↩
- https://arxiv.org/abs/2212.08700 ↩
- https://arxiv.org/abs/2306.07384 ↩
- https://arxiv.org/abs/2404.04332 ↩
- https://arxiv.org/abs/1904.12166 ↩
- https://arxiv.org/abs/2004.14839 ↩
- https://arxiv.org/abs/1909.07521 ↩
- https://arxiv.org/abs/2106.01077 ↩
- https://arxiv.org/abs/2208.04826 ↩
- https://doi.org/10.1073/pnas.2309583120 ↩
- https://arxiv.org/abs/2004.03066 ↩
- https://arxiv.org/abs/2109.06987 ↩
- https://aclanthology.org/D19-1228/ ↩
- https://doi.org/10.1162/tacl_a_00414 ↩
- https://arxiv.org/abs/2210.14986 ↩
- https://arxiv.org/abs/2212.06801 ↩
- https://arxiv.org/abs/2411.01562 ↩
- https://arxiv.org/abs/2608.08227 ↩
- https://arxiv.org/abs/2605.18352 ↩
- https://arxiv.org/abs/2603.08358 ↩
- https://arxiv.org/abs/2605.03050 ↩
- https://arxiv.org/abs/2306.12672 ↩
- https://arxiv.org/abs/2310.15164 ↩
- https://arxiv.org/abs/2305.12295 ↩
- https://doi.org/10.24963/ijcai.2020/537 ↩
- https://arxiv.org/abs/2609.30071 ↩
#PR / 楽天モバイル従業員紹介プログラム
🤖 AI機能を使い倒すなら、通信環境も見直しを
画像生成もリアルタイム相談も、Wi-Fiなしでいつでも快適に。
楽天モバイルは 使った分だけの段階制プラン・SPUでポイント+4倍。
✓ このリンクは「楽天従業員紹介」経由:
- 乗り換え(MNP)で14,000ポイント、新規で13,000ポイント還元
- 楽天グループ従業員が運営する紹介ページ
- 移動先で楽天会員ログインが必要です(リンクを開く→ログイン→申込の順でないと特典対象外になります)
- リンク先は条件をまとめた案内ページで、そこから楽天モバイル公式(
r10.to)へ進みます - 申込み前の疑問はLINEで個別相談可能
※ポイント付与条件・対象期間などの詳細は遷移先キャンペーンページをご確認ください。
📩 LINE で深掘り配信中
AI / マーケ / 楽天モバの限定情報を 週1〜2回 お届け(無料)
興味のあるテーマだけ選んで受け取れます


コメント