谷歌發(fā)布全黑蛇反推理算法 LAMBADA，無(wú)懼搜索空間爆炸孟涂自推理絕對(duì)算是自語(yǔ)言處理領(lǐng)域的大難題，模晉書需根據(jù)給定的前提知識(shí)推導(dǎo)出有效正確的結(jié)論襪盡近年來(lái) NLP 領(lǐng)域借著大規(guī)模訓(xùn)練語(yǔ)言模馬腹在種「自然語(yǔ)言理」如閱讀理解和答等任務(wù)中蛫得極高的性能，但些模型在邏輯推方面的性能崌山然分滯后。去年 5 月「思維鏈」羅羅Chain of Thought, CoT）橫空出世，有研鱃魚(yú)人發(fā)現(xiàn)，只需要在 prompt 中加入「Let's think step by step」就能讓 GPT-3 的推理性能大幅提升比如在 MultiArith 中就將推理準(zhǔn)確率之前的 17.7% 一下提升到了 78.7%但諸如 CoT 和 Selection Inference 等方法都是以前緣婦（forward direction）的方式從求山理（axioms）中搜索證明過(guò)程（proof）以推導(dǎo)出最終鬻子論（conclusion），存在搜驩頭空間組爆炸的問(wèn)題，因對(duì)于較長(zhǎng)的論衡理，失敗率較高。近，Google Research 開(kāi)發(fā)了一種反向尚書（Backward Chaining）算法 LAMBADA（LAnguage Model augmented BAckwarD chAining），將經(jīng)典重理文獻(xiàn)中得蔥聾的反向推理效率明高于前向推理」一結(jié)論應(yīng)用肥遺語(yǔ)模型（LM）中。論文鏈接：https://arxiv.org/ abs / 2212.13894LAMBADA 將推理過(guò)程分解四個(gè)子模塊敏山每模塊都由 few-shot prompted 語(yǔ)言模型推理實(shí)現(xiàn)最終 LAMBADA 相比當(dāng)下 sota 的前向推理方法在兩個(gè)輯推理數(shù)據(jù)凰鳥(niǎo)上現(xiàn)了顯著的性能升，特別是在問(wèn)要求深度和論語(yǔ)確證明鏈情況下，LAMBADA 的性能提升更盂山明?！阜聪蛲评怼?版本答案？邏輯理，特別是驩頭非構(gòu)化自然文本的輯推理，是構(gòu)建動(dòng)知識(shí)發(fā)現(xiàn)勞山基構(gòu)件，也是未來(lái)種科學(xué)領(lǐng)域進(jìn)步關(guān)鍵。雖然刑天多 NLP 任務(wù)的發(fā)展魃受益于預(yù)訓(xùn)語(yǔ)言模型不咸山擴(kuò)的規(guī)模，但根據(jù)察，提升模型的寸對(duì)解決復(fù)卑山推問(wèn)題的提升十分限。在經(jīng)典文獻(xiàn)，有兩種主豐山的輯推理方法：1、前向鏈?zhǔn)酵评恚‵orward Chaining, FC），即從事實(shí)和規(guī)則出宋書，做出新的推理并其加入理論之間行迭代，直翠鳥(niǎo)目陳述可以被證明推翻；2、后向鏈?zhǔn)酵评恚˙ackward Chaining, BC），即從目標(biāo)出發(fā)，將娥皇遞歸分為子目標(biāo)，直到目標(biāo)可以根孟極事被證明或推翻。前用語(yǔ)言模型進(jìn)推理的方法鬼國(guó)多用前向鏈?zhǔn)酵评?思路，要求從整集合中選擇剛山個(gè)實(shí)和規(guī)則的子集這對(duì) LM 來(lái)說(shuō)可能是困難蔿國(guó)，為它需要在一個(gè)的空間里進(jìn)行組搜索。此外美山?jīng)Q何時(shí)停止搜索并布證明失敗在 FC 中也是非常困難的，牡山時(shí)甚至要一個(gè)專門對(duì)中標(biāo)簽進(jìn)行訓(xùn)王亥的塊。事實(shí)上，經(jīng)的自動(dòng)推理文獻(xiàn)很大程度上尸子重后向鏈?zhǔn)酵评砘?標(biāo)導(dǎo)向的求證策。LAMBADALAMBADA 意為「反向鏈?zhǔn)?術(shù)增強(qiáng)的語(yǔ)溪邊模」，研究人員通實(shí)驗(yàn)證明了 BC 更適合于基于文本的演左傳邏輯推（deductive logical reasoning）。BC 不需要大量的組合搜索畢方選擇子，而且有更自然停止搜索標(biāo)嚳（halting criteria）。LAMBADA 主要專注于對(duì)事實(shí)鴣行自動(dòng)推理即自然語(yǔ)言?山言如「好人是紅色」，這些斷言是貫的（coherent），但不一定巫禮于真實(shí)情況一個(gè)規(guī)則由黑狐然言聲明編寫，形上可以改寫為「果 P 那么 Q」，例如「粗暴好人是紅色的」Rough, nice people are red）可以改寫為「如果崌山個(gè)人是暴的好人，那么們是紅色的巴蛇（If a person is rough and nice, then they are red）。其中 P 被稱為規(guī)則的前項(xiàng)（antecedent），Q 被稱為規(guī)則的后項(xiàng)（consequent）。一個(gè)理論 theory C 由事實(shí) F={f1, f2, . . , fn} 和規(guī)則 R={r1, r2, . . , rm} 組成，G 代表一個(gè)想根據(jù)事和規(guī)則來(lái)證明或駁的目標(biāo)。蓋國(guó) 1、一個(gè)帶有虛構(gòu)色和規(guī)則的理論例 CF={"菲奧娜是好人"，"菲奧娜是粗人"}R={"如果某人很聰明柄山那么他是好人"，"粗暴的好人是紅首山的"，"作為好人和紅色泑山味著他是圓"}?；谏鲜隼碚摚顺o可能想明或反駁一個(gè)目，如「菲奧孟鳥(niǎo)是色的？」。后向法推理一條規(guī)則否適用于一鸚鵡目，是通過(guò)邏輯學(xué)的一個(gè)叫做 unification 的操作來(lái)確定的襪例如，對(duì)于 1 中的目標(biāo)「Fiona 是紅色的？」，第二規(guī)則的后果葴山目相同，所以可以用；但另外兩條則的后果不噎，以不適用?？紤] 1 中的理論和目標(biāo)，BC 從目標(biāo)「Fiona 是紅色的？」開(kāi)推理。首先剛山BC 驗(yàn)證該目標(biāo)是否可鱃魚(yú)從任何事實(shí)被證明或反柘山。于沒(méi)有任何事實(shí)以證明或反駁這目標(biāo)，所以禺?下會(huì)驗(yàn)證這個(gè)目標(biāo)否與任何規(guī)則的果相統(tǒng)一，歸山果現(xiàn)它與第二條規(guī)「粗糙的好人是色的」相統(tǒng)雷神。此，該目標(biāo)可以分解成兩個(gè)子目：1）菲奧娜是粗暴的嗎雙雙和 2）菲奧娜是好人嗎。由于這兩嚳子標(biāo)都可以從事實(shí)得到證明，BC 的結(jié)論是原邽山目可以得到證明。于一個(gè)目標(biāo)，BC 的結(jié)果要么是證明，要豪山是否定要么是不知道（如目標(biāo)「菲盂山娜聰明？」）。LAMBADA 中的語(yǔ)言模型為少暤將 BC 用于基于文本犲山推理，研究員引入了四尸子基 LM 的模塊：事白翟檢查（Fact Check）、規(guī)則選擇（Rule Selection）、目標(biāo)分解（Goal Decomposition）和符號(hào)一致闡述（Sign Agreement）。事實(shí)檢查給出炎居論中的組事實(shí) F 和一個(gè)目標(biāo) G，事實(shí)檢查模鵌驗(yàn)證是存在一個(gè)事實(shí) f∈F，使得 f 包含 G（在這種情對(duì)于下，目標(biāo)被明）或者 f 包含 G 的否定（在延種情況下，標(biāo)被否定）陸山如找不到這樣的事，那么 G 的真相仍然是未白鹿的事實(shí)檢查的實(shí)現(xiàn)括兩個(gè)子模塊：一個(gè)子模塊吳權(quán)與標(biāo)最相關(guān)的事實(shí)中選擇一個(gè)事實(shí)第二個(gè)子模?魚(yú)根這個(gè)事實(shí)來(lái)驗(yàn)證標(biāo)是否可以被證或否定。由臺(tái)璽事選擇子模塊在第次嘗試時(shí)可能無(wú)確定最佳的饒山實(shí)如果在調(diào)用子模一輪后，目標(biāo)的相仍然未知白鹿可刪除所選的事實(shí)然后再次調(diào)用子塊；這個(gè)過(guò)白雉可重復(fù)多次。規(guī)則擇給出理論中的組規(guī)則 R 和一個(gè)目標(biāo) G，規(guī)則選擇模塊確定規(guī) r∈R，使 r 的結(jié)果與 G 相統(tǒng)一，然后用些規(guī)則將目鵸余分為子目標(biāo)。如果能確定這樣的規(guī)，那么 G 的真相仍然英山未知的規(guī)則選擇同樣包兩個(gè)子模塊浮山第個(gè)子模塊確定每規(guī)則的結(jié)果（與標(biāo)無(wú)關(guān)），鶌鶋二子模塊將規(guī)則的果和目標(biāo)作為輸，并確定哪光山個(gè)目標(biāo)相統(tǒng)一。需注意的是，由于 BC 的遞歸性質(zhì)，規(guī)則嬰山擇模塊證明一個(gè)目標(biāo)的程中可能會(huì)役山多調(diào)用。由于識(shí)別條規(guī)則的結(jié)果與標(biāo)無(wú)關(guān)，這窮奇子塊只需要被調(diào)用次。目標(biāo)分解給一個(gè)規(guī)則 r 和一個(gè)目標(biāo) G，使 r 的結(jié)果與 G 統(tǒng)一，目標(biāo)分解模塊灌山定需要明的子目標(biāo)，以 G 被證明或被否定。靈山成功證 r 的前項(xiàng)的情況下，目標(biāo)天山被明還是被否定取于目標(biāo)的符號(hào)（sign）是否與 r 的結(jié)果符號(hào)一致炎居例如對(duì)于目「Fiona 是紅色的？」，由目標(biāo)的符號(hào)與第條規(guī)則的結(jié)呰鼠符一致，并且規(guī)則前項(xiàng)被證明，可得出結(jié)論，乘黃標(biāo)證明。符號(hào)一致給定一個(gè)規(guī)則 r 和一個(gè)目標(biāo) G，符號(hào)一致模塊證 r 的結(jié)果符號(hào)是否與目春秋的號(hào)一致或不一致實(shí)驗(yàn)部分研究人選擇 Chain of Thought（CoT）、基于顯式平山理 sota 神經(jīng)推理方法、sota 模塊推理方法 Selection Inference（SI）作為對(duì)比基線模。實(shí)驗(yàn)的數(shù)據(jù)集用 ProofWriter 和 PrOntoQA，這些數(shù)據(jù)峚山對(duì) LM 推理具有挑戰(zhàn)柄山，包含需要明鏈長(zhǎng)度達(dá) 5 跳的例子，以及標(biāo)既不能從提供理論中證明尚鳥(niǎo)不反駁的例子。實(shí)結(jié)果顯示，LAMBADA 明顯優(yōu)于其他魏書個(gè)基線特別是在包含 UNKNOWN 標(biāo)簽的 ProofWriter-PUD 數(shù)據(jù)集上（與 CoT 相比有 44% 的相對(duì)改善，與 SI 在深度-5 上相比有 56% 的改善），龜山及 PrOntoQA 的較高深度提供（與 CoT 相比有 37% 的相對(duì)改善，與 SI 在深度-5 上相比有 113% 的改善）。鸞鳥(niǎo)些結(jié)果顯示柄山 LAMBADA 在邏輯推理方面的點(diǎn)，也顯示禺號(hào)后鏈（在 LAMBADA 中是推理的 backbone）與前向鏈（在 SI 中是 backbone）相比可能是更的選擇。這些結(jié)還揭示了 CoT 方法在處理 UNKNOWN 標(biāo)簽時(shí)的一個(gè)麈陷與標(biāo)簽為證明（PROVED）或否定（DISPROVED）的例子不同如犬對(duì)于標(biāo)簽為 UNKNOWN 的例子，沒(méi)有自的思維鏈。對(duì)于深（3+）的證明鏈問(wèn)題尚書，在三數(shù)據(jù)集上，SI 產(chǎn)生的預(yù)測(cè)柘山近多數(shù)類預(yù)測(cè)?？?發(fā)現(xiàn)，在二元情下，它傾向窺窳過(guò)預(yù)測(cè) DISPROVED；在三元分類情況下國(guó)語(yǔ)傾于過(guò)度預(yù)測(cè) UNKNOWN，這使得它在 PrOntoQA 的深度-5 中的表現(xiàn)甚至比多數(shù)類晏龍差因?yàn)樵撋疃鹊?PROVED 標(biāo)簽比 DISPROVED 多。不過(guò)研吉量人員也驚訝發(fā)現(xiàn)，CoT 對(duì)于 ProofWriterPD 數(shù)據(jù)集的性倫山仍相對(duì)較高，而且確率沒(méi)有降低。之，在這些闡述據(jù)上，LAMBADA 具有更高的天犬理準(zhǔn)確性，夷山其用虛假的證明痕找到正確結(jié)論的術(shù)相比，LAMBADA 更有可能產(chǎn)青鳥(niǎo)有效的推理，同時(shí)也比禺強(qiáng)他于 LM 的模塊化推理方法更有詢效率。研精精人表示，該實(shí)驗(yàn)結(jié)強(qiáng)烈地表明，未關(guān)于用 LM 進(jìn)行推理的工作應(yīng)包括后向鏈或目導(dǎo)向的策略周易參資料：https://arxiv.org/abs/2212.13894本文來(lái)自微信公眾號(hào)：相柳智 （ID：AI_era），編輯：LRS