原文標(biāo)題：《像 Transformer 一樣思考！DeepMind 發(fā)布全新模型設(shè)計工具 Tracr：從可解釋邏輯反向搭建模型代碼直接編譯成 Transformer 模型，做實驗從未如此輕！「可解釋性」直是深度學(xué)習(xí)難繞過的難題，用無法理解模型的行機制，也就無放心地把模型應(yīng)到實際場景中。近來自蘇黎世聯(lián)理工學(xué)院和 DeepMind 的研究人員提出了種全新的模型構(gòu)工具 Tracr，直接由人來根「已知的機制」對不同任務(wù)編寫碼，然后由 Tracr 編譯成模型的權(quán)重，讓模的解釋變得更輕！論文鏈接：https://arxiv.org/ pdf / 2301.05062.pdf代碼鏈接：https://github.com/ deepmind / tracrTracr 的輸入為采用領(lǐng)域特定語 RASP 編寫的代碼，輸出為準(zhǔn)的、僅包含解器的、類似 GPT 的 Transformer 結(jié)構(gòu)的權(quán)重。在驗部分，研究人使用 Tracr 創(chuàng)建了一系列 ground truth Transformers，實現(xiàn)了包括計算 token 頻率、排序和 Dyck-n 括號檢查等程序。如解釋模型？可解性是理解機器學(xué)模型的重要手段但由于模型的實運行方式仍然不晰，所以目前的究成果大多難以估。其中一個工機理可解釋性（Mechanistic interpretability）嘗試對神經(jīng)網(wǎng)絡(luò)進行逆向程（reverse engineering）來對模型實現(xiàn)的算法出一個機理上的釋，并在一系列務(wù)中取得進展，括用于圖像分類卷積神經(jīng)網(wǎng)絡(luò)，Transformer 語言模型等。但該方法仍然在相關(guān)工具少、模型機制解釋不、仍然需要研究員進行創(chuàng)造性的釋等問題。評估理解釋的標(biāo)準(zhǔn)方結(jié)合了許多臨時驗的證據(jù)，然而由于這樣做的成很高，許多方法能在玩具模型中行評估，或在真模型中的少數(shù)不要的 circuits 上進行評估。Tracr 的解決方案則是通過將人類可讀代碼「編譯」成經(jīng)網(wǎng)絡(luò)的權(quán)重，接解決缺乏基礎(chǔ)理解釋的問題。就是說，Tracr 實際上起到的就是類似編譯器作用。Tracr 中主要涉及三個組件：1. RASP 代碼RASP 即 Restricted Access Sequence Processing Language，是 2021 年提出的一個用于表達 Transformer 計算的語言，可以作為計算模型來描述 Transformers，并配有相應(yīng)的釋器運行 RASP 代碼。可以把 RASP 程序視為一個計算圖當(dāng)根據(jù)給定的輸 token 序列時，圖上的每節(jié)點都會取一個定值。RASP 語言中包括兩個本的節(jié)點類型；列操作（Sequence Operations，s-op），返回輸入值的 token 序列及 indices 序列；元素操作（Elementwise operations）；選擇-聚合操作等。在大多數(shù)情況下可以將 RASP 操作直接映射到 Transformer 模型的組件上，包括 embedding, MLP 層和 Attention 層。2. 對 RASP 語言的修改雖然 RASP 的操作可以直接映射到 Transformers 中，但仍然需要對 RASP 語言進行修改以對模型權(quán)重進翻譯。3. craft，Transformer 的匯編語言如果 RASP 算是編譯的高級語言那么 craft 就是匯編語言，它提供了比在純重矩陣上操作更的抽象性。craft 可以表示具有基維度（basis dimensions）的向量空間，及其相的操作，可以用方向的標(biāo)簽來定投影或其他線性作。重要的是，craft 抽象化了跟蹤權(quán)重矩陣的填充的需要。Tracr: Transformer 編譯器Tracr 的代碼使用 Python 進行編寫，并將 RASP 實現(xiàn)嵌入到 Python 中，從而可以在 Python 中直接編寫 RASP 程序，比較方便地對變量碼（variable encoding）進行標(biāo)注。在 Tracr 中，RASP 程序是一個數(shù)據(jù)構(gòu)，通過向每個作傳遞依賴關(guān)系逐步構(gòu)建，同時 RASP 程序做了一些基本的化。Tracr 將 RASP 程序翻譯成 Transformer 權(quán)重的過程主要包括六個步驟：1. 構(gòu)建計算圖追蹤整個程序以創(chuàng)一個代表計算過的有向圖。對于出的 s-op，圖中包括表示 tokens 和 indices 的 source 節(jié)點，和代表輸出 s-op 的 sink 節(jié)點。2. 推理 s-op 值對于每個 s-op，需要決定如何將其入到剩余流中；了使用類別編碼需要知道一個 s-op 可以取哪些值。因為計算確定的，基于有的輸入詞匯量和下文大小，所有點都有一組有限輸出值。所以第步的主要操作就對圖進行遍歷，為每個節(jié)點標(biāo)注其可能的輸出；注使用簡單的啟式方法，確保找的是 s-op 值集合的超集。3. 獨立地翻譯 s-ops獨立考慮計算圖中的每節(jié)點，并將其轉(zhuǎn)為一個 craft 組件；元素操作翻譯為 MLP 塊，選擇-聚合操作翻譯為注意塊。使用人工設(shè)的 MLP 和注意力模塊庫來近數(shù)字和分類輸入輸出的任意函數(shù)將具有分類輸入輸出的 MLPs 作為查找表使；帶有數(shù)字輸入和出的 MLP 使用基于通用函數(shù)似定理的明確結(jié)。對于注意層，選擇器翻譯成??_{????} 運算符，把相應(yīng)的聚合算翻譯成??_{????} 運算符。目前只支持對分類入的注意力。4. 把組件分配到層上為了構(gòu)建一個 Transformer 模型，需要將計算圖中的有 craft 組件分配給各層理想情況下，目是找到最小的模來進行所需的計，但一般可以將表述為一個具有個約束條件的組優(yōu)化問題：Transformer 結(jié)構(gòu)具有交替的注意力和 MLP 層，而且所有相互依賴的計算都要有正確的順序出于范圍上的考，可以用啟發(fā)式法解決這個問題首先，計算出從入到一個給定節(jié)的最長路徑，其徑長度是可以分給該節(jié)點的層數(shù)一個上限；然后用額外的啟發(fā)式法，將層與可以行計算的塊結(jié)合來。這種方法可返回一個正確但時是次優(yōu)的層分。5. 構(gòu)造一個 craft 模型直接對模型組的輸入和輸出空進行求和作為構(gòu)的殘差流空間（residual stream space ）。換句話說，將每個 s-op 嵌入到它自己的正交子間中，這個子空在整個網(wǎng)絡(luò)中只留給它使用。然按照層分配決定順序遍歷計算圖并將組件堆疊起，得到一個用 craft 表示的完整 Transformer。6. 組裝 Transformer 權(quán)重最后，將模型的 craft 表示轉(zhuǎn)換為具體的模型權(quán)重。首把并行的 MLP 層合并為一個層，再把并行的服山力頭合并為一個。其中在注意層，把??_{????} 和??_{????} 矩陣分成????、????、????、???重量矩陣。然后整所有權(quán)重的形，并將其連接到 Transformer 架構(gòu)中就可以推斷出模型置（深度、層寬殘差流大小等）以適應(yīng)所創(chuàng)建的素。只需重新實步驟 6，就可以直接將 Tracr 擴展到支持任何其他 Transformer 的實現(xiàn)。在可解性研究中的應(yīng)用Tracr 可以加速受控實驗的驗過程，以測試關(guān) Transformer 的計算結(jié)構(gòu)的特定假設(shè)通過這種方式，也相當(dāng)于成了可釋性研究的實驗臺。研究人員對 token 計數(shù)、排序等例子編了 RASP 程序?？山忉屝怨?的測試案例編譯模型可以很自然作為測試「解釋實性」的基礎(chǔ)，提供了一種偽造解釋性技術(shù)給出解釋的方法。發(fā)到最后，這些模可以被用來建立解釋性工具的測案例庫，反過來可以實現(xiàn)定量的價指標(biāo)。替換模組件評估對模型何工作的理解的一種方法是用手編碼的組件替換型的部分內(nèi)容。如有研究人員通用他們自己理想的實現(xiàn)來替換模的組件以測試他對 Transformer 如何實現(xiàn)模塊化加法理解，結(jié)果發(fā)現(xiàn)思路可以提高下任務(wù)的性能，相于有力地證明了提出的解釋是正的。雖然 Tracr 是將一個算法編譯成一個完的 Transformer 模型，但也可以通過改代碼調(diào)整為只譯訓(xùn)練模型中的部分，從而使得容易評估對大型型的理解。理解型現(xiàn)象和開發(fā)新術(shù)除了評估之外編譯的模型可以為研究 circuits 級別現(xiàn)象和開發(fā)解釋 Transformer 模型新方法的試驗臺。參考料：https://arxiv.org/pdf/2301.05062.pdf本文來自微信公眾號新智元 （ID：AI_era）