【#區(qū)塊鏈# #大模型幻覺問題無解？理論證明校準(zhǔn)的LM必然會出現(xiàn)幻覺#】

文章來源：機(jī)器之心

理論證明！校準(zhǔn)的語言模型必然出現(xiàn)幻覺。

圖片來源：由無界 AI生成

大型語言模型（LLM）雖然在諸多下游任務(wù)上展現(xiàn)出卓越的能力，但其實(shí)際應(yīng)用還存在一些問題。其中，LLM 的「幻覺（hallucination）」問題是一個重要缺陷。

幻覺是指由人工智能算法生成看似合理但卻虛假或有誤導(dǎo)性的響應(yīng)。自 LLM 爆火以來，研究人員一直在努力分析和緩解幻覺問題，該問題讓 LLM 很難廣泛應(yīng)用。

現(xiàn)在，一項(xiàng)新研究得出結(jié)論：「經(jīng)過校準(zhǔn)的語言模型必然會出現(xiàn)幻覺?！寡芯空撐氖俏④浹芯吭焊呒壯芯繂T Adam Tauman Kalai 和佐治亞理工學(xué)院教授 Santosh S. Vempala 近日發(fā)表的《Calibrated Language Models Must Hallucinate》。該論文表明預(yù)訓(xùn)練語言模型對特定類型的事實(shí)產(chǎn)生幻覺存在一個固有的統(tǒng)計(jì)學(xué)原因，而與 Transformer 架構(gòu)或數(shù)據(jù)質(zhì)量無關(guān)。

論文地址：https://arxiv.org/abs/2311.14648

一個語言模型其實(shí)就是在 token 序列（如詞或其它字符序列）上的一個概率分布 D。每個分布 D 都可以等效地表示成其在整個序列上的對數(shù)概率或后續(xù) token 基于之前 token 的條件對數(shù)概率

這種數(shù)學(xué)等價性意味著任何語言模型都要么可用于生成文本，要么就能基于之前的 token 根據(jù)自然出現(xiàn)的文本來預(yù)測下一個 token。

舉個例子，假設(shè)有以下句子：

Alexa Wilkins had a tuna sandwich at Salumeria for lunch last Tuesday because the reviews said that it was divine.

對于這樣的句子，我們可以使用預(yù)測式語言模型等技術(shù)來提供建議，從而減少輸入時點(diǎn)擊手機(jī)的次數(shù)。我們可能希望詞 tuna 之后有 sandwich 這個選項(xiàng)，另外還有其它可能的詞，比如 salad 和 roll。另一方面，如果使用一個生成式語言模型來隨機(jī)生成，那么這類句子大部分都會是錯誤的。

這篇論文表明，具有優(yōu)良預(yù)測文本性能的語言模型必定會產(chǎn)生幻覺，即便在理想條件下也是如此。要注意的是，對于當(dāng)今常見的生成式語言模型，預(yù)測文本性能的優(yōu)化工作位于「預(yù)訓(xùn)練」的第一個階段。此外，它還能給出幻覺率的下限；幻覺率可反映不同類型的事實(shí)產(chǎn)生幻覺的速率。

以上參考和示例和共同之處是它們是任意的，也就是說 5W（= Who-Ate-What-When-Where-Why 仿真事實(shí)）中的每一項(xiàng)都無法通過規(guī)則來系統(tǒng)性地確定 —— 對于大多數(shù)不存在于訓(xùn)練數(shù)據(jù)中的此類事實(shí)，人們無法確定其真實(shí)性。這與可系統(tǒng)性地確定真實(shí)性的事實(shí)不同。即使在具有幾個理想屬性的簡化環(huán)境中，我們也能量化語言模型出現(xiàn)幻覺的可能性。

因?yàn)檫@篇論文要給出統(tǒng)計(jì)下限，因此更傾向于簡單而非普遍性，因?yàn)檫@里的下限的目標(biāo)是確定語言模型幻覺的根本原因。類似于分類任務(wù)（尋找的是在無噪聲環(huán)境中分類難度的下限），這里需要找到在最簡單的設(shè)置中也成立的幻覺下限，而最簡單的設(shè)置是指訓(xùn)練數(shù)據(jù)是獨(dú)立同分布且沒有事實(shí)性錯誤。

對生成模型進(jìn)行校準(zhǔn)

對一個概率式預(yù)測器來說，校準(zhǔn)（Calibration）是很自然的需求，因?yàn)檫@意味著其概率可被解釋成對其自身預(yù)測結(jié)果的準(zhǔn)確置信度。

Philip Dawid 在 1982 年引入了校準(zhǔn)這一概念，他當(dāng)時還給出了一個很多人都很熟悉的例子：當(dāng)天氣預(yù)報說未來幾天降雨概率為 30% 時，其實(shí)是指大約 30% 的時間會下雨。

已經(jīng)有不少研究者探究過語言模型的校準(zhǔn)指標(biāo)。圖 1 給出了 GPT-4 在一個多選題測驗(yàn)上的多類別校準(zhǔn)示例。

為了減少幻覺問題，人們常在訓(xùn)練后進(jìn)行對齊操作，但研究發(fā)現(xiàn)對齊也會降低校準(zhǔn)度。校準(zhǔn)是有意義的（因?yàn)樾?zhǔn)后的預(yù)測器的概率可以解釋為準(zhǔn)確置信度），而且在統(tǒng)計(jì)學(xué)上也是可實(shí)現(xiàn)的。相較之下，完美準(zhǔn)確的預(yù)測器也可以校準(zhǔn)，但可能無法學(xué)習(xí)。

然而，校準(zhǔn)只是預(yù)測器的最低要求，因?yàn)椴⒎撬行?zhǔn)過的模型都是有用的預(yù)測器：始終輸出年平均降雨概率的預(yù)測器很簡單就能校準(zhǔn)。

研究者在這篇文章中為生成模型的校準(zhǔn)提供了一種自然的泛化。他們的校準(zhǔn)概念不同于之前的在 token 層面的語言模型校準(zhǔn)。分析原始 token 概率的問題是用自然語言描述任何事實(shí)的方式都有很多，因此校準(zhǔn)過的 token 概率并不是很有意義。

這里舉個例子說明一下。假設(shè)有一個三元組語言模型，其僅基于前兩個 token 來預(yù)測下一 token 的概率。三元組模型可以很自然地在 token 層面完成校準(zhǔn)，而幻覺并非三元組模型的一個主要問題。這是因?yàn)樗麄兓旧隙际巧珊翢o意義的亂語。相對而言，語義層面的校準(zhǔn)考慮的則是基于文本中所含信息（事實(shí)或幻覺）的概率分布。

這里如何認(rèn)定一個語言模型是否已經(jīng)校準(zhǔn)呢？對于任意概率 z ∈ [0, 1]，在語言模型以大約 z 的概率生成的信息中，這樣的信息平均出現(xiàn)在自然表達(dá)的語言（理想情況下是訓(xùn)練數(shù)據(jù)所在的分布）中的大約 z 份額中。

語言模型出現(xiàn)幻覺的原因

幻覺讓語言模型用戶和研究者都深感困惑。研究者調(diào)查了許多關(guān)于語言模型幻覺原因的假設(shè)，從不準(zhǔn)確或過時的訓(xùn)練數(shù)據(jù)到訓(xùn)練中的下一 token 對數(shù)似然目標(biāo)。

幻覺的原因還有對抗性或分布外的 prompt：為語言模型提供的使其補(bǔ)全已有上下文的文本前綴。而在這項(xiàng)新研究中，研究者發(fā)現(xiàn)即使是使用完美的訓(xùn)練數(shù)據(jù)，并且不使用 prompt，經(jīng)過校準(zhǔn)的語言模型也會出現(xiàn)幻覺。

簡化設(shè)置

在研究者的簡化設(shè)置中，有一個基于文檔（即文本字符串）x ∈ X 的靜態(tài)語言分布 D_L ∈ ?(X) 和一個學(xué)習(xí)算法 A。

學(xué)習(xí)算法 A 可以根據(jù)從 D_L 獨(dú)立采樣的 n 個文檔組成的訓(xùn)練數(shù)據(jù) x_train ∈ X^n，輸出一個語言模型，即一個分布 D_LM = A (x_train) ∈ ?(X)。

為了簡單，研究者在這里假設(shè)訓(xùn)練數(shù)據(jù)中僅有事實(shí)，并且每個文檔最多一個事實(shí)，也就是沒有訓(xùn)練幻覺。這里的事實(shí)是任意事實(shí)，也就是其真實(shí)性通常無法通過訓(xùn)練集本身確定；而不是系統(tǒng)性事實(shí)（可通過學(xué)習(xí)定義正確性的基本規(guī)則而基于訓(xùn)練集預(yù)測得出），比如 572

此外，在系統(tǒng)性事實(shí)上的錯誤可能根本不會被視為幻覺 —— 它們通常被歸類為推理或算術(shù)錯誤。

這里假設(shè)每個文檔 x ∈ X 至多包含一個仿真陳述（factoid） f (x) ∈ Y ，其中仿真陳述是指要么為真（事實(shí)）要么為假（幻覺）的任意信息，并且其真實(shí)性很難根據(jù)訓(xùn)練數(shù)據(jù)從統(tǒng)計(jì)上確定。

研究者還采用了另一種簡化方法：考慮無條件的生成，即采樣語言模型生成文本時不使用任何 prompt（相當(dāng)于無字符串前綴）。

當(dāng)然，相較于簡化設(shè)置，更現(xiàn)實(shí)的情況更可能出現(xiàn)幻覺現(xiàn)象，即 prompt 中包含來自不同于訓(xùn)練數(shù)據(jù)的分布的上下文。

結(jié)果

假設(shè)在包含大量任意仿真事實(shí)的一個未知分布上采樣了 n 個獨(dú)立同分布樣本，比如 5W 樣本和索引。缺失質(zhì)量（missing mass）（在這里即為缺失的事實(shí) p (U)）是來自該事實(shí)分布 p 的未來樣本中未在 n 個訓(xùn)練樣本中觀察到的部分，其中 U 是在訓(xùn)練數(shù)據(jù)中未觀察到的事實(shí)的子集。

缺失質(zhì)量的 Good-Turing 估計(jì)是指在訓(xùn)練數(shù)據(jù)中僅出現(xiàn)一次的樣本（在這里即為事實(shí)）的比例。研究者將其稱之為 MonoFacts estimator，即單事實(shí)估計(jì)器：

研究表明，對于任意分布 p，這個 Good-Turing 估計(jì)器有很高的概率位于缺失質(zhì)量的

范圍內(nèi)。

如果訓(xùn)練中不包含的任意仿真事實(shí)的正確性無法被確定，則缺失事實(shí)率可以提供一個幻覺率的下限。這反過來就能提供一個接近

的下限。特別是，在仿真事實(shí)分布的「正則性」假設(shè)下，最簡單的界限（論文中的推論 1）意味著：對于任何算法，在訓(xùn)練集上有 ≥ 99% 的概率會有：

其中幻覺率（Hallucination rate）是指語言模型產(chǎn)生幻覺的速率，下一項(xiàng)是缺失事實(shí)的「單事實(shí)」估計(jì)器。再后一項(xiàng)是「誤校準(zhǔn)率」，它量化了分布與校準(zhǔn)的接近程度。下一項(xiàng)則涉及任意事實(shí)與錯誤的類似信息的數(shù)量之比，對許多類型的信息來說，該比值非常小。最后一項(xiàng)很小，因?yàn)楫?dāng)今語言模型的訓(xùn)練集規(guī)模 n 都很大。

「正則性（regularity）」假設(shè)的意思是：平均而言，所有未觀察過的仿真事實(shí)為真的概率相等。

更一般而言，該界限成立的概率 ≥ 1 ? δ，其中常數(shù) 60 可以用與 δ 成反比且與仿真事實(shí)分布上的正則項(xiàng)成正比的項(xiàng)替換。這個正則項(xiàng)衡量的是最可能的仿真事實(shí)（在訓(xùn)練數(shù)據(jù)中未觀察到）與平均未觀察到的仿真事實(shí)概率的比。對于對稱分布和其它類型的簡單分布，該常數(shù)為 1。

為了考慮有界的正則性，研究者放寬了它，這樣就能允許存在一定的負(fù)相關(guān)性（比如一個人不能同一天在 1000 個不同地方吃 1000 頓午餐），并允許某些仿真事實(shí)的條件概率為 0，但它不允許未觀察過的仿真事實(shí)具有非常大的概率。

相關(guān)的證明過程請參看原論文。

解釋

對于上面的下限，研究者給出了如下解釋。

第一，應(yīng)當(dāng)確定大量仿真事實(shí)：任意的、合理的、正則的仿真事實(shí)。它們可能是有關(guān) 5W 的文章和合理的科研文章引用。直觀上講，不正確的仿真事實(shí)（幻覺）比事實(shí)多得多。然后再考慮這些仿真事實(shí)中有多大比例可能在訓(xùn)練數(shù)據(jù)中剛好出現(xiàn)一次。對于 5W 的情況，可以想象有一半的文章剛好出現(xiàn)一次。這表明，經(jīng)過校準(zhǔn)的仿真事實(shí)模型在 5W 仿真事實(shí)上的生成結(jié)果中大約有一半會有幻覺問題。

另一方面，可以想象文章的數(shù)量遠(yuǎn)遠(yuǎn)少于 n，因?yàn)槌霭娴哪繕?biāo)是廣告宣傳，每一個引用都可能在訓(xùn)練數(shù)據(jù)中多次出現(xiàn)（即概率遠(yuǎn)大于 1/n），可能只有非常近期的除外（比如在其它引用出現(xiàn)之前）。這表明文章的缺失質(zhì)量很低，并且在引用標(biāo)題上產(chǎn)生幻覺方面沒有內(nèi)在的統(tǒng)計(jì)必然性。

還有其它一些原因可能會導(dǎo)致出現(xiàn)這種幻覺，比如模型能力有限（即便語言模型的參數(shù)數(shù)量遠(yuǎn)大于文章數(shù)量，這些參數(shù)也必然會編碼文章標(biāo)題之外的許多其它類型的信息）。這也證明：為了緩解幻覺問題，一種合理做法是在生成時咨詢事實(shí)數(shù)據(jù)庫，即便該事實(shí)數(shù)據(jù)庫完全基于訓(xùn)練數(shù)據(jù)。

盡管事實(shí)性和預(yù)測準(zhǔn)確度之間存在這種緊張關(guān)系，但這兩種類型的語言模型的訓(xùn)練或「預(yù)訓(xùn)練」目標(biāo)通常都是最大化在語料庫上的可能性，也就相當(dāng)于最小化「KL 散度」，這是語言模型和其訓(xùn)練所用的數(shù)據(jù)分布之間的一個強(qiáng)大的統(tǒng)計(jì)差異指標(biāo)。