圖片來(lái)源：123RF（有修改）

本文是我們對(duì)最新AI研究報(bào)道的一部分。

令人著迷的是，大型語(yǔ)言模型(LLM)如何在幾年內(nèi)從引人入勝的新深度學(xué)習(xí)模型（transformer architecture）發(fā)展成為AI研究最熱門(mén)的領(lǐng)域之一。特別感興趣的是像OpenAI的GPT-3和DeepMind的Gopher這樣的LLM生成長(zhǎng)序列（大部分）連貫文本的能力。

但是法學(xué)碩士的問(wèn)題之一是他們總是對(duì)你的提示有一個(gè)答案，即使那個(gè)答案是完全錯(cuò)誤的。并且有許多LLM提出錯(cuò)誤聲明并生成文本的案例，雖然令人印象深刻，但完全是胡說(shuō)八道。

法學(xué)碩士正逐漸進(jìn)入現(xiàn)實(shí)世界的應(yīng)用程序，從撰寫(xiě)電子郵件和撰寫(xiě)文章，到回答問(wèn)題和為客戶服務(wù)代理填寫(xiě)。因此，人們?cè)絹?lái)越有興趣尋找方法來(lái)確定這些機(jī)器學(xué)習(xí)模型產(chǎn)生的答案的可靠性和可信度。根據(jù)OpenAI和牛津大學(xué)研究人員的一項(xiàng)新研究，可以對(duì)大型語(yǔ)言模型進(jìn)行校準(zhǔn)，以表達(dá)它們提供的答案的確定性水平。這項(xiàng)專注于GPT-3的研究表明，通過(guò)正確的培訓(xùn)，法學(xué)碩士可以幫助使人工智能系統(tǒng)與人類目標(biāo)和意圖保持一致。

機(jī)器學(xué)習(xí)中的邏輯和置信度

“讓語(yǔ)言模型表達(dá)它們的不確定性是誠(chéng)實(shí)的一個(gè)關(guān)鍵方面：總會(huì)有模型不確定的東西，因此不確定性對(duì)于忠實(shí)地傳達(dá)模型的知識(shí)是必要的，”OpenAI的AI研究員Jacob Hilton和co-該論文的作者告訴TechTalks。

衡量信心并不是機(jī)器學(xué)習(xí)中的新問(wèn)題。大多數(shù)ML模型都有一種或另一種方式來(lái)揭示其預(yù)測(cè)的可靠性。例如，考慮一個(gè)卷積神經(jīng)網(wǎng)絡(luò)(CNN)，旨在識(shí)別手寫(xiě)數(shù)字，將圖像分類為十類(0-9)之一。神經(jīng)網(wǎng)絡(luò)的輸出層提供十個(gè)值，每個(gè)值是輸入給模型的輸入圖像屬于目標(biāo)類別之一的概率。通常，應(yīng)用程序?qū)⒕哂凶罡吒怕实妮敵鲆暈樯疃葘W(xué)習(xí)模型的預(yù)測(cè)類別。

這些概率通常稱為“對(duì)數(shù)概率”或“logits”（取決于神經(jīng)網(wǎng)絡(luò)的排列方式以及最后一層使用的激活函數(shù)類型）。Logits在許多應(yīng)用中都非常有用，例如上面提到的圖像分類示例。例如，如果最高的logit值與其余的值之間存在非常大的差異，則表明該模型對(duì)其預(yù)測(cè)具有很高的置信度。

但如果兩個(gè)或多個(gè)logit彼此接近，則表明神經(jīng)網(wǎng)絡(luò)對(duì)其預(yù)測(cè)沒(méi)有信心（例如，有些人寫(xiě)數(shù)字1的方式使神經(jīng)網(wǎng)絡(luò)將其與7混淆）。

然而，當(dāng)涉及到更復(fù)雜的深度神經(jīng)網(wǎng)絡(luò)應(yīng)用（如語(yǔ)言處理）時(shí)，logit與人類對(duì)信心的理解不一致。

“在其他情況下，例如圖像分類，logit通常可以用來(lái)推斷模型的置信度，”Hilton說(shuō)。“但是，對(duì)于語(yǔ)言模型，logits僅告訴您模型對(duì)聲明將以特定方式陳述的信心，而不是模型對(duì)聲明本身的信心。”

換句話說(shuō)，如果像GPT-3這樣的大型語(yǔ)言模型可以使用不同的措辭產(chǎn)生相同的輸出，那么每種單獨(dú)的表達(dá)方式都會(huì)具有較低的logit值。研究人員寫(xiě)道，這代表了模型對(duì)“代幣”的不確定性。理想情況下，該模型應(yīng)該表達(dá)其對(duì)其知識(shí)和主張的信心，研究人員將其定義為“認(rèn)知不確定性”。

在他們的論文中，研究人員專注于教LLM以數(shù)字和語(yǔ)言形式表達(dá)他們的不確定性以及他們的輸出（例如，“信心：61%/中等”）。研究人員表示，語(yǔ)言概率的好處在于它們適用于“任何輸出自然語(yǔ)言的模型”和“反映人類對(duì)不確定性的表達(dá)”。

“這允許模型響應(yīng)來(lái)自非技術(shù)用戶的提示（例如，'你對(duì)剛才說(shuō)的話有多確定？'，'我已經(jīng)告訴你我的信心，范圍從1到5。你能做同樣的事情嗎？?')，”研究人員寫(xiě)道。“這也允許模型決定何時(shí)以及如何提供不確定性信息（取決于人類觀眾）。”

為L(zhǎng)LM不確定性設(shè)定基準(zhǔn)

為了微調(diào)大型語(yǔ)言模型并評(píng)估它們表達(dá)認(rèn)知不確定性的能力，研究人員提出了CalibratedMath，這是一個(gè)算術(shù)問(wèn)題解決的基準(zhǔn)。CalibratedMath定義了一組分布在21個(gè)類別中的問(wèn)題，包括基本運(yùn)算、舍入和求余數(shù)。研究人員寫(xiě)道，GPT-3在不同子任務(wù)上的表現(xiàn)各不相同，這“對(duì)于具有挑戰(zhàn)性的校準(zhǔn)測(cè)試至關(guān)重要”。

大量研究表明，神經(jīng)網(wǎng)絡(luò)可以提高他們?cè)诨鶞?zhǔn)測(cè)試中的分?jǐn)?shù)，而無(wú)需學(xué)習(xí)評(píng)估模型任務(wù)的邏輯函數(shù)。當(dāng)ML模型無(wú)法將其學(xué)習(xí)行為推廣到其訓(xùn)練分布之外時(shí)，這一點(diǎn)變得很明顯，這意味著它在與現(xiàn)實(shí)世界的示例對(duì)比時(shí)表現(xiàn)不佳。

研究人員設(shè)計(jì)了CalibratedMath基準(zhǔn)的訓(xùn)練和測(cè)試示例，以最大限度地泛化分布偏移。例如，訓(xùn)練集包括具有唯一正確答案的“加減”示例（例如，“952–55是什么？”），而評(píng)估集由可以有多個(gè)答案的問(wèn)題組成（例如，“姓名任何小于621”的數(shù)字）或乘除問(wèn)題。

微調(diào)語(yǔ)言模型以表達(dá)不確定性

CalibratedMath的最終目標(biāo)不是改進(jìn)模型的答案，而是改進(jìn)其答案的不確定性。因此，該模型使用監(jiān)督學(xué)習(xí)對(duì)置信度表達(dá)的標(biāo)記數(shù)據(jù)進(jìn)行微調(diào)。研究人員在包括問(wèn)答對(duì)以及答案的置信度得分的示例上訓(xùn)練GPT-3。在評(píng)估階段，模型被賦予新的問(wèn)答對(duì)，并且必須指定答案的置信度。

在這項(xiàng)研究中，研究人員測(cè)試了兩種不確定性表達(dá)方法。首先是前面描述的數(shù)字和口頭置信度得分，其中標(biāo)簽是模型在其答案中的不確定性的百分比值（例如，61%）或文本描述（例如，最低、低、中、高、最高）。

在第二種方法中，稱為“間接logit”，標(biāo)簽是一個(gè)“真/假”值，表示模型的答案是否正確。將標(biāo)簽與地面實(shí)況進(jìn)行比較以計(jì)算交叉熵?fù)p失，該損失用于訓(xùn)練二元分類ML模型。

“激勵(lì)模型代表其真實(shí)不確定性水平的方法是優(yōu)化適當(dāng)?shù)脑u(píng)分規(guī)則，”希爾頓說(shuō)。“交叉熵?fù)p失就是一個(gè)例子（正如我們?cè)?#39;間接logit'方法中使用的那樣）。然而，這通常不是語(yǔ)言模型被訓(xùn)練來(lái)表達(dá)不確定性的方式，因此在實(shí)踐中，語(yǔ)言模型確實(shí)學(xué)會(huì)了從他們的訓(xùn)練數(shù)據(jù)中重新散列罐頭響應(yīng)。”

研究人員的實(shí)驗(yàn)表明，當(dāng)針對(duì)語(yǔ)言概率進(jìn)行校準(zhǔn)時(shí)，GPT-3可以很好地推廣到“多答案”和“乘除”評(píng)估集，并且“在顯著分布變化下保持適度校準(zhǔn)”。然而，雖然它優(yōu)于基線和間接logit方法，但語(yǔ)言化概率校準(zhǔn)在其訓(xùn)練集上的表現(xiàn)仍然優(yōu)于多答案評(píng)估集。這是因?yàn)槟Ｐ蛯?duì)多答案問(wèn)題的答案比對(duì)加減問(wèn)題的答案更可能是正確的。

另一方面，間接logit方法在多答案問(wèn)題上的概括性相當(dāng)好，而在乘除問(wèn)題上表現(xiàn)不佳。研究人員寫(xiě)道：“進(jìn)一步的工作可以探索間接logit如何與不同訓(xùn)練設(shè)置下的語(yǔ)言概率進(jìn)行比較（例如，概率和問(wèn)題的分布更加多樣化）。”

研究中的一個(gè)有趣發(fā)現(xiàn)是GPT-3在預(yù)訓(xùn)練期間學(xué)習(xí)了其輸入的相關(guān)特征，這意味著微調(diào)僅調(diào)整模型以表達(dá)那些“潛在”表示。研究人員寫(xiě)道：“GPT-3學(xué)會(huì)表達(dá)自己（預(yù)先存在的）關(guān)于答案的不確定性，并表現(xiàn)出‘誠(chéng)實(shí)’（即用文字傳達(dá)其實(shí)際認(rèn)知狀態(tài)）。”

這是一個(gè)重要的發(fā)現(xiàn)，因?yàn)樗梢詭椭笇?dǎo)未來(lái)研究大型語(yǔ)言模型學(xué)習(xí)的內(nèi)容并引導(dǎo)它們朝著正確的方向發(fā)展。

至于對(duì)LLM不確定性表達(dá)的進(jìn)一步調(diào)查，研究人員建議測(cè)試GPT-3以外的LLM家族，“尤其是在微調(diào)之前更好地掌握概率的模型。”他們還建議在其他領(lǐng)域進(jìn)行測(cè)試校準(zhǔn)，例如歷史和生物學(xué)以及其他提示格式，例如聊天和長(zhǎng)篇問(wèn)答。

另一個(gè)可能的方向是用更靈活的方法（例如強(qiáng)化學(xué)習(xí)）代替監(jiān)督微調(diào)。RL可以消除監(jiān)督學(xué)習(xí)帶來(lái)的手動(dòng)標(biāo)記瓶頸，但它可能還有其他挑戰(zhàn)。

“理論上，RL可用于激勵(lì)模型表達(dá)其真實(shí)的不確定性水平——例如，使用適當(dāng)?shù)脑u(píng)分規(guī)則，”希爾頓說(shuō)。“然而，這需要獲得關(guān)于模型聲明正確可能性的基本事實(shí)，隨著模型變得更加智能，獲得這些事實(shí)可能變得越來(lái)越具有挑戰(zhàn)性。這被稱為“可擴(kuò)展監(jiān)督”問(wèn)題，被視為將高級(jí)人工智能系統(tǒng)與人類利益相結(jié)合的重要瓶頸。”