全面評估GPT模型的可信度

近期，一項由伊利諾伊大學香檳分校、斯坦福大學、加州大學伯克利分校、人工智能安全中心和微軟研究院共同完成的研究，對生成式預訓練transformer模型(GPT)的可信度進行了全面評估。研究團隊開發了一個綜合評估平台，以多角度檢驗大型語言模型(LLMs)的可信度。

研究發現了一些之前未被公開的與可信度相關的漏洞。例如，GPT模型容易產生有毒和帶有偏見的輸出，還可能泄露訓練數據和對話歷史中的隱私信息。雖然在標準測試中GPT-4通常比GPT-3.5更可靠，但在面對惡意設計的系統提示或用戶輸入時，GPT-4反而更容易受到攻擊，可能是因爲它更嚴格地遵循了誤導性指令。

研究團隊從八個不同角度對GPT模型進行了全面評估，包括對抗性攻擊的魯棒性、指令遵循能力、模型恢復能力等。評估涵蓋了多種場景、任務、指標和數據集。

在評估過程中，研究人員發現了一些有趣的現象。例如，GPT-3.5和GPT-4不會被演示中添加的反事實示例誤導，但提供反欺詐演示可能會導致它們對反事實輸入做出錯誤預測。在有毒性和偏見方面，兩種模型在良性提示下對大多數刻板印象主題的偏差都不大，但在誤導性提示下可能會被誘導同意有偏見的內容。

關於隱私泄露問題，研究發現GPT模型可能會泄露訓練數據中的敏感信息，如電子郵件地址。在某些情況下，利用補充知識可以顯著提高信息提取的準確率。總體而言，GPT-4在保護個人身分信息方面比GPT-3.5更穩健，但兩種模型在面對某些類型的隱私信息時都表現出較強的保護能力。

這項研究爲GPT模型的可信度評估提供了全面的視角，揭示了潛在的風險和改進空間。研究團隊希望這項工作能夠促進學術界在此基礎上繼續深入研究，共同努力創造更強大、更可信的語言模型。