理大研究發現感官及運動信息有助大語言模型表達複雜概念

沒有聞過花香、觸摸過花瓣，或在花園散步過，有可能真正了解什麼是「花」嗎？這個問題引發了不少的哲學與認知科學爭論；有認知理論專家認為，親身感受和體驗是概念形成的關鍵，但目前飛速發展的大語言模型研究卻表明，僅憑語言便有可能建立對現實具有意義的真實表徵。

由香港理工大學 （理大）研究人員與合作者組成的團隊，透過分析大語言模型和人類在概念表徵上的相似度，為語言能在多大程度上推動複雜概念的形成和學習提出了新見解。研究並揭示「具身化訓練」（grounding），即為大語言模型提供感官（如視覺）及運動信息，讓模型能將抽象與具體概念聯繫起來，可以影響其對複雜概念的理解並生成接近人類的表徵。此研究與俄亥俄州立大學、普林斯頓大學及紐約市立大學的研究人員合作進行，成果最近於《Nature Human Behaviour》上發表。

理大冼為堅基金人文與科技講座教授、人文學院院長兼理大杭州技術創新研究院副院長李平教授領導的研究團隊選取大語言模型ChatGPT（GPT-3.5和GPT-4）和 Google LLMs（PaLM 和 Gemini）所生成的詞彙評分，並將其與公開發表及經過驗證的《格拉斯哥詞彙範本》（Glasgow Norms）和《蘭卡斯特詞彙範本》（Lancaster Norms）數據集中近4,500個詞語的人類評分進行比較。這些評分涵蓋了非感官運動領域，包括情感效價、具體性、可意象性等維度；感官領域，包括視覺、嗅覺、聽覺等維度，以及運動領域，包括腿／腳、嘴巴／喉嚨等維度。

研究團隊以人與人之間的配對結果作為基準，首先將個別人類和大語言模型生成的數據進行比較，以探究人類與大語言模型的詞彙評分在上述領域各維度中的相似程度，從中找出大模型和人類在理解不同領域概念上的一致性，例如兩者是否都認為某些概念相較其他概念更加具體。然而，這種分析或會忽略不同維度如何共同影響詞彙的整體表徵。以 「pasta」（意大利麵）和「 roses」（玫瑰）為例，兩者同樣在嗅覺維度擁有較高的評分，但實際上「pasta」與「roses」遠遠不及「pasta」與「noodles」（麵）接近，因為概念之間的相似度需要綜合考慮其外觀和味道。因此，團隊再運用了表徵相似性分析（representational similarity analysis），將每個詞彙在各領域多個範疇的評分數據整合成一個向量（vector），以進行更全面的人類與模型比對。

研究結果表明大語言模型生成的詞彙表徵與人類表徵的相似度，在非感官運動領域最高，感官領域次之，而在運動領域表現最差。這凸顯了大語言模型在表徵人類概念上的局限；模型雖然能夠有效掌握非感官運動領域的概念，但在理解涉及視覺外觀、味覺等感官概念，或需要肢體動作體驗的運動概念時，表現明顯較為遜色。其中，動作性概念較少被文字完整描述，且高度依賴具身經驗，相對於色彩一類能從文本數據學習到的感官概念，對模型而言更具挑戰性。

根據研究結果，研究人員進一步檢驗具身化訓練能否提升大語言模型的表現。他們比較了同時接受語言及視覺輸入訓練的具身化模型（如GPT-4和Gemini），跟僅接受語言訓練的模型（如GPT-3.5和PaLM）之間的差異，結果發現結合視覺輸入的模型生成的表徵與人類表徵相似度明顯更高。

李平教授表示：「純語言訓練及語言＋視覺輸入（如圖像及視頻等）訓練的大語言模型，為研究感官及運動信息如何影響人類概念形成提供了獨特的機遇。我們的研究具體展現了多模態學習的潛在優勢，因為實時整合多種模態的信息正是人類學習和表徵的特點，如大模型能吸取到這個特徵，就可更趨近人類的認知模式以及更如人類行為一樣高效率。」

值得注意的是，這項發現與以往提出人類表徵遷移現象的研究結果吻合。人類透過視覺和觸覺的多模態經驗獲取物件形狀知識，如當我們觀看或觸摸物件時，大腦中同一區域會被激活。研究人員指出，正如人類一樣，經過多模態輸入訓練的大語言模型在接收了多種信息後，或能在連續的高維度空間中進行表徵融合或遷移。李教授續解釋：「大語言模型嵌入空間所具有的平滑及連續特性或許能解釋為何我們觀察到源自單一模態的知識能夠擴散至其他相關模態。此發現也可能揭示了先天失明人士與視力正常者之間為何會在某些領域上有相似表徵。目前的大語言模型在這方面還有明顯不足。」

展望未來，研究團隊指出今後可以透過類人型機械人技術把大語言模型與多模態數據整合，使其能主動解讀真實世界，並作出相應行動。李教授指：「相關技術發展或將催化大語言模型真正實現具身人工表徵，從而更切實反映出人類認知所具有的複雜性和豐富性，屆時人們將無法指出大模型對玫瑰花的表徵與人類的表徵有何分別。」

***完***