Skip to main content Start main content

以AI伙伴助解孤独:理大跨学科学者结合音乐与共情语言 为机械人塑造同理心

科研与创新发展 设计学院及电子计算学系
理大设计学院及电子计算学系跨学科全职教授(社会机器人学)Johan F. Hoorn教授领导研究《跨回合多次互动中的「会说话的音乐机械人」:多模态同理心人机互动研究》 (A Talking Musical Robot over Multiple Interactions) ,发现在AI机械人结合音乐与同理心语言的多模态策略,可促进更强的人机连系。
Hoorn 教授的研究指出,在人机互动情境中,音乐可作为强化同理心沟通的关键促进因素。

孤独感对市民精神健康构成关键影响,尤以长者群体为甚。具备情绪感知与回应能力的机械人,可作为「暖心」陪伴者,协助舒缓情绪、提振心境。香港理工大学(理大)研究团队最新发现,在具备人工智能(AI)的机械人设计中,将「音乐」与「同理心语言」结合,可在多次互动中促进更强的人机连结。研究结果突显以多模态途径设计同理心机械人的重要性,并对其于精神健康支援、长者照护、教育等场景的应用带来重要启示。

此研究项目《跨回合多次互动中的「会说话的音乐机械人」:多模态同理心人机互动研究》(A Talking Musical Robot over Multiple Interactions),由理大设计学院及电子计算学系跨学科全职教授(社会机器人学) Johan F. HOORN(洪约翰)教授带领,并与香港中文大学的黄诗明(Ivy HUANG)博士合作进行。研究聚焦探讨音乐与同理心语言如何提升萤幕式机械人的情感共鸣,结果显示音乐可作为同理心语言的有力补充,增强互动中的情感连系。

研究团队安排以广东话为母语的参与者,在三个互动回合/多次互动中与同理心机械人进行交流,并评估其互动体验。结果显示,音乐与语言的结合显著提升参与者对机械人同理心水平的主观感知。

Hoorn 教授指出:「数据显示,在后续互动回合中,音乐的存在仍可提升机械人的拟人化感。其中一个可能诠释是:音乐令互动更接近具备个性的真实对话;就如人类辅导员或会以音乐安抚求助者,从而提升机械人的社交临场感与生命感。」

研究亦提醒,当参与者在重复互动后逐渐「习惯」或「对音乐线索产生适应」时,音乐所带来的增益可能随时间下降。这反映在设计长期人机互动时,须更重视以使用者为本与个人化的互动策略,以维持同理心回应的持续相关性与效能。研究建议同理心机械人应能根据使用者回馈与情境动态调整回应,例如调校音乐元素或逐步个人化对话内容,以支援更稳定、持续的情感连结。

Hoorn 教授强调:「本研究指出,同理心机械人的设计应采取涵盖音乐、语言等讯号的多模态沟通。这对真实世界应用具相当潜力,尤其在精神健康支援及长者照护领域。若能结合可提供度身订造音乐体验、并能进行细腻敏感对话的同理心机械人,将有望为可能面对孤独或社交隔离的人士提供更具意义的陪伴与情绪支援。」

除了这项研究,Hoorn教授亦正领导另一研究项目「香港社区压力缓解:大型语言模型赋能社交机械人的战略性研究」,该项目获研究资助局主题研究计划拨款逾港币4,000万元。

同时,Hoorn 教授亦兼任理大量子技术研究院副院长,并将进一步探索「量子启发」的人类情感建模框架,以更精准地表征与回应情绪经验中固有的模糊性与歧义性。相较于传统计算系统往往难以处理情感反应的流动性与情境依赖性,量子模型可将情绪状态表示为机率性的迭加,以反映人类感受在真实互动中的不确定性与复杂度,为情感计算与人机互动设计提供更贴近经验现象的表征方式。

Hoorn 教授补充:「最令我振奋的,是有机会研发出不仅能辨识人类情感复杂性,更能接纳这份复杂性的社交机械人。这类机械人或可提供更具适应性、开放式且富同理心的支援,与其旨在协助的人群一样,能在互动中保留余裕与理解。」

相关研究成果已刊载于《ACM Transactions on Human-Robot Interaction》。

******

您的浏览器不是最新版本。如果继续浏览本网站,部分页面未必能够正常运作。

建议您更新至最新版本或选用其他浏览器。您可以按此连结查看其他相容的浏览器。