机器人通过观看视频学习逼真嘴部动作，实现更自然的交互体验。
1月19日，据消息，在哥伦比亚大学的一间工程实验室中，一款人形机器人首次以极高的真实度模拟了嘴唇的活动。这项由创意机器实验室（CreativeMachinesLab）主导的研究，首次实现了自主系统仅通过视觉学习，便掌握了用于说话和唱歌的自然唇部动作。
据了解，这一成果解决了人形机器人设计领域的一个关键难题：面部动作的不协调感。尽管机器人在行走、抓取和整体灵活性方面已取得显著进展，但面部表情，特别是与语言相关的唇部动作，仍是一个尚未突破的瓶颈。
即便是最先进的人形机器人，其嘴巴的运动也常常显得生硬，仿佛木偶般不自然，难以达到逼真的效果。人类对于这种细微的不协调感非常敏感，这种心理现象正是研究人员所指出的“恐怖谷效应”的原因之一。
该研究团队使用了一种创新的学习方式，机器人并未依赖为每个元音或音素设定的固定规则，而是通过实验和模仿来掌握唇部的力学特征。其面部由一层覆盖在26个微型马达上的柔性合成皮肤组成，能够精确再现语言表达过程中细微的肌肉运动变化。
研究人员首先让机器人面对镜子，让它观察自己数千种随机的面部表情。通过这个过程，机器人学会了肌肉运动与不同面部形态之间的对应关系，研究团队将这一阶段命名为“自我探索期”。
在理解自身的运动机制后，机器人开始学习人类的语言表达方式。它通过分析大量的人类说话和唱歌的视频素材（来自YouTube），建立了唇部动作与声音之间的统计学联系。这一名为“视觉-动作转换模型”的训练过程，使得系统能够直接将音频转换为同步的电机控制指令，无需依赖传统的语音编程，即可生成真实的唇部动作。
测试结果显示，这款机器人能够配合多种语言完成唇部同步运动，甚至还能演唱其人工智能原创专辑《Hello World》中的曲目。尽管目前的动作仍非尽善尽美，如“B”这类爆破辅音，以及“W”这类噘唇音的模仿，仍是待解难题，但进步效果显而易见。创意机器实验室主任、机械工程学教授霍德 · 利普森表示：“它与人类的互动越频繁，表现就会越出色。”
这项突破的意义不仅限于娱乐领域，更在于推动人机交流的深度发展。能够表达细腻情感的机器人面部，可能会彻底改变人机互动的方式。研究负责人胡宇航（Yuhang Hu，音译）表示，将高度逼真的面部动作与ChatGPT、Gemini等对话型人工智能结合，可以提升人机交互中的情感共鸣，使“相互理解”的感觉更加真实。未来，随着模型学习到更丰富、更长的对话背景，这些微表情也将具备更强的情境感知能力。
利普森认为，这类研究填补了机器人技术中一个长期被忽视的领域。他解释说，目前大多数关于人形机器人的研究主要集中在身体机械性能上，例如腿部、手部的动作以及移动能力，而忽略了面部情感表达的重要性。然而，对于那些应用于教育、医疗和养老等领域的机器人来说，真实自然的面部表情与实用的肢体灵活性同样关键。随着全球人形机器人量产步伐的加快（部分经济学家预测，十年内产量将达数十亿台），面部动作的逼真程度可能会成为影响公众接受度的重要因素。
胡宇航表示：我们正濒临跨越恐怖谷的临界点，未来的人形机器人，必然会拥有更加灵动自然的面部表情。这一趋势不仅反映了人工智能技术的快速进步，也预示着人与机器之间互动方式的深刻变革。随着技术的不断成熟，机器人在情感表达上的细腻程度将逐步接近人类，这既带来了期待，也引发了对伦理和心理适应性的思考。
不过，胡宇航与利普森均指出，这项技术背后涉及复杂的心理学与伦理学问题。随着机器人日益具备人性化的特征，人与机器之间的情感界限可能变得模糊。长期研究机器人共情能力的利普森强调，应保持谨慎态度：“我们必须循序渐进、稳妥推进，才能在享受技术带来的好处的同时，有效控制潜在风险。” 从社会发展的角度来看，技术进步固然重要，但对人类情感与道德边界的尊重同样不可忽视。在推动技术应用的过程中，如何平衡创新与责任，将是未来需要持续关注的问题。
该研究成果已发表于《科学 · 机器人学》期刊。
