AI未来：翁荔谈安全智能培养策略

近日，知名华人青年科学家、OpenAI研究副总裁（安全）翁荔女士，在2024Bilibili超级科学晚会上发表了题为《AI安全与“培养”之道》的演讲，这是她首次在国内公开关于AI技术的见解。翁荔女士强调，随着ChatGPT的横空出世，AI技术如同疾风骤雨，迅速融入并深刻影响着人类生活的方方面面。面对AI的快速发展，如何引导其更好地服务人类，同时确保其安全性，成为了重要的议题。

翁荔女士指出，一个既安全又智能的AI，将为我们的生活带来诸多便利。她认为，随着AI智能化和自主化的进程，确保其行为符合人类价值观至关重要。AI可能因为数据偏见而变得狭隘，或因对抗性攻击而受到质疑，因此，引导和培养AI，使其服务于人类并确保安全，是实现其潜在益处的基石。

从数据层面，翁荔女士提出，提供多样、全面、正确的数据，有助于减少AI的偏见，并提高其准确性。她强调，利用多人标注的数据，可以借鉴“群体智慧”，即同一数据点由多人标注，多数票获胜的原则，提高标注的准确性。同时，通过强化学习（RL）和基于人类反馈的强化学习（RLHF）技术，通过奖惩机制训练AI，就像训练小狗一样，使其学会正确的行为。

在提升AI输出质量方面，翁荔女士提出使用模型自我评价和详细的行为规则。例如，在文档写作和视频音乐制作中，人们可以通过设定背景、角色思想和关键词来引导AI，使其创作出既丰富又富有感染力的作品。

翁荔女士还提出，人类需要教会AI安全的基本原则和道德准则，使其成为人类的伙伴。她强调，通过思维链（CoT）推理和扩展性研究，可以提升AI的可靠性和监督能力。

翁荔女士强调，AI安全需要每个人的参与，社区可以共同影响AI的成长。她表示：“AI的安全不仅仅是研究者的责任，它需要每一个人的参与。AI技术是一把双刃剑，它带来的便利和挑战并行，我们的参与至关重要。”

翁荔女士毕业于北京大学信息管理系，目前该系更名为北京大学数字人文实验室。她是2005级本科生，曾是“兜乐”项目的骨干设计人员。毕业后赴美攻读博士学位，曾就职于Facebook，现在是OpenAI的华人科学家、ChatGPT的贡献者之一。在OpenAI，她参与了GPT-4项目的预训练、强化学习以及对齐、模型安全等方面的工作，并提出了著名的Agent公式——Agent=大模型+记忆+主动规划+工具使用。

翁荔女士的演讲引发了与会者的热烈反响，她呼吁大家共同参与，为AI的未来贡献力量，共同培育出一个既聪明又负责的AI伙伴。