We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
The Alexa Prize Challenge with Stanford's Abigail See and Ashwin Paranjape
2020/8/20
Last Week in AI
A
Abigail See
A
Ashwin Paranjape
Abigail See：Alexa缺乏进行非任务导向的社交闲聊和持续多轮自然对话的能力，而Chirpy Cardinal的目标就是提升这两方面的能力。从零开始构建聊天机器人非常困难，需要从基础开始设计，并快速迭代以适应用户反馈。团队采用混合主动性设计，让用户能够主导对话，并使用优先级系统，根据用户兴趣切换话题。为了支持高用户主动性，Chirpy Cardinal尝试涵盖尽可能多的知识话题，包括冷门话题。团队尝试利用大型预训练语言模型（如GPT-2）与真实用户进行对话，这与传统的机械对话实验有很大不同。神经生成模型在对话中的应用存在局限性，容易出现常识性错误和社会性错误。为了提高神经生成模型的可靠性，团队限制了其对话轮数并精心设计了引导性问题。团队对GPT-2进行了微调，使其更擅长处理特定类型的对话，例如关于日常经验的对话。团队使用另一个微调后的GPT-2模型来处理世界知识，使其能够以更自然的方式将知识融入对话。为了避免冒犯用户，团队避免讨论有争议的话题，这限制了聊天机器人的能力，也让一些用户感到失望。聊天机器人未来可以成为传播事实信息和促进社会讨论的工具，但同时也存在被恶意利用的风险。团队未来的工作方向之一是开源Chirpy Cardinal的部分代码，并改进情感理解和回应机制，例如设计更有效的引导性问题。
Ashwin Paranjape：良好的流程和实践对团队协作至关重要，能够使团队快速适应变化并积极改进。参与Alexa Prize挑战类似于运营一家初创公司，需要快速交付最小化可行产品(MVP)。由于时间限制，团队需要快速迭代，并根据用户反馈迅速调整。传统的基于对话树的聊天机器人用户主动性低，难以应对用户话题切换。使用GPT-2处理世界知识存在局限性，例如可能出现事实错误或语法错误。预训练语言模型可能出现“幻觉”，即生成不准确的信息。用户喜欢Chirpy Cardinal能够讨论细分领域的话题，并尝试挑战系统的边界。聊天机器人系统并非处于稳定状态，用户会不断尝试挑战其能力边界。Chirpy Cardinal在用户主动性方面还有很大的提升空间，无法完全满足用户在所有话题上的需求。向用户提问过多会造成用户疲劳，因此需要平衡系统主动性和用户主动性。聊天机器人未来发展的一个方向是能够在不同层次上回答问题，并适应不同的对话情境。开放领域聊天机器人面临着“图灵测试”的挑战，需要在多个方面都达到较高的水平。对话式AI是一个全栈NLP问题，需要在多个NLP领域都达到一定水平才能构建出良好的用户体验。聊天机器人存在被用来强化信息茧房的风险，但也可能成为连接不同观点人群的桥梁。团队未来的工作方向之一是改进知识处理模块，使其能够更准确、更自然地将知识融入对话，并改进对话中的主动性机制，让用户能够更自然地主导对话。
Deep Dive
The Stanford team discusses the difficulties of assembling and managing a large team for the Alexa Prize Challenge, emphasizing the need for rapid development and user feedback.
Shownotes Transcript