在本期 IBM 智能对话节目中,雅各布·戈德斯坦与人工智能合作组织首席执行官丽贝卡·芬利讨论了在人工智能创新发展中将开放性和伦理置于首位的重要性。丽贝卡讨论了如何通过风险管理等防护措施来提高人工智能开发效率。他们探讨了人工智能联盟对开放数据和技术的关注,以及合作的重要性。丽贝卡还强调了多元化视角和开放心态如何能够负责任地推动人工智能进步。这是 IBM 的付费广告。本播客中的对话并不一定代表 IBM 的立场、战略或观点。请访问 https://ibm.com/smarttalks 访问 omnystudio.com/listener 获取隐私信息。</context> <raw_text>0 哈喽,哈喽。欢迎收听 IBM 智能对话,这是普希金工业公司、iHeartRadio 和 IBM 联合推出的播客节目。我是马尔科姆·格拉德威尔。在本季节目中,我们将再次深入探讨人工智能的世界,但重点关注开放这一强大的概念,包括它的可能性、影响和误解。
我们将从多个角度审视开放性,并探讨这一概念如何重塑行业、商业模式以及我们对可能性的认知。在今天的节目中,雅各布·戈德斯坦与人工智能合作组织首席执行官丽贝卡·芬利进行了座谈,这是一个致力于解决人工智能未来重要问题的非营利组织。
他们的对话重点关注丽贝卡的工作,她汇集了一个由不同利益相关者组成的社区,以帮助塑造围绕负责任的人工智能治理的讨论。丽贝卡解释了为什么透明度对于负责任地扩展这项技术如此重要。她还强调了与人工智能联盟等组织合作如何提供宝贵的见解,以便围绕发布开源模型构建资源、基础设施和社区。
所以,事不宜迟,让我们开始对话吧。你能说说你的名字和工作吗?我的名字是丽贝卡·芬利。我是为了造福人和社会的人工智能合作组织(通常称为 PAI)的首席执行官。你是怎么走到这一步的?在你担任现在这个职位之前,你的工作是什么?大约三年前,我来到 PAI,此前我有机会在加拿大高级研究所工作,负责开发和部署他们所有与技术与社会交叉领域相关的项目。加拿大研究所自 1982 年以来一直在资助的领域之一就是人工智能研究。哇。很早。他们很早就开始了。
这是一个非常早期的承诺,也是研究所持续做出的承诺,即资助长期具有科学意义的基础性问题,开展跨学科研究项目,这些项目通常会持续资助十多年。
在研究所启动这项工作的 AI 机器人和社会项目最终成为一个非常关注深度学习和强化学习神经网络的项目。所有当前迭代的人工智能,或者至少是生成式人工智能之前的迭代,都导致了我们在在线搜索方面看到的这种转变,
以及预测性人工智能已被部署的各种方式。因此,我有机会见证这项研究的早期阶段是如何融合在一起的。在 2000 年代初和 2010 年代初,计算能力与一些互联网公司和其他公司的数据能力结合在一起,我们真正看到了这项技术开始腾飞,
我有机会启动一个专门关注人工智能对社会影响的项目。正如你所知,当时人们对这项技术的潜力以及我们在数据集、偏差、歧视和对未来就业的潜在影响方面看到的一些情况都表示担忧。因此,将一群专家(无论是伦理学家还是
律师、经济学家还是社会学家)纳入关于人工智能的讨论,是该新项目的核心,并且仍然是我致力于汇集不同视角来解决人工智能今天提供的挑战和机遇的核心。那么,你现在的具体工作是什么?你做什么工作?PAI 做什么工作?
我喜欢通过提出两个问题来回答这个问题。首先也是最重要的是,你认为当今世界比历史上任何时期都更加分裂吗?你认为,如果我们不创造空间让截然不同的观点汇聚一堂,我们就无法解决当今世界面临的挑战吗?我对这两个问题的答案都是肯定的,
我们更加分裂了,其次,我们需要寻找那些能够让截然不同的观点汇聚一堂来解决这些重大挑战的空间。这就是我作为人工智能合作组织首席执行官所做的事情。我们在 2016 年成立,其根本承诺是
将专家汇集在一起,无论他们是来自行业、学术界、民间社会还是慈善机构,共同确定在考虑以人为本和以社区为中心的人工智能开发时,哪些是最重要的问题?然后,我们如何开始制定解决方案以确保我们获得适当的益处?这是一个非常宏大的问题。
一系列的想法。我对更日常的层面感到好奇。我的意思是,你谈到了与所有这些不同类型的人、所有这些不同的群体进行合作。这实际上是什么样的?你如何开展这项工作的具体例子有哪些?
现在,我们在 16 个国家拥有大约 120 个合作伙伴。他们通过我们从各种不同角度审视的工作组走到一起。这可能是人工智能、劳动力和经济。这可能是如何构建健康的资讯生态系统?这可能是如何将更多元化的视角融入包容和公平的开发生态系统?
人工智能。这可能是这些非常非常大的基础模型应用程序的新兴机遇是什么,以及如何安全地部署它们?这些群体走到一起,最重要的是,要说明我们需要共同回答哪些问题?
因此,他们会在工作组中走到一起。我有一支很棒的员工团队,他们负责综合研究、数据和证据,制定框架、最佳实践、资源,以及我们可以提供给社区的所有东西,无论是行业还是政策,来说明我们可以做到这一点,这就是好的样子,以及我们如何在日常生活中做到这一点。这就是我们所做的。然后我们发布我们的材料。现在所有内容都是开放的。
我们确保将它们交到可以使用它们的社区手中,然后我们与这些社区合作,将它们付诸实践。
你在描述你的出版物时使用了“开放”这个词。我知道在人工智能领域,在技术方面,存在关于开放式人工智能与封闭式人工智能的争论或讨论。我很想知道你如何看待这场特殊的讨论。你对开放式人工智能与封闭式人工智能的看法是什么?开放式人工智能与封闭式人工智能之间的当前讨论
人工智能模型的发布是在我们看到 ChatGPT 和其他非常大型的生成式人工智能系统被部署到世界各地消费者手中之后出现的。随之出现了一些对这些模型的潜在担忧
以各种灾难性的方式行事。因此,人们担心这些模型可能会被用于开发病毒、生物医学武器甚至核武器,或者通过操纵等方式。因此,在过去的
18 个月中,这种对这些模型如果公开部署可能会导致某种程度的真正灾难性风险的真正担忧出现了。而且
而且我们发现,通过过去一段时间完成的大量工作,公开发布它们并没有导致,而且似乎也没有以任何方式导致灾难性风险。事实上,公开发布它们允许对已实施的安全措施进行更严格的审查和理解。
因此,发生的事情是,在过去的一年中,钟摆非常强烈地转向了对真正灾难性风险和安全的担忧。在过去的一年中,随着我们越来越了解这些模型的使用方式以及它们如何被部署到世界各地,我们看到它又摆了回来。
我的感觉是我们必须公开地对待这项工作。这不仅仅是公开发布模型,或者我们认为的传统开源形式的模型开发或其他方式。但我们确实需要考虑如何建立一个开放式创新生态系统,该系统从根本上允许将创新与许多人共享,同时也严格维护安全和保障。
因此,当你谈到这种超越开源的更广泛的开放式创新理念时,或者说,模型的透明度,例如,你的意思是具体是什么?这在世界上是什么样的?我有三个……
关于开放式创新的观点,因为我认为我们需要同时考虑驱动这些模型的研究的上游,以及这些模型对其他人的下游益处。首先,我们所了解的人工智能开发方式,是的,我在加拿大高级研究所工作时有机会看到它,是一种非常开放的科学
出版物和严格的同行评审。当我们公开发布时,你就有机会对研究进行质询,以确定其质量和意义,然后还可以被其他人采用。
然后其次,对我来说,开放性是关于透明度的。去年,我们发布了一套非常强有力的建议,内容是关于如何安全地部署这些非常大的基础模型。它们都是关于披露的。它们都是关于从早期开始就进行披露和记录的。
这些系统的研发前,对培训数据的内容以及如何使用它进行思考,一直到部署后的监控和披露。所以我真的认为这一点很重要,始终保持透明。然后第三部分是
开放性是指谁能够从这项技术中受益。我们知道,如果我们真的要看到这些新模型成功地部署到教育、医疗保健或气候和可持续性领域,我们需要让这些专家和这些社区参与制定计划,并确保这项技术能够为他们服务。这就是我对开放性的三种思考方式。
你有没有参与过某个你认为能够反映你对负责任人工智能方法的特定项目?
PAI 目前正在进行一个非常有趣的项目,该项目直接关注合成媒体的使用方面的负责任实践。我们从社区听到的是,他们正在寻找关于在这个领域中负责任行为意味着什么的明确行为准则。
因此,发生的事情是我们召集了一些工作组走到一起。他们包括行业代表。他们还包括民间社会组织(如 Witness)、许多学术机构等等。我们听到的是有明确的原因
创建者可以采取的要求,技术开发人员可以采取的要求,以及分销商的要求。因此,当我们考虑将这些生成式人工智能系统部署到各个平台和其他地方时,我们提出了一个关于责任意味着什么的框架。同意意味着什么?负责任地披露意味着什么?将技术嵌入其中意味着什么?
例如,我们听到许多人谈论水印系统的重要性,对吧,并确保我们有一种为其加水印的方法。但我们从技术中了解到,这是一个非常非常复杂的问题。在技术层面可能有效的东西,当我们开始标记和向公众披露该技术实际含义时,肯定会遇到一系列新的复杂问题。
我相信所有这些都是可以解决的问题,但它们都需要一个明确的代码作为基础,说明我们将致力于此。现在,我们已经有许多组织(许多大型科技公司,以及许多在这个领域运营的小型初创公司、民间社会和媒体组织,如英国广播公司和加拿大广播公司)签署了协议。其中一个真正令人兴奋的部分是,
我们现在看到它正在如何改变实践。一年后,我们要求每个合作伙伴提出一个明确的案例研究,说明这项工作如何改变了他们做出决策、部署技术以及确保他们在使用中负责任的方式。这现在正在创建一个我们可以与他人分享的在线资源,内容是关于在这个地方负责任意味着什么
要负责任。还有很多工作要做。令人兴奋的是,一旦你有了这样的基础,我们就可以继续在此基础上进行建设。例如,现在在政策领域对这项工作也有很多兴趣。是否有任何关于这些案例研究或现实世界经验的具体例子,
比如说,媒体组织所拥有的那些有趣的、有启发性的例子?是的。例如,我们在英国广播公司看到的是,他们作为公共广播公司正在开发大量内容,无论是他们的新闻报道,还是他们在网上开发的一些资源。
也为英国公众服务。他们谈到的是他们如何在非常敏感的环境中使用合成媒体,他们听到个人谈论个人经历,但又想找到一种方法来完全改变说话者的面孔。
这是一个非常复杂的伦理问题,对吧?你如何负责任地做到这一点?你如何使用这项技术?最重要的是,你如何披露它?因此,他们的案例研究非常详细地研究了他们为负责任地做出决定而经历的过程,以及他们打算在这个领域中如何使用这项技术。当你描述你的工作和一些研究时,
透明度的理念似乎是一个主题。谈谈透明度在这项工作中的重要性。
是的,透明度是责任的基础。我一直喜欢说它不是完全意义上的问责制,但它是更充分地推动问责制的第一步。因此,当我们考虑这些系统是如何开发时,它们通常是在幕后由公司开发的,这些公司正在从商业角度做出关于这些产品将如何工作的决策。
角度。披露和透明度可以提供的是对导致这些模型部署方式的决策的一些了解。这可能是确保个人的私人信息在整个过程中得到保护,并且不会无意中被泄露或其他方式。这可能是提供关于系统针对一系列质量指标的性能的一些了解。
因此,我们所有这些不同类型的评估和衡量标准正在出现,这些衡量标准是关于这些系统在部署时的质量。透明地说明它们如何针对这些系统进行性能评估也至关重要。我们有一个围绕这些系统的审计的整个生态系统正在出现。那么,这看起来是什么样的呢?我们考虑经济所有其他部门的审计员。审计这些系统以确保它们满足所有这些要求是什么样的?
既有法律要求,也有我们想要确保存在的额外伦理要求。你在人工智能政策中遇到的最棘手的伦理困境是什么?
嗯,人工智能政策的有趣之处在于,在一个环境中运作非常简单的东西,在另一个环境中可能非常复杂。例如,我有一个我非常喜欢的应用程序。它是我手机上的一个应用程序,它允许我拍摄鸟的照片。
它将帮助我更好地了解那只鸟,并向我提供关于那只鸟的所有信息。现在,它在大多数情况下可能是正确的,而且它在足够的时间内是正确的,这让我在散步时感到非常高兴和快乐。
你可以考虑将这项技术应用于此。例如,你现在是一名保安,你在一家购物广场工作,你可以拍摄你认为以某种方式行为可疑的个人的照片,并将该照片与某种数据库中的个人进行匹配,这些个人可能被发现与
过去某种犯罪行为有关,对吧?因此,从令人愉快的“哦,这只鸟真有趣”变成了非常令人毛骨悚然的“关于监控、隐私和进入公共场所的安全问题是什么?”
这就是人工智能的本质。关于人工智能的伦理使用和部署的许多担忧在于,组织如何在他们设定的社会和系统结构中做出选择。因此,人工智能伦理的很大一部分在于理解用例是什么,它是如何使用的,它是如何受到约束的,
它如何开始侵犯我们认为的个人隐私的人权?因此,你必须不断地思考伦理问题。在一个情况下运作良好的东西,在另一个情况下绝对不适用。我们经常将这些称为社会技术问题,对吧?技术有效并不一定意味着它应该被使用和部署。
人工智能合作组织影响政策或行业实践的例子是什么?
我们稍微谈到了合成媒体的框架,以及这如何使公司、媒体组织和民间社会组织能够真正深入思考他们使用这种方式。我们关注的另一个领域是围绕基础模型和大型模型的负责任部署。正如我所说,我们去年发布了一套建议,真正阐明了
对于这些非常大型的基础模型和前沿模型的开发人员和部署者来说。从研发到部署监控,好的样子是什么?看到这项工作被公司采用并真正作为其基础模型和系统未来部署结构的一部分表达出来,这非常令人鼓舞。你知道,这项工作的很大一部分是围绕着创建我们随着技术发展而满足的明确定义以及明确的责任集。因此,看到这项工作被采用是很好的。美国国家电信和信息管理局刚刚发布了一份报告
关于开放模型和开放模型发布的报告。很高兴看到我们的工作被引用在那里,作为对该分析的贡献。很高兴看到我们在合成媒体中的一些定义被不同国家的立法者采用。真的,我认为,在我们这个技术正在发展和加速发展的时刻,为我们的政策制定者建设能力、知识和理解非常重要。
什么是人工智能联盟,为什么人工智能合作组织决定加入?你问到了开放模型与封闭模型之间的争论,以及它在过去一年中的演变。人工智能联盟是一个组织社区,他们走到一起,真正思考,好吧,
如果我们支持公开发布模型,那会是什么样子,社区需要什么?因此,大约有 100 个组织。IBM 是我们的创始合作伙伴之一,也是人工智能联盟的创始合作伙伴之一。这是一个汇集了许多学术机构的社区。
世界各地的许多国家。他们真正关注的是如何构建资源、基础设施和社区,围绕着这些大型模型中的开源真正意味着什么。所以这可能是
开放数据集,这可能是开放技术开发,真正建立在我们对需要到位的基础设施和一个致力于通过开放视角思考安全和创新的社区的理解之上。
这种方法汇集了来自世界各地、具有不同背景、经验和观点的组织和专家,以透明和公开的方式解决人工智能带来的挑战和机遇。人工智能联盟的协作性质鼓励讨论、辩论和创新。通过这些努力,IBM 正在帮助建立一个围绕透明、开放技术的社区。
所以我想谈谈未来几分钟。我很想知道你认为负责任的人工智能实践广泛采用的最大障碍是什么。
当今最大的障碍之一是无法理解以及真正缺乏对如何使用这些模型以及它们如何最有效地推动公司对其可能部署的任何产品和服务的承诺的理解。所以我总是建议公司考虑几件事,并开始行动。首先,考虑一下
你如何在所有业务产品和服务中使用人工智能,因为人工智能已经集成到我们的劳动力、工作流程以及公司每天与客户沟通的方式中。因此,了解你已经如何使用
使用它,并了解你如何将监督和监控集成到其中。公司真正了解如何负责任地使用人工智能的最佳和最清晰的方法之一是通过文档。这是社区中存在明确共识的领域之一。那么,你如何记录你正在使用的模型,确保你已经建立了注册表?你如何记录你正在使用的数据以及这些数据来自哪里?这是理解现有内容以及为了向前监控你需要做什么的第一系统、第一道防线。然后其次,一旦你了解了你如何已经使用该系统,
看看你可以通过低风险的方式开始试点或迭代使用这些系统,以真正开始了解你需要建立哪些结构才能向前使用它。然后第三,确保你在内部建立一个能够进行一些跨部门监控、知识共享和学习的团队。
董事会对这项技术非常非常感兴趣。因此,考虑一下你如何可以在内部建立一个向你的董事会汇报的系统或团队,让他们了解它为你确定的机会以及你可能正在实施的其他风险缓解和管理措施。然后,一旦你有了这些东西,你真的需要了解你如何与你拥有的最有价值的资产一起工作,那就是你的人。
你如何确保人工智能系统为工人服务,确保它们到位?我们看到的令人印象最深刻的实施是那些让将参与此过程的工人处于中心地位,以弄清楚如何开发和部署它以真正增强他们的工作的实施。这是我们去年发布的一套共享繁荣指南的核心部分。
然后从政策制定者的角度来看,政策制定者应该如何看待创新与监管之间的平衡?是的,这太有趣了,不是吗?我们总是认为创新和监管是硬币的两面,而实际上,
许多创新都来自于制定明确的防护措施和法规。我们考虑一下汽车行业发生的创新,对吧?我们可以更快地驾驶,因为我们有刹车。我们可以更快地驾驶,因为我们有安全带。所以我认为,我们经常认为两者是硬币的两面,这对我来说通常很有趣,但实际上,
你不可能在不负责任的情况下进行创新。因此
我认为从政策制定者的角度来看,我们一直在鼓励他们做的是了解你已经制定了适合你的国家的基础性法规。这可能是确保你已经制定了强大的隐私保护措施。这可能是确保你正在了解潜在的在线危害,特别是对弱势群体的危害。
社区。然后看看你需要在国际上做些什么才能在竞争力和可持续性方面保持领先地位。现在在国际层面已经存在各种机制来考虑我们如何为这些技术建立一个互操作的空间。我们一直在各种方式中讨论负责任地开发人工智能意味着什么?如果你要把它归纳起来,那么人们应该考虑的关键问题是什么,例如,在负责任的人工智能中应该考虑的关键事项是什么?
因此,如果你是一家公司,如果我们通过公司的视角进行讨论,当我们考虑人工智能的负责任使用时,这种形式的人工智能技术与我们以前使用过的其他形式的技术之间最重要的区别在于数据的集成以及在该数据之上进行的模型训练。因此,当我们考虑责任时,首先,
你需要考虑你的数据。它来自哪里?你对它有什么同意和披露要求?你是否在保护隐私?你不能在不考虑数据的情况下考虑你公司内的人工智能。这既是你的训练数据,但一旦你使用你的系统并与你的消费者进行集成和互动,你如何保护由此产生的数据?
这些系统也是如此。然后其次,当你考虑如何部署该人工智能系统时,你最想考虑的事情是,我们是否正在向我们的客户和合作伙伴透明地说明它如何被使用?
因此,你知道,如果我是客户,我应该知道我何时正在与人工智能系统互动。我应该知道我何时正在与人类互动。所以我认为这两点是基础。然后,当然,你想仔细考虑,你知道,确保你在运营的任何司法管辖区都满足你提供的服务和产品的全部法律要求。
让我们以快速问答结束。完成句子。五年后,人工智能将……如果我们选择为这项技术设定未来的发展轨迹,它将推动公平、正义和共享繁荣。人们对人工智能最误解的一件事是什么?
人工智能既不好也不坏,但人工智能也不是中性的。它是我们作为人类关于如何在世界上部署它的选择的产物。你十年前会给自己什么建议来更好地为今天做好准备?十年前?
我希望我知道,随着我们继续开发这项技术,伦理和责任的持久问题将是多么根本。我们对人工智能提出的许多问题都是关于我们自己以及我们如何使用技术以及技术如何推进我们正在开展的工作的问题。
你今天在日常生活中如何使用人工智能?我每天都在使用人工智能。所以无论是我的……
当我出去晨练时使用的鸟类应用程序,帮助我更好地识别我看到的鸟类,还是帮助我更快地穿过交通到达我需要参加的任何会议的地图应用程序。我一直都在使用人工智能。我真的很喜欢使用一些生成式人工智能聊天机器人,更多的是为了娱乐而不是其他任何事情,作为思考想法的创意伙伴。
将它集成到我们生活的方方面面,只是与我们今天的生活方式密切相关。因此,人们使用“开放”一词来表示不同的含义,即使只是在技术的背景下。你在你的工作背景下如何定义开放?因此,存在应用于技术的开放问题,我们已经对此进行了大量讨论。但我确实认为 PAI 的一个重要部分是开放心态的技术。
我们需要保持开放心态,真正倾听例如民间社会倡导者关于他们所看到的关于人工智能如何在特定社区中互动的方式的意见。
或者我们需要以开放的心态倾听技术专家对这项技术未来发展方向的希望和梦想。我们需要进行这些对话,互相倾听,才能真正找到应对当今人工智能挑战和机遇的方法。因此,开放性对人工智能伙伴关系至关重要。我经常称其为开放式创新的实验。
丽贝卡,非常感谢你的时间。我很荣幸。感谢你的邀请。感谢丽贝卡和雅各布就人工智能未来面临的一些最紧迫的问题进行了引人入胜的讨论。正如丽贝卡所强调的那样,无论你考虑的是数据隐私还是披露,透明和开放都是解决挑战和抓住新机遇的关键。
通过制定最佳实践和资源,人工智能伙伴关系正在构建护栏,以支持开源模型的发布和部署后监控的实践。通过与更广泛的社区分享他们的工作,丽贝卡和PAI正在展示负责任、道德和公开的工作如何帮助推动创新。
IBM的Smart Talks由Matt Romano、Joey Fishground、Amy Gaines-McQuaid和Jacob Goldstein制作。我们的编辑是Lydia Jean Cott。我们的工程师是Sarah Bruguere和Ben Tolliday。主题曲由Gramascope创作。特别感谢8 Bar和IBM团队,以及Pushkin营销团队。IBM的Smart Talks是Pushkin Industries和iHeartMedia的Ruby Studio制作的。
要查找更多Pushkin播客,请在iHeartRadio应用程序、Apple Podcasts或您收听播客的任何地方收听。我是马尔科姆·格拉德威尔。这是IBM的付费广告。本播客中的对话并不一定代表IBM的立场、战略或观点。♪