Predicting Volatility and Risk: Nasdaq’s Doug Hamilton
25:51 Share

道格拉斯·汉密尔顿在纳斯达克的各个业务部门工作，致力于在任何人工智能技术能够加快或改进全球交易相关流程的地方部署人工智能。在本期《我和AI》播客中，他与主持人萨姆·兰斯博瑟姆和谢尔文·霍达班德一起解释了这家全球金融服务和技术公司如何利用人工智能来预测高波动性指数，并为那些处理高风险情景的人提供更一般的建议。在此处阅读剧集文字记录。《我和AI》是由麻省理工学院斯隆管理学院和波士顿咨询集团合作推出的播客，由萨姆·兰斯博瑟姆和谢尔文·霍达班德主持。我们的工程师是大卫·利尚斯基，协调制作人是艾莉森·莱德和索菲·鲁丁格。通过加入我们的LinkedIn小组“AI for Leaders”（mitsmr.com/AIforLeaders），与我们保持联系。在https://sloanreview.mit.edu/ai上阅读更多关于我们的节目信息并关注该系列节目。嘉宾简介：道格拉斯·汉密尔顿是一位数据科学家，他是纳斯达克机器智能实验室的AI研究主管，该实验室致力于利用机器学习来阐明和改进金融市场。他于2017年加入纳斯达克担任数据科学家，并开发了专注于快速适应、强化学习和有效市场原则的人工智能解决方案，以解决预测控制问题。在加入金融科技行业并领导纳斯达克的机器智能计划之前，汉密尔顿领导了波音商用飞机公司的高级制造分析小组，并在Fast Enterprises公司构建了客户关系管理系统。他是美国空军退伍军人，也是数据科学大会咨询委员会成员。汉密尔顿拥有麻省理工学院系统工程硕士学位和伊利诺伊州斯普林菲尔德大学数学学士学位。我们鼓励您对我们的节目进行评分和评论。您的评论可能会用于《我和AI》的资料中。我们想知道您对《我和AI》的感受。请参加一个简短的两道题的调查。</context> <raw_text>0 今天，我们播放的是由我们的朋友Modern CTO Podcast制作的一期节目，他们最近很友好地邀请我作为嘉宾参加。我们讨论了生成式AI的兴起，在技术方面取得成功的意义，以及领导者在指导技术实施工作时需要考虑的一些因素。您可以在Apple Podcast、Spotify或您收听播客的任何地方找到Modern CTO Podcast。在AI项目中，完美是不可能的。

那么，当不可避免的错误发生时，您如何管理它们呢？当我们与纳斯达克的AI研究主管道格拉斯·汉密尔顿交谈时，我们将了解纳斯达克是如何做到的。欢迎收听《我和AI》，这是一档关于商业中人工智能的播客。在每一期节目中，我们都会向您介绍一位在AI领域进行创新的个人。我是萨姆·兰斯博瑟姆，波士顿学院信息系统教授。我还是麻省理工学院斯隆管理学院AI与商业战略大型项目计划的客座编辑。

我是谢尔文·科达班德，BCG高级合伙人，我共同领导BCG在北美的AI业务。麻省理工学院SMR和BCG共同研究AI已有五年时间，采访了数百名从业者，并对数千家公司进行了调查，了解在整个组织中构建、部署和扩展AI能力以及真正改变组织运营方式需要什么。今天，我们正在与道格拉斯·汉密尔顿交谈。

他是纳斯达克的副总裁兼AI研究主管。道格，感谢您加入我们。欢迎。谢谢，萨姆和谢尔文。很高兴今天来到这里。我们的播客是《我和AI》。那么，让我们从您在纳斯达克目前的职位开始吧，您可以告诉我们一些关于您目前在纳斯达克的职位吗？

我目前的职位是纳斯达克机器智能实验室的AI研究主管。这个职位本身有点独特，因为全球技术（也就是我们的工程组织）中的许多职位都与业务部门密切相关。因此，他们将与我们的四个核心业务部门之一合作，而这个职位实际上为业务的每个领域提供服务。

这意味着我们正在为市场技术提供服务，这是纳斯达克业务中负责生产软件的部门，该软件为50个国家/地区的2300多家公司提供支持，为全球47个不同的市场提供支持，以及银行和经纪业务以及合规和监管科技，以确保它们符合当地主管部门的规定。

当然，我们也为我们的投资者情报业务线提供服务，这是我们将数据从市场传递到买卖双方手中，以便他们能够在此基础上构建产品和交易策略的方式。当然，我们也为人们最常想到的一个大型业务线提供服务，那就是市场服务，也就是市场本身。这是我们的核心股票市场。

以及一些期权和衍生品市场。最后是企业服务，它实际上与在我们市场上市的公司及其投资者关系部门打交道。因此，我们实际上可以在所有这些不同的业务线中工作

这意味着我们可以处理大量非常有趣且非常多样化的人工智能问题。实际上，该小组的目标是利用尖端人工智能、机器学习和统计计算的所有方面

以便在这些业务线中找到价值。无论是通过生产力提升、差异化能力，还是仅仅是持续的增量式创新，都能使纳斯达克的产品保持领先地位，并使我们的市场处于行业前沿。

在这个职位上，我有一支数据科学家团队，他们负责开展工作、编写代码、构建模型、管理数据、将其全部打包到优化器中并创建自动化决策系统。因此，我认为我每天的工作实际上是与我们的业务合作伙伴一起寻找人工智能的机会。道格，也许为了让这一点更生动一些，您能否在用例的背景下对此进行说明？我将谈谈我们最喜欢的用例之一，那就是我们运行的最小波动性指数。

因此，最小波动性指数是我们与外部ETF提供商Victory Capital合作开发的一个AI驱动的指数。该指数的目标基本上是模仿纳斯达克版本的罗素2000指数。这是一个大型和中型股指数。然后，基本上以这样一种方式来调整该指数的权重（通常是市值加权的），以最大限度地减少该投资组合的波动性风险。

使该项目真正困难的是，如果您想线性地进行交易，那么最小化波动性实际上是一个相当容易和直接的问题。也就是说，您查看一堆股票，查看它们的长期波动性表现，选择一些低波动性股票，将它们放在一起，您就得到了一个相当低波动的投资组合。

从使用线性方法求解它、数值编程等方面来看，这实际上相当容易解决。您可以围绕它设置线性约束，以确保您不会偏离基础投资组合太多。您仍然可以捕捉到它的总体主题。您不会过度暴露于不同的行业。这实际上相当容易做到。

然而，当这变得真正有趣的是，如果您找到了两支相互对抗的股票，那不是很好吗？因此，它们实际上可能相当波动。但是，当混合在一起时，投资组合的波动性实际上比两支低波动性股票还要低，因为它们不断地相互对抗。也就是说，它们具有这种良好的反向变异作用，可以相互抵消。因此，您可以捕捉到中等增长，而不会出现波动性风险。那将是很棒的。

现在这变成了一个非线性问题，并且在这个时候也变成了一个非常嘈杂的、几乎是非凸的问题。但是您仍然需要围绕它设置所有这些约束。这些是模拟退火遗传算法、MCMC风格的优化器。当我们有软约束可以将解决方案大致引导回可行性区域时，这些算法的表现也相当好。它们的问题在于，当您给它们硬约束时，它们不喜欢硬约束。它们经常会崩溃。

因此，我们必须重新设计许多这些算法，以便能够处理这些硬约束。硬约束是什么样的？我将为您提供软约束和硬约束的示例。如果您在重新平衡投资组合时，其总周转率小于30%，那将是很好的，因为否则重新平衡的成本会非常高。硬约束可能是，

任何持仓在优化后的投资组合和母投资组合之间的变化幅度都不能超过2%。例如，如果母投资组合是10%的微软，那么优化后的投资组合必须在8%到12%之间，对吧？这是一个硬约束的例子。如果它是7.9%，我们就违反了指数的管理文件，每个人都会遇到很多麻烦。

明白了，明白了。这是一个很好的例子。好的，所以您说硬约束和软约束一起。

形成了一个更棘手的问题。——一个相当棘手的问题，因为这些算法能够很好地处理非线性，特别是这些蒙特卡罗马尔可夫链风格的算法不能很好地处理必须满足这些标准的硬约束。当您有，我认为在那个例子中我们有4000个约束，类似的东西，几乎没有任何东西能满足它们。因此，如果您采用这种严格的剔除方法，那么您将没有可行的解决方案

来获得密度。因此，我们不得不花大量时间与团队一起找出合适的解决方案架构应该是什么样的算法等等，以克服这一挑战，我们如何设置这些实验，我们需要设置什么样的实验，我们如何测试它，当然，我们如何向客户传达解决方案比他们目前拥有的更好。

道格，您谈到的关于波动性的这个例子是您的团队所做的数百个用例之一，还是数十个用例之一？只是想了解一下这里运营的规模。在纳斯达克内部，我们代表着人工智能的卓越中心。

因此，我认为这是任何时候正在运行或正在探索的数十个用例之一。最重要的是，我们显然与第三方供应商建立了稳固的关系，这些供应商帮助我们处理各种内部用例，也许这些用例不是我们打算向外界销售的东西，或者我们可以更好地利用现有技术而不是内部构建。这当然也是我们AI故事的一部分。

我在考虑您关于寻找匹配的例子，您知道，我们想到的是数字孪生，它几乎是一个您试图匹配的数字未孪生股票，但它必须在某个时刻发生变化，您多久重新审视一次这些，您如何保持它们的最新状态，这样您最终不会出现当您认为它们是相反方向移动时，它们突然一起移动的情况，我认为索引世界的好处是这几乎是法定的，您是如何做到这一点的？

当我们查看生产中的其他模型时，我们通常通过两种方式之一来做到这一点。我们通常通过遥测以特设方式进行，查看模型性能并寻找性能的某种持续下降。

当然，我们还对许多产品进行某种定期维护。对于指数，我们基本上会被告知，这是您重新平衡的频率，以及您允许进行更改的频率。因此，在这种情况下，您知道，我们每年重新平衡两次。因此，每六个月我们都会回顾一下。那么，让我们稍微转换一下，比如说，您是如何最终做到这一点的？您的背景中有什么让您能够做到所有这些事情？

我很幸运，我在2015年获得了我的第一份数据科学工作。我会告诉您我最终是如何到达那里的。因此，我的第一份工作是在空军。我作为一名电子技术员在空军服役，担任作战职位。我花了大量时间电击自己。这并不是世界上最有趣的事情，但我当时22岁，所以很难不开心。而且

我意识到，所以我对运营世界有所了解，并且能够通过此获得一些领导经验。利用GI Bill上学，伊利诺伊大学，完成了数学本科学位，非常确信我想成为一名职业数学家，您知道，一名教授。我有一些很棒的教授在那里与我一起工作，并且走的是理论数学路线，您知道，实分析、拓扑学等等。

这很好，直到我毕业前的那个夏天，我在一个天文实验室做了一个很棒的实习，我们研究的是一颗处于生命最后阶段的恒星，它将没有任何实际应用。我只是有点无聊，意识到我不想在学术界工作。正如许多从事数量领域的人一样，面对这种生存危机，我决定要去成为一名软件开发人员。而成为一名软件开发人员主要帮助我弄清楚的是

我不想成为一名软件开发人员。所以我去了麻省理工学院学习系统工程和管理，并在那里专注于运筹学。我在波音公司的一位同学正在寻找组建一个数据科学小组。所以他建议了我的名字，这就是我开始在波音公司从事制造质量工作的方式。

并在那里组建了一个高级分析和数据科学小组。在那里工作了几年，然后，像许多尝试在现实世界中工作的人一样，对现实世界有点幻灭，决定退回到金融领域，在那里我找到了纳斯达克，在那里担任了几年的数据科学家，然后才转到管理职位。我认为这就是故事的概括。道格，从飞机到金融市场，似乎

您提供的所有示例都是风险相当高的示例，对吧？我的意思是，犯错或发生错误或失败的代价，

也许不是灾难性的失败，但即使是这样，我的意思是，任何类型的错误代价都相当高。那么，您如何在项目中以及在项目的正式化过程中管理这些呢？您知道，我很高兴您问这个问题，因为这是我谈论学术界AI的时候了。所以我将从这样做开始。小心。这里有一位教授。继续。萨姆会喜欢这个的。继续。

实际上，我认为这一切都始于更关注您的错误而不是您的准确性。在过去几年中，我对学术界AI感到非常失望的一件事是

实际上，这与我们现在进行的AI伦理讨论有关，人们震惊地发现，当您构建一个模型来，比如说，对某些事物进行分类，并且您查看数据中的一些少数群体时，该模型并没有很好地对所有这些进行分类。这就像，是的，因为如果您不小心，模型通常会学习到这一点。你是绝对正确的，对吧？这里的风险相当高。因此，我们想要非常清楚地意识到

不仅仅是试图获得高分，当我阅读许多论文时，似乎我们处于高分领域，而不是效用领域。或者即使当我与入门级候选人交谈时，他们中的许多人都在谈论试图通过夸大数据来获得高分，而不是真正仔细考虑他们对建模过程的思考方式。所以他们非常关注分数，对吧？准确率是多少？准确率是多少？我们如何提高准确率？好吧，让我们去掉异常值。这将提高准确率。结果证明，异常值是唯一重要的事情。所以

我们非常关注的当然是确保我们的准确率非常高，确保我们的平方分数等等非常高，确保与业务价值相关的指标非常高。但是，为了确保我们正在规避风险，同样重要的是，甚至更重要的是，要敏锐地意识到与您的模型相关的误差分布。

因此，无论我们正在处理什么项目，无论是在我们的指数领域，还是在我们的企业服务领域，无论是在生产力和自动化领域，还是在新能力领域，我们都希望确保我们的误差分布非常均匀，或者至少是一致的。

相当均匀地分布在我们可能将此模型应用于的所有构成群体中，确保如果存在其性能不佳的领域，我们对模型和系统的校准区间有很好的了解，这样当我们超出该校准区间时，坦率地说，至少我们可以向某人发出警告，让他们知道他们现在处于不确定状态，他们应该自担风险，对吧？也许那时有点买者自负，但至少你知道。

实际上，我认为帮助管理这些风险最重要的两件事是：非常关注您的误差分布，并且非常了解您的模型有效和无效的地方。

然后，我们还做了一些其他事情，这些事情很明显，现在每个人都在做，例如PII保护，并确保有一个强大的审查流程。最近，我们能够确保我们正在开展的每个项目至少有另一个人参与，这样两个人必须同意这是前进的最佳途径，并且这些是得出的正确数字。您提供了一系列关于算法、技术和思维方式的非常好的示例。

人们需要采取哪些步骤来管理和理解错误，并领先于错误，而不是被错误所惊讶？一方面，您必须关注它的风险性以及如何管理它。另一方面，您知道，您谈到了成为纳斯达克内部的卓越中心和定义该领域最先进技术的地方，您如何平衡关注所有这些陷阱和错误以及保守主义的需求与在管理方向上推动技术进步的需求？您是如何做到这一点的？我认为向您自己的团队内部宣扬这种保守主义……

当我刚开始的时候，我在波音公司有一位很棒的经理。一方面，当她审查我们的工作时，她总是对我们正在做的事情进行非常非常严格的批评，非常小心地确保我们非常谨慎和小心。然后，一旦我们找到业务合作伙伴或客户，这就是有史以来最伟大的事情。你不会相信的，对吧？我认为这是非常重要的一部分。内部保守主义和外部乐观主义这两个角度是

对于确保您不仅构建高性能的风险规避型AI系统，而且还看到技术的快速和稳健成熟和采用，实际上是非常必要的。好吧，这与您谈论理解误差分布有关。除非您确实很好地理解了误差分布，否则您无法真正掌握它。

谢尔文，我最近一直在谈论，它出现过几次，他会比我记得更清楚，关于非劣效性的整个想法，完美的目标是无法实现的。如果我们为任何这些AI系统设定了这个目标，那么我们将永远不会采用任何这些系统。正如您所说，问题在于，这是一个平衡的问题，我们接受多少完美？我们当然希望比人类有所改进，但我们也希望最终比人类有所改进。

如果您认为存在这种可能性，那么它不必一开始就有所改进。所以让我用这个作为过渡来问我的下一个问题。所以您在AI行业工作了一段时间了。您认为最先进的技术是如何发展或已经发展或将在未来几年发展的？显然，从技术上讲，它已经发展了，并且还会发展。但我更感兴趣的是这种演变的非技术方面。您如何看待它的发展？

当我刚开始的时候，发表的重要论文可能是GAN和ResNet。两者实际上都差不多同时发表。在许多方面，对我来说，这代表了AI在技术成就上的巅峰。显然，此后还有更多。显然，我们已经做了很多。显然，很多事情都解决了。但在那时，我们已经弄清楚了很多事情。它为许多真正优秀的人工智能机器学习解决方案打开了大门。当我查看自那时以来技术的进步方式时，

我将其视为一个日益成熟的生态系统，它能够支持商业用途。因此，无论是迁移学习，以确保当我们解决一个问题时，我们可以解决另一个问题，这对于实现AI团队的规模经济至关重要，还是AutoML，它有助于

每个人，至少是这种公民数据科学家的想法，软件工程师和分析师可以进行足够多的机器学习研究或机器学习工作，以便在将其提交给像我们这样的团队或他们的软件工程团队之前证明某些东西是可行的。我认为这些是我们看到的使机器学习在商业案例中更易于使用的成熟技术。我认为

除此之外，从历史上看，我们看到的AI的传统商业案例一直都是规模化游戏。我认为这些成熟的技术或使我们能够成熟模型、重用模型并在AI开发周期中实现规模经济的技术。随着这些技术的改进，我们将看到越来越多的用例为计算机所擅长。

当我们查看对冲基金和高频交易员的运营方式时，我们当然已经看到了这一点。他们都在大量使用机器学习，因为这比特设的反复试验和特设规则更适合研究目的。同样，多年来，我们在游戏机器中也看到了这一点。

因此，我们将有越来越多的情况，计算机在其中做得更好，我认为我们将看到这种情况越来越多。当然，我认为这是自动驾驶汽车背后的论点，对吧？驾驶是人们做得最糟糕的事情，也是我们最常做的事情。只要您可以解决极端情况，这确实很难，那么计算机在驾驶方面比人更好是没有理由的。我本来想问你关于，那些问题怎么样

计算机单独或人类单独无法做得很好，但两者结合起来远比两者单独都好。当存在计算机辅助流程时，对吧，或AI辅助流程时，

我们通常可以将其分解为两件事，至少是两个过程。一个是人擅长做的事情，另一个是计算机正在做的事情。但是，如果您能想象计算机辅助设计，那么计算机在计算机辅助设计中擅长许多事情，它正在帮助人们完成这些事情。其中之一不是提出创造性的解决方案和创造性的方法来绘制他们试图设计的零件，而是它非常擅长诸如跟踪哪些像素已填充以及哪些像素未填充等事情，

它的3D空间几何形状等等。这就是它擅长的。然后，实际的创造性部分是人擅长的。也许一个人不太擅长生成新的和新颖的图像

例如家具的设计，对吧？也许您是宜家，并且想要设计新的家具。因此，也许人们不太擅长从一开始就生成这些东西，但他们非常擅长查看它并说，等等。如果您以这种方式设计椅子，它的后背会有一个巨大的尖刺，而且会非常不舒服。所以让我们摆脱它。然后让我们再试一次。对吧？所以有，有这种生成和修复或生成和编辑的过程。

我们可以将其分解，计算机可能更擅长生成，而人更擅长编辑，用于非常难以编码的现实世界或这些潜在需求。——好的，感谢您抽出时间与我们交谈，并了解您尤其是在纳斯达克所做的一切。我们听说过

例如，项目选择、风险平衡以及您如何选择这些项目。我们了解到理解错误的重要性以及您看到的各种人工智能案例。在一个会话中涵盖这么多内容相当不错。我们感谢您对所有这些主题的意见。好吧，谢谢，萨姆。谢谢，谢尔文。很高兴与您交谈。请下次加入我们。我们将与Salesforce首席道德和人道使用官宝拉·戈德曼交谈。

感谢收听《我和AI》。我们相信，与您一样，关于AI实施的对话不会仅限于此播客。这就是为什么我们在LinkedIn上专门为像您这样的听众创建了一个小组。它被称为“AI for Leaders”。如果您加入我们，您可以与节目创建者和主持人聊天，提出您自己的问题，分享您的见解，并了解更多关于AI的信息。

并获得来自麻省理工学院SMR和BCG关于AI实施的有价值资源，您可以通过访问mitsmr.com/AIforLeaders来访问它。我们将把该链接放在节目说明中，我们希望在那里见到您。