cover of episode Network Manipulation

Network Manipulation

2025/4/30
logo of podcast Data Skeptic

Data Skeptic

AI Deep Dive Transcript
People
M
Manita Pote
Topics
Manita Pote: 我主要研究在线信任与安全,重点关注社交媒体上的协调滥用行为,例如协调回复攻击,这是一种通过协调评论来影响公众舆论或骚扰特定目标的策略。我的研究包括识别这些攻击的目标(例如记者、政治人物)、开发检测这些攻击的机器学习框架(包括预测哪些推文可能成为目标以及哪些用户参与其中),以及分析数据结构(例如树状结构和星状结构)的挑战。我们使用推文级和回复级特征,包括回复之间的相似性,来构建模型。模型评估指标包括精确率、召回率和AUC分数。虽然模型在某些活动中表现良好,但在其他活动中表现不佳,这可能与不同活动中使用的策略有关。 此外,我还研究了数据删除在社交媒体操纵中的作用。我们发现,通过删除推文,恶意行为者可以规避API限制、操纵算法以及隐藏其活动。这项研究利用合规数据流来估计删除行为的规模,发现API数据会低估大约45%的删除行为。删除行为的动机可能包括商品促销、粉丝操纵和垃圾邮件活动。 目前,我的研究重点是第三方应用程序如何被用于协调操纵活动,这与Cambridge Analytica事件类似,但视角不同。我关注的是这些活动的物流和运营方面,而不是账户行为。生成式AI的使用使得检测协调操纵活动变得更加困难,这给研究人员带来了新的挑战。 Kyle: 在与Manita Pote的访谈中,我们探讨了社交媒体上协调操纵的复杂性,特别是协调回复攻击。这些攻击通常针对有影响力的人物,例如记者和政治家。Manita Pote的研究重点是利用机器学习模型检测这些活动,该模型使用结构和行为特征来识别参与者和受攻击的推文。此外,我们还讨论了数据删除在规避审核和操纵参与度指标中的作用,以及学术界与平台之间在数据访问和隐私保护方面的平衡问题。Manita Pote的研究为应对社交媒体上的协调操纵提供了宝贵的框架,并突出了生成式AI带来的新挑战。

Deep Dive

Shownotes Transcript

在本集中,我们与印第安纳大学布卢明顿分校的博士生 Manita Pote 进行了交谈,她专门研究在线信任与安全,重点是检测社交媒体上的协调操纵活动。主要见解包括:协调回复攻击如何针对记者和政治家等有影响力的人物,机器学习模型如何使用结构和行为特征来检测这些不真实的活动,以及删除模式如何揭示规避审核或操纵参与指标的努力。关注我们的嘉宾 X/Twitter Google Scholar论文重点:影响行动中的协调回复攻击:特征和检测,2025 年通过删除操纵 Twitter,2022 年</context> <raw_text>0 您正在收听 Data Skeptic:图表和网络播客,该播客探讨了图数据结构如何影响科学、工业以及其他领域。在上一集中,听众会听到我们正在讨论您正在教授的新课程。

所以,Asaf,你能否向我们更新一下课程情况?进展如何?好吧,在每节课的开头,我通常会做一些 Kahoot 或 Mentimeter 之类的事情。你知道,这就像一个问卷调查,让每个人都能回答。你可以在黑板上看到答案。酷。所以你可以理解人们是否真的理解了材料。

当一切顺利时,这是一个长期分布。你得到了一个正确的答案和所有错误的答案,你知道,是平的。所以最近我得到的是,比如说,一个均匀分布,所以我需要检查我做错了什么。你的目标是什么?你想要达到的最佳分布是什么?

我希望能够实现,你知道,保罗,当然不是保罗,而是长尾分布。我希望有一列包含正确答案,而其他所有列则包含零个错误答案。我认为这实际上很棒。我一直认为,尤其是在我做讲座之类的事情时,

我希望有一个实时反馈。你可以观察人们的面部表情。一直都有所有的人性特征,但这些特征也不总是很能说明问题。如果有一种某种形式的实时匿名测量,或者谁真正理解我现在所说的内容,谁在关注证明?

没错。外表可能会骗人。你知道,人们点头,却不明白你在说什么。所以实际上,有两种方法。一,在我解释了长尾原理之后,我问人们他们在 Facebook 上有多少朋友?通常答案在 200 到 2000 之间。

如果答案在 200 到 2000 之间,那么推断大多数人有 200 到 2000 个朋友似乎是合乎逻辑的。他们又点了点头。然后我明白他们没明白。好吧,然后我说,这是错的,因为只有少数人,少数人。不,它是来自……的 1%……

35 亿 MAU(月活跃用户)。但即便如此,比如说,只有 1% 的人有数千个朋友,而大多数用户只有几个朋友。我们不认识他们,因为他们只有几个朋友。但这是一种进行健全性检查的方法。

如果有人理解的话。是的,我喜欢你的技术。你提供了一些看似直观的东西,然后你看看他们是否点头,却没能看出它实际上具有欺骗性的反直觉性。当你想到网络规律时,它非常反直觉,因为你感觉我们都是人,我们有自由意志,我们可以做任何我们想做的事情。

但即便如此,不用谈论它,支配社会并使我们以我们从未计划过的方式行事的物理规律。没有人说我们需要一个巨大的城市,一个大都市,以及许多小村庄。没有人这么说。但这就是我们组织的方式。没有人说你需要一些有影响力的人,而其他人,你只能与两三个其他用户成为朋友。

但即便如此,我们的行为方式相同。我认为最有趣的部分是,当你查看 Twitter 数据时。在 Facebook 上,你可以说它是无向连接,因为你是我的朋友,我是你的朋友,你可以说出是谁发起的。但即便如此,但好吧,它是……

在 Twitter 上,这是显而易见的,对吧?这些关注者,当你聚合图表时,你可以看到,如果你查看关注者和被关注者的分布,它就是相同的分布。当你问,我关注谁?这完全是我的决定,对吧?我决定我关注多少人。但是谁关注我?这不仅仅是一个人的决定,对吧?这是大众的决定。

Twitter 上关注者的分布和被关注者的分布是相同的分布。这意味着人们在个人层面和社会层面上的行为方式相同。所以,上了你的课后,人们不太倾向于相信自由意志?不,因为他们知道我给他们打分。

什么自由意志?说得对。我很高兴你以 Twitter 为例,因为我们将在今天的采访中深入探讨这个问题。Twitter 是社交网络的一个很好的例子。还有许多其他的社交网络,但 Twitter 是我们今天的嘉宾 Manita 研究的一个社交网络。关于她的工作,有一些有趣的点,但总的来说,她正在研究

就像人们联合起来对某人进行协调的群体攻击一样。几年前,衡量比如说协调的机器人攻击对 Twitter 或其他社交媒体的影响实际上是一个问题。

近年来,我认为也许一两年,在埃隆·马斯克的帮助下,他至少在这方面做了一些正确的事情,你可以使用每条推文的观看次数,对吧。所以当……

存在操纵主题论述的恶意意图。比如说,有一个人非常关心虚假信息。他真的想误导人们。所以,如果他只使用使用相同图片或相同文本的机器人,机器学习算法就会抓住他。对。太简单了。

它使网络分析比逐个用户使用机器学习技术更重要。你可以通过使用网络分析一次性找到它们,因为你可以看到谁关注谁,并聚合集群、社区。你可以看到社区。这实际上是我遇到的一个有趣的案例。当我们发现一个机器人农场有两个类型的用户时,正是这种情况。所以发布评论的用户不关注任何人

以及关注发布评论的用户。我们称他们为助推器。这是页面排名操纵的典型案例。当他们关注发表评论的用户时,他们会给他们一些分数,对吧?有一些页面排名分数。因为发布评论的用户不关注任何人,所以他们会将分数保留给自己。如果你使用机器人来提升你的关注者,我的意思是,不是像 200、300 那样,就像他们在该机器人农场上使用的那样,但是

比如说,你想要 10,000 个关注者,并且你使用机器人农场来做到这一点,它会立即触发平台上的所有警报。好吧,我想有一个阈值。所以你需要……

实际的幼崽来关注你。好吧,你当然概述了社交媒体中存在的一种很好的操纵形式。而我们今天的采访有望提出一个良好的框架,以两种方式来对抗或至少检测这种操纵。首先,他们检测可能获得这些协调回复的推文类型。因为我认为,如果你是一位政治家,你一直在分享,说,这是我的早餐。这并不具有争议性,但是

但是,如果你说对提案 1 投赞成票,那将是一个可能发生协调攻击的好理由。因此,他们能够识别其中一些推文。然后,第二个问题就变成了,好吧,它得到了很多回复。这是因为公众热情高涨?还是因为这里存在协调攻击?如果是这样,哪些用户是真实的?哪些用户参与了该攻击?因此,我们在今天的采访中深入探讨了处理这个问题的框架。♪

我的名字是 Manita Pote。我是印第安纳大学布卢明顿分校的博士生,我主要研究在线信任与安全,重点是社交媒体上的协调滥用行为。你能否分享一些关于在线信任与安全涵盖内容的详细信息?

所以,在线信任与安全基本上意味着用户拥有良好的体验。没有任何形式的操纵或不良体验。一些不良体验可能是接触到您不希望接触到的内容。内容审核方面就在这里。

有时,您的信息流中不知不觉地会出现您不想看到的内容,因为某些其他方正在操纵以推送他们的内容。这可能是信任与安全的一个方面。有时,您的帐户可能会被黑客入侵或用于恶意目的,而未经您的同意,用户隐私策略保护就会介入。

如今,协调操纵的各个方面,尤其是在政治运动领域,都存在。因此,它试图影响您的行为或您对世界的看法,但这并非现实。所以这是人们试图创造这种

不同的替代现实,这是不真实的。这也是其中一种信任与安全方面。所以有很多种。关于内容审核,我碰巧不喜欢乡村音乐,但我认为你的意思比这更具体一些。我认为这不在内容审核的范围内。

既然你不喜欢它,基本上算法可以根据你过去的行为来选择它。在内容审核的情况下,可能会有一个例子,例如,信息流中的色情视频,对吧?这被认为不在平台本身的策略范围内。可能会有针对某人或针对你的仇恨评论。所以这也不在平台策略的范围内,什么被允许,什么不被允许。

所以在这些情况下,违反平台策略的事情必须进行审核,你确保平台上不会发生这种情况。我认为内容审核就在这里。从研究的角度来看,哪些平台对您来说很有趣?到目前为止,我们一直在研究 Twitter,现在它被称为 X。我认为主要原因是数据可用性。

获取具有学术访问权限的 Twitter 数据更容易。您可以获得 1% 的随机样本、10% 的随机样本,或者如果您有访问权限,则可以获得所有 Twitter 数据。您可以作为研究人员申请访问权限。但是,由于公司政策发生了很多变化,现在这种情况已经变得少了很多。到目前为止,我一直在研究 Twitter,但现在人们更多地转向蓝天。

因为数据访问更容易。我有一些模糊的理解,即获取数据变得越来越困难。过去,有一个很好的 API,我玩过一点。从开发人员的角度来看,它是完美的。我可以得到任何我想要的东西。目前的状况如何?我知道它不如以前了,但是否有任何可用的东西?是的,我们有。但我认为对于研究人员来说,这还不够。例如,每月 100 条推文,这远小于实际样本量。

所以我不知道你是否可以从这些数据中得出良好的结论。

而且它也很昂贵。有不同的等级,例如某些访问权限为 5K,访问权限为 10K。我认为从研究人员的角度来看,这是不可行的。除非有人资助你,否则这种支出是不可行的。所以是的,在获取研究数据方面,它变得更加困难了。是的,人们依赖于他们过去已经拥有的数据,过去的数据。例如,我们的研究实验室拥有数据

他们过去获得的数据,例如 10% 的样本。现在,如果有人想研究某些东西,他们可以使用这些数据。但是获取新数据要困难得多。什么是协调回复攻击?在我们深入研究之前,我们需要更多地了解这项研究的背景。这项研究专门在影响力活动领域进行。

所以,影响力活动或信息活动。这些活动是操纵您的意见或影响您行为的协调方式。

这些活动尤其发生在选举期间或某种其他活动中的政治案例中,人们试图推动某种议程。使用这些协调活动的一种策略是对某人进行骚扰或我们所说的围攻,例如对某人发表一些负面评论。

或试图通过对某人发表正面评论来人为地提升某人。例如,如果我想提升我的地区的一些领导人或代表,我会说,哦,这个人很棒。这个人做得很好。所以每个人都在他的评论部分进行围攻,发表积极的评论,无论是以……的形式,

但这并不是自然的或有机的支持。如果我属于某个大型群体,我不知道,一个政治行动小组,我们聚在一起,同时对对手的观点投反对票,那会怎么样?这就是我们正在讨论的吗?这将是一种协调反对票行为的方式。我们刚才谈到的论文是关于协调在某人的帖子中发表评论的方式。所以就像骚扰或争论

和有机的支持。我们试图调查那些采用这种策略来提升个人或骚扰个人的活动。这项研究有很多组成部分。第一部分是我们进行的案例研究,以调查这些活动的目标人群,参与活动的人员的目标人群。例如,记者、媒体人物、政党,这些都是这些活动的突出目标。

这是这篇论文的一个发现。第二部分是提出如何检测参与此类协调攻击的人员。我们的想法是提出一个基于他们参与的人员本身、目标本身的框架。我们研究了被攻击的目标的推文。

以及未被攻击的推文。因此,当我们在检测的情况下比较这些正类和负类时,如果我们放在一起,我们能否区分被攻击的推文,并根据这些推文的回复,我们能否找到这些帐户?

这是一种基于目标查找参与协调攻击的帐户的方法。能够预测哪条推文将成为目标将是新颖的。你使用什么方法来做到这一点?我们提出了一个由两个机器学习模型组成的框架。第一个模型将预测推文是否会得到协调回复。

根据该模型的预测,我们将研究发表评论的人员的特征。然后,第二个机器学习模型将预测用户或回复者是否参与其中。

所以,首先我们将预测一条推文是否得到了协调回复。第二个模型将预测一个帐户是否参与了该攻击。这是一个两部分的框架。我们自己进行了特征工程,就像它完全是由人完成的一样。我认为特征工程部分是整个框架中最有趣的部分。我们可以深入探讨一下吗?你正在查看的具体特征或广泛的特征类别是什么?

如今,每个人都在谈论人工智能,对吧?它正在以惊人的速度改变我们的工作方式、学习方式以及与世界互动的方式。这是前沿的淘金热。但如果我们不小心,我们可能会陷入困境。

这就是为什么我建议您查看 Red Hat 的播客 Compiler。在本季 Compiler 中,他们深入探讨了人工智能如何重塑我们生活的世界。从自动化的伦理到机器学习背后的代码,它都在分解使用人工智能的要求、能力和影响。查看 Compiler 的新一季,这是 Red Hat 的原创播客。现在就在您收听播客的任何地方订阅。♪

你正在查看的具体特征或广泛的特征类别是什么。当我们想到推文的回复时,它通常是树状结构。从图的角度来看,树状结构,对吧?所以一条推文有一个回复。回复也可以有回复。所以这是一个树状结构。那么,如何进行这种特征工程呢?这是一项艰巨的任务。

不仅如此,在我们的案例中,我们也有两种性质完全不同的数据集。我们拥有的活动数据更像星形结构。因此,我们无法从回复中构建整个树状结构。我们知道哪个用户评论了哪条推文,但我们无法构建整个树。所以它更像是一个星形结构。

在我们构建的控制数据集中,没有收到活动人员回复的推文更像是一个树状结构。所以它是两种不同的数据结构,需要平衡一下,以便我们使用相同类型的结构。我们将树转换为星形结构本身。所以我们有一条推文,它有很多回复。现在我们需要为此创建一个特征。

我们主要使用推文级特征和回复级特征。推文级特征为每条推文提供单个数值,但在回复级特征的情况下,它是一个分布,对吧?因此,即使您查看参与度,每个回复都可以具有每个参与度指标,例如每个回复获得了多少点赞。

因此,对于每条推文,回复级特征都是分布值。因此,我们尝试将这些分布值转换为每条推文的汇总统计数据。所以它是推文级特征和回复级特征。回复级特征具有基于回复级属性的所有汇总统计数据,例如参与度,也许还有多少

每个回复获得了多少点赞。因此,我们将这些汇总到一个表格形式中。自然语言处理文本特征呢?可以使用不同的特征。一种是您也可以拥有您的情感分数,对吧?例如,一种可能是仇恨,一种是,你知道,毒性分数等等。但是毒性分数有时是积极的分数。

一些与情感相关的分数。我们也可以这样做,但我们没有这样做,因为在一个活动中,这些评论可能是支持性评论,也可能是某种骚扰案例。因此,我们的推文中没有这种区别。因此,我们避免使用该分数。

相反,我们只使用回复的相似程度。对于每条推文及其回复,我们计算回复之间的成对相似度,即回复的相似程度。我们使用该相似度分布的汇总统计数据,因为一条推文可以有很多成对的回复相似度。

你如何区分协调攻击和广义上不受欢迎的事情,有人可能会说,他们会得到大量的恶意言论,因为这是一个辛辣的观点?这就像试图区分什么是真实的,什么是虚假的,对吧?这很难操作化。这是什么?在这种情况下……

我们假设这些是基于恶意意图的,因为数据本身来自一个活动,并且帖子本身的评论数量非常非常相似。所以这是一种说法,它实际上是协调的,而不是。假设协调攻击可能是僵尸网络,这是正确的吗?

可能是僵尸网络,也可能不是,因为这些活动以前更容易检测,并且更像机器人行为。机器人就像,它们在非常小的间隔时间内同时发布。但是如今,说这些是实际的僵尸网络变得更加困难了。时间不同步,但是如果你查看它们的回复级别,那么它们完全相同。它们也可能是机器人和用户的混合体。

是的,可能是,但我们不能确切地说这些实际上只有机器人。好吧,当你查看整体框架时,我不知道你是否完全可以访问地面实况。你如何评估输出的质量?这是一项非常新颖的任务,我们肯定推断出某种控制和正例。我们获得的活动数据来自 Twitter 本身。就像这些是恶意信息。

您可以以任何方式使用的活动数据。所以从某种意义上说,在我看来,这是一个地面实况。

但这是一项非常新颖的任务,我们没有任何东西可以与人们过去所做的事情进行比较,以及我们如何改进。所以在这种意义上,是的,基线比较不存在,但我们也尝试将我们的结果与其他活动进行比较。所以是的,我们在一个上进行交易,并尝试查看它如何在其他不同活动中对这两个模型进行泛化。但是,如果我们相信您用作分类器训练中的地面实况的标签等等,让我们假设这些现在肯定是正确的。

你能否分享一些你用来评估模型质量的指标的详细信息?

是的,我们查看了努力分数、精确度召回率以及 AUC 分数。我们尝试了在任务开始时定义的每个参数。或者 5 个或更多回复,这非常随意。我们试图将该回复更改为 10 会发生什么?如果是 15 会发生什么?如果是 20 会发生什么?所以我们也查看了该参数。我们还研究了数据比率。好吧,如果它极度不平衡会发生什么?它能够

正常工作吗?如果我们在一个活动上进行训练并在其他活动上进行测试会发生什么?它会泛化吗?所以我们做了我们能想到的每种测试,或者像我们在开始时假设的参数一样。好吧,也许我们也可以触及框架的第二部分,用户或我们是否刚刚进入用户和回复者是否参与其中?

第一部分是分类推文,但第二部分更多的是关于分类参与协调回复攻击的用户或回复者。第一部分将为我们提供一条推文,它可能得到了协调回复,

然后,根据参与该推文的回复者,我们将创建另一组特征,这些特征将用于机器学习模型的第二部分。这些基于回复者的元数据,例如这些帐户有多旧,它们参与攻击(例如评论回复者)的频率如何。

以及他们回复的速度有多快,他们有多少关注者和被关注者。所以这是一个元数据,回复元数据级别,以及回复级别,例如他们发表了什么回复。所以我们基于此构建了一个特征,并将该特征用于机器学习模型的第二部分。大致来说,你会如何评价这个模型?我不知道 AOC 的确切值是否重要,但是……

这是……在什么程度上它正在完成它的工作?所以有一些活动它运行得非常好,但在一些活动中它运行得不好。例如,有一个埃及的案例,他们的分数非常非常低。

但我们也必须理解,这些策略存在于所有活动中,对吧?它可能存在,也可能不存在。所以在那些效果不佳的活动中,这些策略可能并没有被用作主要策略。这可能是该模型对某些活动无效的可能解释。

在塞尔维亚的一些活动中表现良好,并且根据斯坦福大学的报告,我们刚才讨论的策略实际上确实发生在该活动中。所以在这种情况下,它的表现很好。我认为,土耳其也运行良好。对于埃及来说,它运行得不好,可能是因为这并不是该活动中使用的主要策略。所以是的,它在某些情况下有效。在某些情况下无效。

就后续步骤而言,显然可以进行更多研究来调查效果不如其他活动的情况。但是你在这里看到一个更广泛的目标吗?这是……我不知道是否有商业角度或你发表的东西。它会去哪里?启动这个项目的主要想法是如何找到这些活动帐户,即参与活动活动的帐户。

这取决于活动的背景。这取决于一个国家的政治背景,对于不同的国家来说,这是非常不同的,对吧?所以,如果你没有任何政治理解,背景理解,你甚至如何才能找到这个参与活动的帐户?所以我们试图研究共同的行为

这些参与活动的帐户。这就是目标的来源。他们大量参与了谁?我们的一个分析发现,它基本上是他们参与的有影响力的人,例如那些拥有更多关注者的人。然后自然而然的问题是,我们能否仅仅通过追踪这些有影响力的人来找到这些帐户?

所以,你知道,好吧,记者,如果有人将他们的帐户标记为记者,我们能否仅仅通过追踪这些人来找到这些帐户?这是主要想法。所以如果你,我们必须以商业的方式思考,平台可以使用它作为追踪有影响力的人的方法,以找到活动帐户,尤其是协调活动帐户。这是整个项目的主要动机。

是的,像记者这样的人在某种意义上天生就是一个蜜罐,对吧?是的,是的。蜜罐是正确的词。所以一旦你完成了,我想,反蜜罐技术并找到了协调小组,

该怎么办?所以尽管模型预测它们参与其中,但必须进行人工操作。无论如何,都必须有人手动查看它们才能标记它们或暂停它们。所以人工检查必须发挥作用。

所以平台可以仅仅因为他们的活动而暂停他们,或者甚至让他们删除他们的帐户。所以更多的是关于暂停参与此类攻击的帐户。让它对人们更安全,让使用社交媒体平台对人们来说更愉快的体验。基本上,商业方面就是这样。

所以这些平台,我的意思是,我们可以对他们做得很好还是做得不好有自己的看法,但他们正在努力尝试过滤掉这样的不良行为者。而那些不良行为者正在回应。我知道从你的另一篇论文中,通过删除操纵 Twitter,人们已经找到了一种巧妙的方法来稍微避开雷达。你能否分享一些关于这项工作的信息?

我认为这是我们实验室非常有趣的工作,因为到目前为止,所有研究都是基于他们从 API 获取的数据进行的,但是丢失的数据是已被删除的数据,对吧?我们没有任何理由去研究它,例如对它进行推断。

所以这篇论文的全部内容是试图了解当我们只查看 API 的数据时,我们低估了多少分析,以及以删除形式进入平台的恶意活动是什么样的。

所以,你知道,人们大量发帖然后删除。没有留下任何痕迹。研究人员反正也无法获得这些数据。所以我们知道这种情况发生了,但如何研究呢?当我们仅基于API进行研究时,我们低估了什么?

这篇论文有很多不同的组成部分。第一部分是看看当我们仅基于API研究数据时,我们低估了多少,我们错过了多少。第二部分是删除形式下发生了什么样的操纵。

我认为我们在API限制方面发现了一个问题,即规避API限制,而操纵的第二部分是协调点赞和取消点赞模式以操纵算法。所以我认为这三个组成部分,低估、规避API限制,以及第三个,

协调点赞和取消点赞是这篇论文的主要不同发现。是的,这三种行为在我阅读你的论文之前从未想过、听说过或考虑过。你最初是如何遇到这些发现的呢?人们,比如,有一些研究人员做过,比如,

例如,一篇论文是关于短暂浏览的。这是我们过去的一位博士后的工作。在这项工作中,他发现人们会在发布后的最初几秒钟内大量发布主题标签,只是为了操纵主题标签排名,然后删除这些主题标签或带有这些主题标签的推文。所以这是一种操纵热门话题的方式。

它表明删除确实是一种人们采用的操纵策略,人们过去也提到过,但没有明确的方法来研究它,所以我们的实验室开始基于我们拥有的合规数据流数据来研究这个问题,合规数据流数据是

我们每次有人删除某些内容时都会从Twitter收到的通知。此通知是为了让我们删除我们从用户那里获得的数据。因此,此合规数据流并非对所有人可用,而是对保留数据的研究人员可用。我们的实验室碰巧保留了这些数据。因此,推断删除发生多少的一种方法是查看元数据和合规数据流。

我们不能查看内容,那将违反服务条款,但我们可以查看元数据,例如发生了多少次删除,同时记住我们不会暴露人们的身份或其他信息。我们查看了这个合规数据流,并查看了每个帐户每天进行多少次删除。

我们在分析中使用了10次或更多次的阈值。由于它是整个Twitter,所以数据量很大。我们必须记住,这是整个Twitter。我们不能查看每个帐户。因此,我们根据每天10次或更多次的删除进行了过滤。通过这种方式,我们从合规数据流中获得了每天删除超过10条推文的帐户。

然后我们比较了该用户根据API请求删除了多少。我们每天都会解析合规防火墙以获取实际的删除情况。然后,对于每个用户,我们都会再次请求API以查看第二天推文数量减少了多少,只是为了推断他们删除了多少。因此,我们比较实际删除与API推断的删除,并进行估计。所以有多少

我们基于比较低估了我们的分析?根据我们从API获得的数据以及我们进行比较时实际发生的删除情况,我们低估了大约45%。这是一个发现。粗略地说,这种现象有多普遍?这也很难估计,比如它有多普遍。所以我不知道它有多普遍,但在人们过去所做的研究中确实存在

例如,在一项研究人员的研究中,我们过去的研究人员,

这项工作是关于Twitter列车的。所以人们会发布提及其他人来关注点赞,其他人也会开始做同样的事情。它会创建一个相互关注、相互提升的人员网络。之后,他们会删除这些帖子,这样他们以后就不会有任何证据表明这种情况发生了。它以不同的形式存在,但我们实际上不知道这种情况发生的频率有多高,发生的程度有多高。

他们为什么要这样做?你对……有什么了解吗?显然,正如你提到的那样,它有一些事情,比如排名操纵等等,但它往往是政治性的还是商业性的,或者其中有什么主题吗?再次回到我之前的评论,我们无法查看已删除的内容。根据已删除的数据,我们无法说出主题是什么,但是……

查看我们分析后存在的一些帐户的个人资料,它们更像是商品、粉丝操纵之类的帐户。哦,如果你关注10个帐户,我会再关注10个。那种帐户。有些人在发布神秘的推文,这些推文没有更多的意义。所以我们无法将其置于特定的政治领域。它似乎更像是一种垃圾邮件活动。

我知道这有点超出范围,但你对这些人能够影响或可能惹恼他们的目标或改变观点的程度有什么感觉吗?这是一个非常难以研究的问题。

我不知道该如何去做,因为它也涉及到算法,对吧?算法如何根据这些参与者的影响或操纵来显示内容?这将如何影响向人们展示的内容?这是一个非常困难的问题,我认为我没有一个明确的估计或理解,关于如何研究这种操纵的影响或冲击。是的,我不确定是否有人这样做,但是……

肯定有很多活动试图这样做,所以你会认为他们一定有一些影响,对吧?是的。例如,在这种点赞和取消点赞的情况下,它也有一些财务方面的内容,对吧?所以像受欢迎程度、浏览量,这些最终都与它的财务方面有一些联系。所以这种操纵可能确实有影响。

你是否发现有些平台更容易成为目标?我知道你主要研究的是Twitter,但是这种现象在Blue Sky和其他地方也存在吗?我不了解Blue Sky,因为它是一个非常新的平台,我不确定在Blue Sky的情况下是否已经研究了影响力行动或信息行动。但是有来自Twitter、Facebook和TikTok的报告,比如他们每年都会发布关于他们如何发现这种影响力活动的信息。

这些参与者在这些活动中做了什么?他们确实提到,哦,这些人正在针对这个人或这个个人。他们试图以这种方式做到这一点。所以是的,实际上在不同的平台上有很多关于这方面的报告。TikTok,我知道TikTok和Facebook,他们每隔几年就会发布一次。

好吧,Facebook,这是很久以前的事了,但他们因为这个剑桥分析公司的事情受到了高度批评,我认为API过于开放,所以剑桥公司能够做一些大多数用户宁愿他们不做的事情。在某种程度上,这意味着Facebook应该关上门,但这对于像你这样的研究人员来说并不理想。你有什么想法吗?至少直接与Twitter合作过,学术界和平台之间理想的关系应该如何发展?

据我所知,剑桥分析公司之所以发生这种情况,是因为运行在Facebook之上的第三方应用程序(例如网络应用程序)将用户数据出售给了剑桥分析公司。

所以他们间接地参与了Facebook,比如他们没有进行检查或干预。毫无疑问,从Facebook获取数据要困难得多,我们与Twitter拥有的那种开放性在Facebook上并不存在。我认为,每当任何研究人员请求Facebook的数据时,都会进行审查。所以我没有

我不知道这种平衡,你知道,它对研究人员开放,但是,我们也意识到不能像以前那样发生同样的事件,你知道,对于Facebook或任何平台。例如,在TikTok的情况下,获取我们想要的数据也比较困难。他们确实提供了数据,但我不知道它的用途。

总之,是的,他们试图让它对研究人员可用,但我不知道从研究的角度来看它有多大用处。所以我不知道两者之间的平衡,研究应该获得多少访问权限,他们不应该获得多少访问权限,以及公司的政策是什么,他们自身的保护是什么。对此我完全不知道。一个艰难的平衡行为,当然。你的下一步工作是什么?

我实际上正在从事另一个项目,该项目正在研究第三方应用程序操纵是如何发生的。这与剑桥分析公司的那种分析非常相似,但从一个略微不同的角度来看,我试图了解未知应用程序是如何尝试协调运行这些协调活动。

所以我试图从这些活动的物流和运营方面来研究,而不是帐户行为。这篇论文的一个发现是,这些帐户是由同一个应用程序运行的,比如同一个未知应用程序。因此,与其关注其行为方面,我认为最好从应用程序方面或这些活动的运营方面来研究。然后,你可以根据此找到更多协调的活动,而不仅仅是关注行为方面。这就是我的正在进行的工作。

现在,我认为这些活动已经更多地转向了生成式AI案例,使用了假资料、假文本,比如生成式AI文本。它们更有影响力,更令人信服。甚至像帐户一样,假帐户更像人类,它,

它们不像过去那样具有相似的行为特征,因此检测起来变得更加困难,更难以分辨哪些是正确的,哪些是假的,哪些不是假的,因此它正变得越来越难以理解,所以是的,在我看来,在这个方向上还有很多工作要做,这对研究人员来说也是一个挑战,比如

生成式AI如何改变了一切。是的,使用AI生成令人信服的个人资料比几年前容易得多。我相信这使得你的工作更加困难。这是一场可以赢得的战斗吗?你对未来多么悲观或乐观?是的,我认为悲观是最简单的方法。但是,你知道,这只是思考的一种方式。但我认为研究界还没有出现非常创新的想法。

同样,我不知道它的全部细节,但我听说过或碰巧知道的一个想法与区块链类似。我不知道它是如何工作的,但是我们如何才能在发布内容中使用类似区块链的概念,比如信任方。我认为研究人员一直在提出非常非常新颖的想法。如果有问题,总会有某种解决方案。所以我认为我更悲观一些,

是的,我认为就政府的监管和人工智能政策而言,人们也一直在朝着这个方向努力。所以我认为

对此还是有希望的。我们不能悲观。你可能还没有到一切都计划好的地步,但是你对毕业后要去哪里有什么想法吗?我仍然有点左右为难,比如我是否想走学术路线,或者更多地走智库路线,你知道,更多地走政策方面或学术界本身的路线。所以我还在弄清楚这一点,看看我更适合在哪里。比如,你知道,我也必须找到我的领域,比如利基领域。

所以,是的,学术界是一种方式,一个地方。政策智库将是一种方式。行业在这个领域也做了很多工作。比如Facebook有自己的团队负责保险业务。TikTok也有。我还没有确定一个方向,但我对所有适合我的方向都持开放态度。酷。当然有很多机会。

听众可以在网上关注你吗?是的,我在Twitter上。我的名字是Manita Pote,没有空格,他们可以在那里关注我。我也在Google Scholar上。是的。好的。我们将提供指向节目说明的链接,供人们后续关注。Manita,非常感谢你抽出时间来分享你的工作。是的。

谢谢你,Kyle,给了我这个机会。这是我第一次,我很兴奋,你知道,也很紧张。你已经做了很长时间了。你知道很多事情。非常感谢你。这太棒了。谢谢你,Kyle。感谢你的机会。