We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
cover of episode Technocolonialism: when technology for good is harmful

Technocolonialism: when technology for good is harmful

2024/12/5
logo of podcast LSE: Public lectures and events

LSE: Public lectures and events

AI Deep Dive AI Insights AI Chapters Transcript
People
M
Mirka Mediano
Topics
Mirka Mediano: 数字创新,如生物识别技术和聊天机器人,不仅加剧了暴力,还巩固了全球南方和北方之间的权力不对称。这些技术在人道主义行动中被广泛应用,但其背后隐藏着殖民主义的延续,尤其是在全球南方的难民和受灾人群中,数字技术的使用往往缺乏透明度和有意义的同意,导致新的不平等和结构性暴力。

Deep Dive

Key Insights

What is technocolonialism and how does it manifest in humanitarian operations?

Technocolonialism refers to the way digital innovation, data, and AI practices entrench power asymmetries and engender new forms of structural violence between the Global South and North. It highlights how digital infrastructures, humanitarian bureaucracies, state power, and market forces converge to reinvigorate colonial legacies. For example, biometric technologies and AI-powered chatbots in refugee camps often exacerbate inequities, leading to new forms of violence and control over vulnerable populations.

Why are biometric technologies controversial in refugee camps?

Biometric technologies are controversial because they often codify existing forms of discrimination and impose Western-centric frameworks. They require refugees to submit biometric data (e.g., facial recognition, iris scans) to access basic necessities like food, healthcare, and shelter. This raises concerns about consent, as refugees often have no alternative but to comply, risking their data being shared with governments or other entities, potentially endangering their safety. Additionally, biometric systems have higher error rates for non-white bodies, leading to daily humiliations and exclusions.

How do AI-powered chatbots contribute to epistemic violence in humanitarian settings?

AI-powered chatbots often impose Eurocentric values and invalidate local systems of knowledge. For example, mental health chatbots designed to address post-traumatic stress disorder may not account for the cultural specificity of emotions or the ongoing trauma of war and displacement. These chatbots, trained on English-language data sets, reflect Western perspectives, leading to a form of epistemic violence that marginalizes local knowledge and experiences.

What are the key logics driving digital interventions in humanitarian operations?

Six key logics drive digital interventions in humanitarian operations: 1) Humanitarian accountability, where digital technologies are seen as correcting deficiencies in aid delivery; 2) Audit, driven by the need for metrics and efficiency; 3) Capitalism, with private companies entering humanitarian spaces through public-private partnerships; 4) Technological solutionism, where technological fixes are prioritized over addressing root causes; 5) Securitization, where states use technologies to control populations; and 6) Resistance, where affected communities challenge datafication and automation.

What is surreptitious experimentation in humanitarian contexts?

Surreptitious experimentation refers to the implementation of digital pilots or experiments in humanitarian settings without formal announcement, clear boundaries, or meaningful consent. For example, the Building Blocks program, a blockchain-based cash assistance system, was rolled out in Jordan without being framed as a pilot, leaving refugees with no alternative method to access aid. This lack of transparency and accountability allows for the normalization of technological experiments among vulnerable populations.

How does technocolonialism reinforce structural violence?

Technocolonialism reinforces structural violence by systematically excluding and marginalizing groups based on race, gender, class, and other factors. For instance, algorithmic decision-making in aid distribution often leads to arbitrary exclusions, with no clear accountability for errors. The permanence and shareability of digital records amplify these risks, making structural violence more pervasive and diffused, particularly in refugee camps and disaster zones.

What role do donors play in perpetuating technocolonialism?

Donors play a significant role in perpetuating technocolonialism by driving the demand for digital interventions through funding requirements. The logic of audit and securitization, which prioritize metrics and control, is often imposed by donors. This leads to the adoption of technologies like biometrics and AI, which entrench power asymmetries and reinforce colonial legacies. Donors' influence is crucial in shaping the humanitarian landscape, often at the expense of local autonomy and justice.

What are some examples of resistance to technocolonialism in humanitarian settings?

Resistance to technocolonialism often takes the form of mundane resistance, where affected individuals engage in small, everyday acts of defiance. For example, refugees may refuse to use chatbots or feedback platforms, or creatively repurpose technologies like humanitarian radio for music and community bonding. Open protests, such as the Rohingya strike against biometric registrations, also highlight resistance, though such overt dissent is often risky and costly in highly asymmetrical settings.

How can humanitarian organizations address the harms of technocolonialism?

Humanitarian organizations can address the harms of technocolonialism by prioritizing meaningful consent, offering alternative methods for accessing aid, and listening to the needs of affected communities. Engaging in participatory action research, where refugees and disaster-affected individuals help design digital systems, can also ensure that technologies align with local values and priorities. Additionally, organizations must critically examine the logics driving digital interventions and challenge the structural inequities they reinforce.

Shownotes Transcript

贡献者:Mirca Madianou 教授 | 在这次基于她新书的演讲中,Mirca Madianou 将论证诸如生物识别技术和聊天机器人之类的数字创新会产生新的暴力形式,并加剧全球南方和北方之间的权力不对称。 凭借十年来对数字技术在人道主义行动中使用的研究,Madianou 将揭示塑造“为了善的技术”倡议的殖民权力关系。技术殖民主义的概念捕捉了数字基础设施与人道主义官僚机构、国家权力和市场力量的融合如何重振和重塑殖民遗产。技术殖民主义将注意力转移到数字基础设施、数据和人工智能在加剧援助提供者和需要帮助的人之间不平等方面的构成性作用。</context> <raw_text>0 欢迎收听伦敦政治经济学院的LSE Events播客。准备好聆听一些在社会科学领域最具影响力的国际人物的演讲。晚上好,各位。我很高兴欢迎大家参加今晚的线上线下混合活动——技术殖民主义:当“为了善的技术”具有危害性时。我的名字是Alison Powell。

我是LSE媒体与传播系副教授。我很高兴欢迎Mirka Mediano教授来到我们的线上观众和在老剧院的各位面前。Mirka是伦敦大学金史密斯学院媒体、传播与文化研究系教授,也是移民未来研究所联席主任。

她的研究重点是传播技术、基础设施和人工智能在全球南方背景下的社会后果,尤其关注移民和人道主义紧急情况。

她目前是英国学院一项关于泰国难民营数字身份项目的首席研究员。我们今天要庆祝的是她的新书:《技术殖民主义:当“为了善的技术”具有危害性时》。

基于她的书,今晚Mirko Merkitt-Madiana将论证,诸如生物识别技术和聊天机器人之类的数字创新会产生新的暴力形式,并加剧全球南方和北方之间的权力不对称。对于使用Twitter或X的观众,今晚活动的主题标签是#LSEevents。

如果您在现场,请将手机调至静音,以免扰乱活动,本次活动正在录制,如果一切顺利,将会以播客的形式发布。像往常一样,在Mirka发言后,大家将有机会向她提问。对于在线观众,您可以通过问答功能提交问题,如果您能留下您的姓名和单位,我将不胜感激。

对于在剧院的各位,我会在提问环节开始时通知大家。请举手,等待工作人员拿着麦克风过来。也请告知您的姓名和单位。我会尽量确保线上和线下的观众都能提问。所以,在所有重要的准备工作之后,我很想欢迎Mirka为我们介绍她的新书。非常感谢。

谢谢。Alison,感谢您的介绍。感谢媒体传播系发出的邀请。感谢今天在场的各位以及远程参与的各位。我期待着与大家进行交流。能够回到LSE,回到老剧院,我感到非常高兴。作为一名学生,我对这个地方有着美好的回忆。

这是LSE中变化不大的地方之一,所以能在这个房间里感觉真好。

这本书从一个例子开始,我今天会和大家分享,因为它奠定了我想通过这项工作捕捉到的基调。在2017年到2018年之间,超过100万罗兴亚难民抵达孟加拉国,逃离缅甸的种族灭绝。2018年,联合国难民署(UNHCR)与孟加拉国政府和一家私营承包商一起

组织了一个数字身份项目,旨在收集所有难民的生物识别数据。现在,生物识别注册在人道主义行动中是标准做法,难民与难民署接触后首先要做的事情之一就是提供他们的生物识别数据。罗兴亚难民的注册是有争议的,并且

导致了难民营的抗议活动。活动家们抗议的原因有两个。首先,该系统,即数字身份项目,没有使用他们偏好的名称“罗兴亚”来称呼他们,这被认为是一种象征性的抹杀。其次,罗兴亚人还担心他们的数据可能会被分享给缅甸政府,从而危及他们未来的安全。

2018年11月,抗议活动最终演变成罢工,这是抵抗的标志。孟加拉国政府反应相当强硬,派出了与抗议者发生冲突的警察,第二天生物识别注册照常继续。上述例子概括了数字技术在人道主义领域普遍存在,但也概括了与之相关的暴力。

全球有超过1亿流离失所者,超过3亿人需要援助,这些数据来自

2023年,该部门面临着巨大的挑战。随着人道主义紧急情况和气候灾难变得越来越普遍,数字创新和人工智能被誉为人道主义部门复杂问题的解决方案。生物识别技术不仅用于难民登记。生物识别技术有着

无数的用途。在一个典型的难民营中,难民需要使用面部识别来领取口粮,例如,领取食物,但也包括木炭等基本资源。

难民可能还需要扫描虹膜才能进入医院并看医生或医疗专业人员。区块链技术支撑着虚拟现金转移,而加密货币正在试点用于现金发放。反馈渠道正日益数字化,同时人工智能驱动的聊天机器人被用来与受影响的人们沟通,也用来提供心理治疗等服务。

算法被用来决定谁有资格获得援助,谁没有资格获得援助,同时正在探索人工智能来预测未来的危机和难民流动。最近的新冠疫情加速了所有这些数字干预措施的实施,因为远程提供援助的需求变得更加紧迫。

我刚才提到的许多创新都是更广泛的“为了善的技术”或“为了社会利益的人工智能”现象的一部分。这些可能是您听说过的术语,但是人道主义干预,以及国际发展部门的干预,通常被视为这种“为了善的人工智能”或“为了社会利益的技术”现象的一部分。

为了理解这些实践,我在过去几年里一直在发展“技术殖民主义”这一术语。这也是我刚刚出版的这本书的标题。我在这里借鉴了十年来与人道主义工作者、捐助者、数字开发者、企业家、志愿者和

受影响的社区本身的研究。这本书综合了两个研究项目,通过这两个项目,我追踪了来自受危机影响的人和难民的数据,这些数据流向人道主义组织、科技公司和捐助者。追踪数据的轨迹揭示了所涉及的权力关系。这就是我采取的方法。

我不会过多地谈论这些项目,因为我想关注这本书的论点,但我乐意在讨论中详细阐述。

我的论点是,数字创新、数据和人工智能实践加剧了权力不对称,并在我们所说的全球北方和全球南方或全球少数群体和全球多数群体世界之间产生了新的不平等,我更喜欢后一种说法,因为它将全球南方的人民重新定位为多数群体,但我将在我的演讲中使用这两套术语,所以

什么是技术殖民主义?技术殖民主义是指数字创新、数据和人工智能实践如何加剧权力不对称,并在全球南方和北方的人民之间产生新的结构性暴力和新的不平等。技术殖民主义阐明了数字发展与人道主义结构、国家权力和市场力量的融合,以及它们在多大程度上重振和重塑殖民关系。

因此,通过“技术殖民主义”这一术语,我认识到诸如流离失所、移民、人道主义,实际上是技术本身,都深陷于殖民关系之中。让我们看看人道主义,对吧?人道主义与殖民遗产有着千丝万缕的联系。它起源于19世纪和20世纪的殖民扩张。

尽管当代人道主义通常被理解为减少苦难的必要性,我在这里指的是克雷格·卡尔霍恩的定义,但捐助者、人道主义官员和援助接受者之间的结构性不对称重现了塑造殖民主义和帝国的不平等社会秩序。对行善的强调掩盖了一个事实,即援助

包括国际发展,是更广泛的自由主义议程的一部分,最终使北方国家受益。

更广泛地说,人道主义重现了西方救世主与受苦的前殖民地臣民之间不平等的关系。这证明了殖民主义的顽固性。尽管现代人道主义看起来不像幻灯片中的图像,但在某些方面,不平等,不对称仍然存在,对吧?所以这是仍然非常存在的东西。

现在,技术和科学也是殖民家谱的一部分。科学是殖民主义文明使命不可或缺的一部分,是用来证明殖民统治正当性的工具。科学是塑造殖民主体性最主要的工具。所以它不仅仅是一个工具,它实际上是产生主体性的。它是殖民主义的构成部分。

人工智能是这些更大规模的枚举、测量和分类家谱的一部分,这些家谱最初是由帝国列强开发的,目的是控制殖民地臣民。生物识别技术最初在印度被用作大英帝国控制其他身体的努力的一部分,这并非巧合。

殖民地臣民,以及生物识别技术今天仍然被用来管理和控制其他身体,我认为这是这些殖民遗产持久性的证据。现在,基础设施,这是一个我将在演讲中反复提到的术语,

基础设施也深陷于殖民关系之中。这里典型的例子是电报,对吧?它映射到大英帝国的地理位置,然后为互联网提供了基础。

其中一些观察结果与包括阿尼巴尔·基哈诺及其权力殖民性概念在内的各种学者的著作相呼应,他用这个术语来解释在直接殖民统治结束后殖民地人民持续的征服。斯托勒还提醒我们,帝国留下残骸,这些废墟是持久的,并在不同的条件下被重新加工

重新激活,通常以非常间接的方式。我在这里的思考也受到了关于殖民主义作为一种持续结构的论点的启发,这有助于解释定居者殖民主义的遗产如何持续存在并帮助塑造当代种族、性别和阶级的构成。

这里重要的是要澄清,重点不是在一个单一的拥有主权的帝国上。我并不是真的指任何一个帝国,对吧?而是指一种持续存在的统治结构,这体现在持续存在的异化行为、以欧洲为中心的知识体系的认知暴力及其对普遍性的主张以及种族歧视形式的编纂中。所以这是一个更分散的过程,我在这里真正试图捕捉到的。

所以让我在这里非常清楚地说。当我使用“殖民主义”一词时,我并不是指殖民主义的一个根本性的新阶段。我不把它用作理解现在的历史棱镜。我认为殖民主义和殖民性从未消失。帝国崩溃了,但它们的遗产和逻辑却幸存下来,并渗透到人道主义、移民、流离失所和技术本身等过程中。

同时,技术也重塑了这些过程。同样,我不认为殖民主义是,你知道的,我并没有真正地将殖民主义用作隐喻,鉴于与殖民主义相关的暴力,这样做甚至是不合适的。将殖民主义用作隐喻将是使该术语及其所描述的现象去政治化。

我们需要殖民主义作为一种框架来解释为什么技术实验通常在全球多数群体世界的难民营中进行。我们需要殖民主义作为一种框架来理解为什么在难民营中没有有意义的同意,在那里拒绝提交你的数据,你的生物识别数据,就等于拒绝接受援助和住所,而没有其他的生存选择。

同时,这不是关于新殖民主义的论点,尽管新殖民主义显然是一个相关的术语,一个同义词。技术殖民主义将注意力转移到数据和数字实践在加剧不平等方面的构成性作用,不仅是在难民和人道主义机构之间,而且在全球范围内。所以技术赋予这些不平等某种新的动力并产生了一些新的东西,这就是我试图通过这项工作来捕捉的东西。

需要明确的是,技术殖民主义是关于暴力的。它是一种结构性暴力,与影响整个群体的人的结构性不平等和边缘化相关的暴力,这些群体基于他们的性别、种族、民族、阶级、残疾、年龄以及他们在世界上的居住地。

但正如这个词所暗示的那样,结构性暴力是系统性的,但它是间接体验的。我认为记住结构性暴力这一点非常重要,它是一种非常系统性的暴力形式,但它是一种非常分散的间接形式。它是以间接的形式体验到的。它是通过日常的羞辱或日常的残酷来体验的。

但技术殖民主义实际上也与身体暴力有关,偶尔,或者比偶尔更频繁,正如我在演讲开始时提到的罗兴亚人的例子所证明的那样。顺便说一句,几年前,有消息透露,这些记录,罗兴亚人的生物识别记录,实际上被分享给了缅甸政府。

可能导致进一步的迫害,这次是借助生物识别数据。所以我们在这里可以辨别出所涉及的不同参与者。人道主义组织对我试图在这里解释的内容至关重要。人道主义组织可能包括联合国机构,也包括大型非政府组织。另一个重要的

方面是民族国家,无论是接待难民的国家还是资助援助组织的捐助国政府,当然还有私营公司,包括科技公司,它们也是这个领域的一部分,并且说

在这里强调的是,技术殖民主义不仅仅是关于数字资本主义,而是关于人道主义官僚机构、国家权力、市场力量以及对技术的想象的融合。我已经确定了六种逻辑

解释了在人道主义行动中推动数字干预的原因。我将很快介绍这些内容,因为它们为我稍后将在本次演讲中与大家分享的内容提供了一个分析框架。

首先,人道主义问责制逻辑是基于这样一种假设,即数字技术的交互性将纠正人道主义的缺陷。长期以来,人们一直批评人道主义是一种新殖民主义形式。有人认为

人道主义造成了新的依赖。因此,人们对数字技术作为人道主义改革、使该项目民主化的一部分,表现出一些热情。

相比之下,我们有审计逻辑,它源于人道主义的巨大成功以及它近年来作为空间的增长。因此,审计逻辑源于人道主义组织必须向捐助者提交指标以确保获得更多资金的持续需求。

因此,数字技术会生成指标,并与可靠的审计跟踪和效率相关联。例如,一个经常使用的论点是,生物识别技术将减少当人们例如两次索要援助时发生的低级别欺诈行为。因此,这种审计逻辑正在推动或驱动许多这些数字干预措施。

然后是资本主义逻辑,它解释了私营部门通过现在普遍存在的公私伙伴关系进入人道主义领域的情况,例如帕兰提尔公司和联合国最大的机构世界粮食计划署之间的伙伴关系,

在签署时,这受到了很多关注,鉴于帕兰提尔公司的往绩,这是理所当然的,但这只是更大现象的冰山一角,该部门有成千上万这样的伙伴关系。这里一个关键的观察结果是,通过将自己转变为人道主义机构,公司将政治问题重新定义为符合其业务目标,并且

并以此去政治化危机,对吧?所以这种想法是可以实现的,这只是一个资本主义逻辑的例子。现在,认为可以有技术手段来解决复杂问题

问题体现了技术解决方案主义的逻辑。解决方案主义将解决方案置于实际问题之前。因此,重点是为技术解决方案寻找问题,而不是反过来。这是一个例子

我的人道主义领域中的一个对话者,在这里指的是2018年区块链在其炒作的高峰期是如何真正推动许多这些数字干预措施的。所以它是为区块链寻找问题,而不是有一个问题,然后试图找到解决它的方法。

因此,与资本主义逻辑相结合,解决方案主义导致了在弱势群体中对技术试点或实验的正常化。

然后是安全化的逻辑。乍一看,这主要涉及国家的作用及其使人口清晰可见和保护边界的愿望。但当然,安全化是一项大生意。因此,这种逻辑也与资本主义逻辑相关联。事实上,所有逻辑都是相互交叉的,对吧?

但安全化与对难民危机的应对以及生物识别技术的使用特别相关。我们从卡蒂娅·林德斯科夫-雅各布森等学者那里知道

捐助国经常推动生物识别技术,因为它们的安全化议程。因此,正如总是那样,控制结构会产生争议。因此,第六种逻辑是抵抗,它指的是人们挑战数据化和自动化实践的程度。记住这一点非常重要,这是我对技术殖民主义的含义不可分割的一部分。罗兴亚人的抗议就是一个很好的例子。

殖民主义的历史一直是抵抗和斗争的故事。这可以从像罗兴亚人的抗议这样的公开抗议开始,但它也可以在日常生活的微观政治中遇到,我认为,当我们试图理解权力不平等非常重要的环境时,这至关重要。所以我会谈谈——

稍后谈谈抵抗的微观政治,我称之为世俗抵抗。这些区别

逻辑之间的区别是分析性的。在实践中,它们是相互交叉的。在实践中很难将它们分开,但我认为从分析的角度来看,重要的是要看到是什么在驱动这种我试图在这里解开的现象。现在让我总结一下数字技术如何重塑殖民家谱。它们通过多种方式做到这一点。

通过数据提取,即提取难民和其他弱势群体或受危机影响的人的数据,以供利益相关者(通常是全球北方)受益,通过从对未经测试技术的实验中提取价值,通过认知暴力,即强加欧洲中心的知识框架并使当地知识无效,

通过歧视,通过将西方的视角强加于其他身体,通过技术的魅力来强化和掩盖权力关系,通过日常的羞辱和由于我所说的基础设施暴力而产生的不公正来使苦难非人化并消除问责制。我希望我能够在一分钟内解释这一点。最后,通过以紧急情况的名义或在紧急情况之下为这些干预措施辩护,

我在书的章节中探讨了这些不同的主题。你们有,我不知道你们能不能看到,这是目录。我不会谈论所有章节。我决定谈谈生物识别基础设施,然后是实验的概念,最后是抵抗。我选择三个主题。但它们将许多这些殖民家谱被重新加工的方式结合在一起。

所以我将从生物识别基础设施开始,原因是生物识别技术在该领域非常普遍。我已经暗示过这一点。为了理解生物识别技术的普遍性,我认为我们可以举一个例子。这是一个关于我其中一位对话者的例子。让我们称她为Nomin。她是泰国难民营中的一名克伦族难民。所以Nomin每次外出时都需要进行身份验证。

去杂货店,她必须扫描她的脸才能买,比如说,一公斤米。同样,她必须扫描她的脸才能收集木炭来做饭或取暖。为了看医生或护士,她同样必须扫描她的虹膜。所以,你知道,日常生活充满了与机器的这种相遇。

生物识别技术被用来支撑基本的日常实践。现在,生物识别系统并非像通常所描述的那样是完美的身份识别技术,而是对现有的歧视形式进行了编码。我们从西蒙妮·布朗和肖莎娜·马格奈特等学者的著作中知道,生物识别技术优先考虑白人。

在测量或验证其他身体时,误差幅度明显更大,无论是种族、民族、性别、阶级、残疾还是年龄。在极度不稳定的情况下,身份验证错误可能会产生相当严重的后果。但与此同时,我们可以看到错误是如何产生主体性的,对吧?即使它们不起作用,它们也是富有成效的。

我的一位对话者一直在努力让机器读取她的脸——她总是收到错误信息——告诉我我的脸上一定有什么问题。所以,与其说机器有问题,

我们在这里看到机器如何将特定的凝视强加于身体。这是法农在发展其表皮化概念时所谈论的典型例子,对吧?这是由于种族主义而导致的自卑感内化,以及西蒙妮·布朗后来发展起来的数字表皮化,即通过数字手段将种族强加于身体。现在,

这些问题因难民生物识别注册中缺乏有意义的同意而变得更加复杂。即使,这是一个很大的“即使”,难民被问到是否同意处理他们的数据,他们也没有获得获得援助的替代方案。然而,同意复选框的存在往往使这些做法合法化、正常化。我认为在这里也必须说明,引入

其中一些系统,特别是那些涉及区块链技术的系统,难民实际上可以在难民营中使用他们的数字钱包购物,实际上

给了人们更多的选择,而不是领取口粮,他们可以去杂货店领取他们想要的任何东西。但在实践中,许多这些杂货店并不完全是货品充足的,你知道的,所以人们购买的商品往往与他们领取实物援助时获得的商品非常相似。我的意思是,我意识到这可能因环境而异,但是有一个

质疑选择论点是合理的。此外,我认为这里另一个重要的方面是,由于通货膨胀,人们往往获得的更少。过去,你每月会得到25公斤大米,这可能够你吃很多天,或者够你的全家吃一个月的大部分时间。但是现在人们必须用他们的援助津贴购买大米,

食物,人们实际上可以用通货膨胀购买更少的东西。所以我不认为在许多情况下人们渴望回到旧的配给制度并不奇怪。现在,数字技术提供的永久记录意味着生物识别技术能够

永久地监视难民。从这个意义上说,营地成为一个通过永久且可检索的数字记录而实现的弥散过程。再次强调,这里重要的是要记住,联合国机构的官方政策是不删除数据。其他组织的情况并非如此。红十字国际委员会将对此有不同的政策。他们确实有不同的政策。

难民署是处理难民数据的主要机构,目前有一项永久性政策。由于生物识别技术支撑着一系列基本实践,从接收鲨鱼电话到看医生到收集食物,

我们开始看到它改变了援助的性质。我们在这里观察到,这不仅仅是援助的数据化或数字化问题,我认为正在发生一些更根本的事情。我将此理解为援助的基础设施。现在,基础设施是指人道主义系统依赖于私有化或政府网络和系统。我认为理解这一点非常重要。

援助不再是包含在人道主义机构中的东西,而是实际上更加多孔,因为你有一家私营承包商提供正在使用的硬件或软件系统,同时你可能有一些国家需要访问数据,所以生物识别系统嗯是的嗯,你知道的,真的增强或产生了这种多孔性

人道主义,这对人道主义的性质有着深远的影响,它通常被称为人道主义、中立、独立和公正的神圣原则。如果有一家营利性私营公司正在提供提供援助的基础设施,你怎么能声称拥有独立性呢?同样

人道主义原则意味着每个人都应该获得援助,没有任何先决条件。但是,如果提交生物识别数据成为先决条件,在这种有条件的情况下,我们怎么能谈论人道主义原则呢?所以我们在这里看到的是,这种转变,这种变化,这种对人道主义是什么的重新加工。

随着数字基础设施与人道主义官僚机构融合,它们既继承又放大了彼此的局限性,并改变了援助的性质。现在,我已经解释了我在这里所说的基础设施的含义,我将继续讨论实验,因为基础设施与实验密切相关,特别是这种我想与大家分享的秘密实验的概念。我们经常听到难民营是……

被视为实验室,私营公司甚至人道主义组织或公私伙伴关系都在那里试点新技术。

我在人道主义部门的几位对话者告诉我,我们正在目睹一场真正的“试点炎”。他们所说的意思是,全球正在发生一系列不同的技术实验。我们已经看到使用或涉及难民心理健康聊天机器人的实验,或者涉及算法决策的试点,即谁将获得援助,谁将不会获得援助。这只是为了向你们展示

我稍后会对此说几句话。因此,当代技术实验遵循与20世纪医学和药理学实验相似的地理分布,这揭示了

权力全球几何形状的持久性以及为什么多数世界的人们被认为是进行实验的合适对象。为了向你们展示这些不平衡的流动,

一项对2008年至2020年间1000多个“为了社会利益的人工智能”应用的调查发现,大多数项目都位于美国。我自己在2021年对人道主义部门的49个AI应用进行的调查也显示,没有一个项目是由我们所说的全球南方国家领导的。所有项目都是由北美和欧洲的组织领导的。

贡献者:Mirca Madianou 教授 | 在这次基于她新书的演讲中,Mirca Madianou 将论证诸如生物识别技术和聊天机器人之类的数字创新会产生新的暴力形式,并加剧全球南方和北方之间的权力不对称。 基于十年来对数字技术在人道主义行动中使用的研究,Madianou 将揭示塑造“为了善的技术”倡议的殖民权力关系。技术殖民主义的概念捕捉了数字基础设施与人道主义官僚机构、国家权力和市场力量的融合如何重振和重塑殖民遗产。技术殖民主义将注意力转移到数字基础设施、数据和人工智能在加剧援助提供者和需要帮助的人之间不平等方面的构成性作用。</context> <raw_text>0 这在黑客马拉松中也很明显,对吧?黑客马拉松是设计新应用程序的关键场所。大多数黑客马拉松都在全球北方的城市举行。这是在纽约市举行的一次黑客马拉松。

后来发生的事情是,这次黑客马拉松开发了一个聊天机器人,并在肯尼亚的卡库马难民营中推出。我认为这很典型,设计技术的人与最终接受技术的人之间存在这种差距。在我的实地考察中,我去过黑客马拉松。在 2016 年至 2021 年期间,我去过 10 次黑客马拉松,并且

我很少在那里遇到参与设计过程的难民。因此,技术试点的地域不均衡很重要,因为它揭示了所涉及的权力动态。计算依赖于分类,而分类本质上是政治性的,反映了环境的主导价值观。由于分类嵌入在基础设施中,它们变得不可见,这使得它们更强大。

当我们考虑语言问题时,这一点就显而易见了。

当我们谈到语言时,想到的例子确实是聊天机器人。近年来,我们已经看到一些聊天机器人参与其中——推出,尤其是在与难民相关的方面。因此,大多数这些聊天机器人都是中低级别的聊天机器人,这意味着它们运行在人工——抱歉,在自然语言处理上。但本质上,

它们主要处理对预定问题的答案。所以它们不是我们所说的,你知道的,当我们听到聊天机器人时,我们会想到 ChatGPT。现在还没有达到那种程度。因此,聊天机器人的用途多种多样。有一些信息聊天机器人可以回答诸如我可以去哪里、如何申请庇护之类的问题。

还有一些教育聊天机器人声称可以帮助人们发展新技能。我们还有反馈聊天机器人,要求难民评估援助项目。然后是心理健康聊天机器人,旨在提供某种形式的心理治疗。现在,聊天机器人运行的语言绝对至关重要,对吧?我们从像 Gungi Hwa-Tiong 这样的去殖民主义作家的著作中知道

语言构成了我们感知自身和我们在世界中位置的价值观体系。因此,即使聊天机器人被翻译成当地语言,如果它所基于的算法和分类基本上是用英语训练的,那么

你仍然会有某种以盎格鲁-中心主义为视角的观点。这在心理健康聊天机器人中尤其成问题,在心理健康聊天机器人中,情感的文化特异性非常关键,对吧?后殖民学者长期以来一直质疑精神病学分类具有欧洲中心主义的倾向,但是

但是想想这个,对吧?制作一个心理健康聊天机器人来处理创伤后应激障碍,而人们正在逃离战争并流离失所,这充分说明了其中一些聊天机器人与人们的现实有多么脱节,以及它们可能造成的危害有多大。如果你正在逃离战争,就没有创伤后应激障碍,对吧?所以这些是我们在这里看到的一些紧张关系。这是一种认知暴力。

因此,当我们看待实验时,不仅仅是数据提取的问题,不仅仅是数据提取的问题。当然,数据提取会发生,开发其中一些聊天机器人的公司会从产生的宣传中受益。这是一个很好的例子,说明一个心理健康聊天机器人如何为硅谷初创公司带来良好的新闻报道。

最终,我认为这里真正令人不安的是,聊天机器人和其他“为了善的人工智能”解决方案构成了一种认知暴力,强加欧洲中心主义的价值观,并使当地知识体系失效。当我们考虑我所说的秘密实验时,实验的危害就显而易见了。

这种类型的实验之所以成为可能,是因为数字技术日益成为援助行动的基础。所以这是关于基础设施的论点。因此,秘密实验是在没有正式公告、没有明确界限、没有同意或没有问责制的情况下进行的。让我用一个例子来说明这一点,这是我在实地考察中遇到的最大规模的试点研究。这就是积木。

我之前分享过这张幻灯片。所以这是一个

世界粮食计划署推出的基于区块链的现金援助计划。BuildingBlocks 通过生物识别技术对难民进行身份验证,利用联合国难民署和世界粮食计划署的大型生物识别数据库,然后通过区块链技术发放他们的每月救济金。它的工作方式是难民在指定的商店购物,他们会扫描虹膜,然后系统向商家支付款项。

正如我所说,Building Blocks 是人道主义部门最大的试点项目之一。它于 2017 年启动,在试点阶段,它包括 10,000 人,之后扩展到超过 100 万人。显然,它不再是试点项目了。它已经毕业于试点阶段,现在正在孟加拉国和约旦使用,最近在乌克兰也使用。

所以,但我认为这里重要的是要说,当它在约旦的 10,000 人中推出时,这成为人们获得援助的新系统。它没有被宣布为试点项目,试点项目仍然处于更好的阶段,你知道,它正在……

测试,并没有真正替代的方法来收集援助。我认为这正是我试图通过秘密实验的概念来捕捉的。当一些试点项目进行时,它们通常不会被定义为试点项目。它们被定义为尝试新事物的一种方式,这使得它们相当隐蔽。因此,当实验利用数字基础设施时,

它们也是不可见的。这使得它们相当分散,对吧,没有明确的界限。现在,基础设施的不可见性,抱歉,试点的不可见性是秘密实验的关键方面。因为试点项目本身并没有被定义为试点项目,它们并没有被注册为实验。

这与缺乏有意义的同意有关,我之前已经多次提到过这一点,但这确实是一个非常重要的问题,对吧?因为我们知道,为了具有意义,同意需要至少两个维度。你需要了解系统在做什么以及你的数据将如何被使用。然后你还需要被允许不参与,拒绝参与而不会受到损害。而这两个条件都没有……

在这里得到满足。因此,即使你可能拥有,而且并非总是如此,你可能有一个复选框说,是的,我同意我的数据被使用。如果没有真正的替代方案,并且没有充分的理解,那么我认为我们不能真正谈论有意义的同意。这意味着在实验的这种分散的

性质中,如果没有真正的同意,当或如果出现问题时,我们确实缺乏问责制。因此,缺乏问责制也是其他干预措施中的一个主题,例如算法决策,它也越来越多地用于做出决策,例如关于谁有资格获得援助或没有资格获得援助。

一个例子是,也许我应该在这里说,援助一直是有选择性的。这不是什么新鲜事。它与技术并没有真正联系。援助一直是有选择性的,因为需求超过了供应。越来越多的机构试图利用算法做出这些决定。因此,经常使用的一个系统是代理手段测试。

它已在许多不同的环境中使用,它决定,它基本上对哪些家庭将被纳入分配以及哪些家庭将不被纳入做出建议。根据联合国委员会的一项研究,肯尼亚北部肯尼亚卡库马难民营的排除率为 4.3%。

鉴于该难民营的人口超过 20 万,我们可以立即看到,可能有数千人可能被错误地排除在外。现在这里的问题是,关于这些算法如何工作存在不透明性,对吧?因此,被排除在外的人会以一种非常武断的方式体验到这一点。一线工作人员,你知道的,那些在那里帮助弱势群体的人,

经常感到非常沮丧,因为他们无法解释为什么做出了这个决定,因为他们也不知道为什么算法会产生特定的结果。我从我的信息来源那里听说过,他们告诉我,分享他们的沮丧程度。我的一个信息来源将此过程描述为随机的,这种不透明性是

可能是故意的,因为揭示算法的工作原理意味着接收者可以试图操纵系统。这里的重点是真正试图不允许这样做。即使计算和算法是概率性的,它们的输出也被视为明确的和客观的。由于人工智能被认为是科学的和中立的,它加剧了人道主义环境中已经存在的不平等权力几何结构。

嗨,我打断一下这个活动,告诉你另一个我们认为你会喜欢的很棒的 LSE 播客。LSE IQ 邀请社会科学家和其他专家回答一个聪明的问题,例如为什么人们相信阴谋论,或者我们能否负担得起超级富豪?来看看我们吧。只需在你获取播客的任何地方搜索 LSE IQ 即可。现在回到活动。现在

错综复杂的供应链和自动化决策系统抹杀了对受影响社区的责任。当有人因算法错误而被排除在分发名单之外时,是谁的错?是 NGO 吗?是算法的设计者吗?是提供不完整数据集的政府吗?谁负责?

因为算法依赖于结构性决定的分类,所以它们的结果会影响整个人群。这是一个结构性暴力的例子,对吧?当人们因种族、性别、阶级、性取向、宗教或年龄而被排除在外时,这会影响整个人群,但也会以非常个人的方式体验到。

这个算法决策的例子,以及秘密实验的例子,说明了我所说的基础设施暴力。

数字基础设施渗透到难民营或灾区日常生活的许多方面,从现金援助到杂货购物。随着基础设施成为日常生活的环境,我在这里使用布莱恩·拉金的短语,危害被正常化了。这些干预措施中隐含的权力殖民性产生了主体。自动化的错误可能是严重的。

当算法错误地决定一个家庭应该被排除在援助之外,或者当算法拒绝验证你或

坚持说你是你并非的那个人时,对吧?但是也有一些错误不那么引人注目,但同样令人不安。它们涉及日常的羞辱,对吧?不起作用的技术,聊天机器人没有在下拉列表中包含你的问题,或者在一个没有商店的地区提供电子券系统,你实际上可以在那里兑换现金的指定商店。

这些都是基础设施暴力的例子。随着基础设施超越机构界限,人道主义系统与私营公司或国家的系统互操作,结构性暴力的机会成倍增加。数据的可共享性和记录的永久性加剧了对个人的风险。

因此,基础设施暴力具有结构性暴力的一切特征,但随着数据基础设施变得无处不在,它更加分散和倍增,暴力变得更加普遍,更加分散,几乎像一种环境暴力,而分散的或几乎被抹杀的是问责制现在

与以往一样,压迫和暴力都会遭到抵抗。殖民主义一直是一个斗争的故事。我以罗兴亚人的例子开始演讲,这提醒我们,尽管存在权力不对称,在这种情况下是国家权力,技术殖民主义仍在受到质疑。人道主义环境中的大多数争议都不是公开的。我认为,盎格鲁-中心主义的抗议文献中存在一种偏见,即它偏爱公开的异议,对吧?这在西方自由民主国家中很大程度上是可以容忍的,但在世界上许多地方,公开反抗的代价是高昂的,这并不是一种选择。

因此,为了理解不对称环境中的抵抗,我发展了这种世俗抵抗的概念。我在这里借鉴了黑人激进传统中的作者,如奥兰多·帕特森、塞德里克·罗宾逊和安东·德·孔布。

帕特森和罗宾逊观察到,在像奴隶制这样非常不对称的环境中,公开反抗的行为是不可能的,抵抗通常采取被动形式,包括故意逃避或拒绝工作或讽刺。

我更喜欢“世俗抵抗”这个术语而不是“被动抵抗”,因为我认为拒绝使用聊天机器人或拒绝提供你的生物识别数据没有什么被动的。实际上,在某些情况下,这可能非常勇敢。因此,世俗抵抗是在雷达之下通过小的、普通的行为发生的。例如,在我的实地考察中

在菲律宾海燕台风之后,我们观察到我们的信息来源是如何简单地拒绝使用非政府组织提出的某些平台的。拒绝与聊天机器人或反馈平台互动,可以用不同的声音发出政治声明。

但是,当难民被要求提供他们的生物识别数据时,拒绝并不是一个选择,对吧?在我的当前研究中,我的信息来源告诉我,即使他们担心数据的安全,即使他们担心甚至身体干预,他们也不觉得能够向非政府组织的工作人员提出这些问题,因为他们担心会被排除在援助之外。

因此,人道主义环境和结构中存在着排斥和能动性的等级制度。这里还有其他形式的抵抗。我应该提到平台的日常用途总是非常有创意的。查理·希尔,他写了一部关于泰国梅拉营地的精彩民族志,他展示了如何安置的年轻人

制作说唱音乐并将其上传到 YouTube,以便与世界分享他们的故事和经历。在海燕台风实地考察中,我们发现人们利用人道主义广播,这是一种通常用于自上而下信息传播的媒介。我不知道你是否曾经遇到过它。这是一个非常枯燥的媒介,带有某种一系列的公告。但是每周日都有两个小时的音乐时段

这就是人们真正想要从这个广播电台获得的东西。你知道,你必须意识到,没有媒体了。你知道,一切都被台风和风暴潮摧毁了。所以这是唯一一个广播电台,亚洲唯一的广播媒体。

塔克洛班,所以这个音乐时段非常重要,人们会发送短信来要求歌曲,并将歌曲献给他们的亲人,这是一种重建在如此多的死亡和破坏之后被破坏的纽带的方式。还有很多其他的例子,难民如何利用他们的手机来见证和记录他们面临的不公正现象。

人们的能动性不会取消结构性暴力,就像结构性暴力不会抹杀人的能动性一样。它们都是共同构成的。我认为我甚至不应该说这个,但有时人们会觉得,哦,你应该站在一边。应该是一个或另一个。世俗抵抗不会扭转权力关系,但除非我们认识到人们的能动性,否则我们怎么能指望发生任何社会和政治变革呢?

因此,即使日常生活的微观政治不会扭转我之前描述的权力关系,它们也可以为即将到来的殖民斗争播下种子。我现在不想暗示责任在于人们扭转技术殖民主义的危害。这并不是难民或受灾人民的责任。优先事项应该是废除导致这些干预措施的条件,对吧?这是一个政治项目。

我在书的结尾对这个问题做了一些反思:能做什么?这个问题困扰了我很久。这是本书最难写的一节,在一个饱受冲突、战争和流离失所蹂躏的不稳定世界中。

这本书不能仅仅以批判告终,我从鲁哈·本杰明的著作中汲取了灵感,她鼓励我们既要实践希望,又要批判我们周围的不公正现象。当然,希望首先来自受流离失所和灾难影响的人们,那些在难民营工作的人知道这些相遇可能是多么的令人振奋,人们用很少的东西做了很多事情

当然,它们也可能令人心碎,因为人们面临着不公正现象。所以没有秘诀,但我以一些想法、一些反思来结束这本书,仅仅是为了开启对话,对吧?我在这里只以两个反思来结束,因为我不想占用更多时间。所以我将以重新想象基础设施的概念来结束。由于我目前的工作,这件事现在一直在我脑海中。

那么,“为了善的技术”真的能做好吗?

人工智能将始终依赖于主观的分类,并反映其设计者的价值观。只要算法和大型语言模型是用英语训练的,就不可能去殖民化人工智能。一直有一种趋势呼吁这样做,但我们这里有一个结构性障碍。在“为了善”短语中隐含的狭隘的善的定义本质上是有问题的,因为它与联合国可持续发展目标联系在一起。

这使得它有点家长式和欧洲中心主义。因此,与其为了善,不如在多元宇宙中设计,我在这里使用阿图罗·埃斯科巴的术语,在一个许多世界都能容纳的世界中。我们需要优先考虑正义而不是伦理。

在我与查理·希尔和海泽尔·瓦科的当前项目中,我们采用参与式行动研究的协作方法。我们询问参与者,如果他们要设计一个数字身份系统,它会是什么样子?它会允许他们做什么?我们正处于这项研究的初期。

所以我还不能分享太多,但我已经被信息来源表达他们所重视的内容以及他们优先考虑的价值观的清晰度所震撼。如果技术对难民充满怀疑,那么结果永远不会对难民有利,对吧?因为系统中的任何错误都将被解释为有罪的证据。但是

但是,如果技术以社区的价值观为中心,那么它就可以开始看起来不同了。尽管我意识到在营地安全化的背景下,这听起来可能很乌托邦。接下来要真正重新想象的是团结。

结构性暴力和基础设施暴力会影响整个人群,但会以个人的方式体验到。责任在于个人寻求补救,试图向机器、官僚机构证明他们实际上有权获得援助,例如。通过寻求他人,受影响的人可以变得更强大。现在,团结当然不会……

扭转殖民主义的冤屈或解决殖民主义的冤屈,但集体行动是开始解决人道主义实践的一些危害的唯一途径。因此,本书中最乐观的部分来自这些相遇,你知道的,难民在他们自己中间组织起来,或者人们在受灾地区——在灾难环境中组织起来,或者实际上是人权活动家

与难民和非政府组织的工作人员合作。这是一种新的政治关怀,我在这里使用米里亚姆·蒂克顿的短语来指代在全球范围内以参与和劳动、责任和义务以及共享的共同资源为基础的新型相处方式。近年来,已经出现了一些这样的空间。我将与你分享一个例子,因为它只是

它在这里突出了一些问题。因此,在乌克兰战争期间,一群国际非政府组织工作人员发起了一场运动,拒绝收集生物识别数据作为其应对措施的一部分。这是由乌克兰政府推动的。他们不希望他们的公民数据由国际组织处理。

但乌克兰民间社会组织也表达了担忧。GDPR 也被纳入框架,GDPR,通用数据保护条例。因为乌克兰难民居住在罗马尼亚和波兰等欧盟国家,因此 GDPR 法律适用。因此,他们认为它实际上不能……使用生物识别数据违反了……

这项立法。GDPR 对生物识别等基础数据有特殊规定。这场运动取得了成功。生物识别注册于 2023 年 7 月停止,这证实了许多活动家长期以来一直在说的事情,即实际上这些援助分配可以在没有生物识别技术的情况下进行。你实际上不需要生物识别技术来分配援助。你可以用电子表格来做。

但它也证实了我们在欧洲拥有的法律框架 GDPR 是为少数世界国家保留的一种奢侈品,而不是适用于大多数世界的某种东西。但我们仍然可以在这里看到,集体行动可以奏效,技术殖民主义并非理所当然,其轨迹可以被阻止。

因此,技术殖民主义是结构性的。如果我们只是调整机器或改进自动化决策的算法,其危害就不会逆转。只有通过政治和集体行动,我们才能解决机器的暴力或机器帮助产生的暴力,并想象一个更有希望的未来。非常感谢。非常感谢米尔科,这是一个精彩的结论。

我们现在将向观众开放提问环节,包括剧院和在线观众。如果您在网上,请将您的问题输入问答框,我们将尽力回答尽可能多的问题。如果可能,请包括您的姓名和隶属关系。对于在场的各位,我很乐意回答任何举手的问题。将会有移动麦克风。所以我们先从中间的一个问题开始。

如果您能告诉我们您的姓名和隶属关系,那就太好了。谢谢。你好。嗨。太棒了。嗨,我是瓦尼里卡。我来自伦敦大学学院。我正在学习国际关系,我目前关注的是全球南方政治。

我有一个关于数据训练的问题。就像你提到的关于聊天机器人和人工智能以及数据目前如何成为一个主要关注点一样,因为人工智能正在使用西方数据集进行训练,这些数据集严重偏向于民主、对人权或人道主义干预或干预法的特定条件的定义。所有这些都是根据主要在全球北方产生的数据集进行训练的。

如果你认为大多数数据都上线了,而且人们实际上正在使用该数据集来学习而不是,我的意思是,这对于目前从事研究的学生来说尤其如此。如果我们使用的是从人工智能中获取的信息,

那么,对于世界其他地区来说,还会有哪些信息可以访问?此外,哪些信息将被系统地删除?你如何看待解决这个问题的方法?我们还有其他问题吗?是的。然后我们在后面还有一个。所以我会先回答三个。然后,梅里卡,你可以回答三个,然后我们再进行一轮。你好,我叫安娜·玛丽亚。非常感谢你的演讲。这太有趣了。我也来自伦敦大学学院,来自同一个系,学习国际关系,重点是东亚。

所以我对你所说的关于同意以及人们如何给予同意非常感兴趣。因为我认为如果我们大多数人考虑西方如何以非常简单日常的方式给予同意,例如应用程序,例如,我们大多数人只是点击通过。我们并没有真正考虑……

给予我们数据的影响是什么。例如,在难民营中,那会是什么样子?特别是当你有语言障碍时,如果人们处于非常绝望的境地,而且如果你有时间影响到这一点,那么给予同意会是什么样子,以确保个人理解他们实际上正在给予什么?

太棒了,谢谢。我们在后面还有一个。嗨,我是迈克。我从事全球投资,并对从更务实的或博弈论的角度来看待不同的援助机构、不同类型的国家的治理系统,甚至外国直接投资作为提升这些前沿新兴市场的一种方式感兴趣?

换句话说,与其从一种相当乌托邦式的角度出发,批判一切都不完美,不如更多地对比不同类型的援助行为者、国家和潜在的商业活动,所有这些都在相互利用,但也许其中一些是值得的。谢谢。

我先从同意的这个问题开始,因为这是我现在正在思考很多的问题。事实上,在这个参与式行动研究项目中,我们正在努力与我们的信息来源合作,来说明对你来说同意会是什么样子?你想问什么问题?我认为这里真正关键的是,人们不觉得有空间让他们问这些问题。人们经常有一些担忧,从

对身体的入侵,就像人们告诉我的那样,我知道在其他环境中也是如此,他们担心当机器扫描他们的眼睛时,他们可能会失明或出现健康问题,这是不正确的。但是,他们有这些严重的担忧,而他们实际上无法提出这些简单的问题,我认为,这充分说明了权力不对称。所以我会在这里说,首先要做的是

创造一个可以提出这些问题的空间,以及可以进行讨论的空间,而不是宣布这是一个正在发生的系统,并且这是一个对你有利的系统。

因为这通常就是它的呈现方式。另一件事是说你需要,你知道的,GDPR 在同意方面所做的就是,如果你有任何担忧,你需要得到一个替代方案。提供一个替代方案也会立即使其比我们目前看到的做法更好。它不会扭转权力不对称,但这可能是可以做出的重大改变。

提出,一旦我完成这个新项目,我可以与你分享更多信息,因为这是我们正在问的问题之一,从难民的角度来看,同意会是什么样子,但你是对的,同意的这个问题不仅仅会影响环境,你知道很多学者一直在写关于同意的文章,谈论的是胁迫而不是同意,只是我认为当我们看待人道主义情况中的不对称性时,它会更加突出

关于……的问题,我的意思是,难民和需要帮助的人,处于某种灾难环境中的人,灾后环境中的人,他们对创业活动感兴趣。但我认为我们有时往往会忘记,需求非常紧迫和紧急。所以,当……你知道的,与其用加密货币获得援助,你可能……你需要……

食物才能生存,你需要有丙烯来密封帐篷,这样它就不会漏水。需求非常基本,我认为这些行业活动或黑客马拉松中的一些创新者有时

我认为人们误解了真正的担忧所在,而我试图在我的演讲中捕捉到的问题之一是,创新者认为好的东西与人们真正需要的东西之间往往存在差距,但这并不是说在这些环境中没有创业精神,而是这种创业精神往往规模要小得多,而且不需要涉及……

加密货币。我之所以这么说,是因为有一种趋势是用这些方法来提供援助。举个我工作中的例子,我在菲律宾遇到过……

一家移动电话公司和一家小额信贷公司,他们基本上是想鼓励储蓄。你知道,这是在灾后环境中,储蓄并不是你的首要任务。你的首要任务仍然是满足基本需求。你可以说,这是一个例子,说明这些组织想要达成的目标与实际情况并不一致。他们想要推出一个产品,而当地人需要的是完全不同的东西。

所以我会说,你需要做的第一件事就是倾听人们的需求,他们会告诉你的。关于你的问题,我不确定你指的是人道主义环境还是一般意义上的大型语言模型,因为你问的是一般情况。是的,这是一个非常好的问题,许多人都在写这方面的内容,这些AI系统……

即使它们自称是科学的,但它们往往依赖于非常不完整的数据集,这些数据集严重偏向英语、白人面孔的阅读等等。因此,很明显,我们……

想要纠正这一点。但我认为,还存在一种危险,那就是认为可能存在某种完整数据集的幻想。互联网是一个非常不对称的地方。我认为这没有简单的解决办法。因为它也依赖于这些分类,而这些分类……

往往基于什么才是主导文化或编码者的价值观。这是一个非常棘手的问题,我认为它超出了本书的范围,因为我并没有真正讨论一般意义上的AI。我关注的是AI在一个非常具体的环境中的应用,即它在人道主义紧急情况中的应用,以及在某种程度上也包括国际发展,这两者密切相关。

好的,下一轮提问。我们这里有一个紫色衣服的人,一个米色衣服的人,还有一个前面穿灰色毛衣的人。你好。你好。我是伦敦政治经济学院的罗宾·曼塞尔。恭喜你出版了这本书。谢谢。我买了,但我还没读,所以请原谅我。

我实际上有两个问题。第一个问题是,我最近在一些环境中看到,一些人正在开发这类应用程序,不一定用于人道主义目的,他们会拿出一些数据,他们会争辩说,是的,在使用这些系统时,在您描述的背景下,存在偏差和误报等问题,但他们会试图证明他们有数据表明……

被排除在外的人远少于旧的电子表格系统及其所有特性下被排除在外的人。所以我在这类环境中提出的问题是,你们的数据从哪里来的?第二组数据。我只是想知道你在你的环境中是否遇到过这种情况,因为他们通常可以通过派一些学生去问人们来获得这些数据……

你是否在旧制度下处于劣势等等。所以它变得非常轶事。所以我的问题是,你是否有这方面的证据。第二个问题更多的是关于这方面的人权问题,因为我最近遇到很多批评……

来自全球多数群体背景的人说,强加某种普遍化的权利观念或应该是什么样的权利观念是一种双重强加,这只会加剧殖民化现象,他们宁愿不要用这种论点来抵制这些系统。谢谢。是的,谢谢。

你好,我是利亚。我正在学习发展和人道主义紧急情况。所以我的问题是关于你关于人道主义组织基础设施建设的论点,我发现这非常有说服力,即人道主义系统越来越……是的,它正通过私有化和……是的,越来越多的……

私营组织和民族国家。我只是想知道,因为你确实强调了当地人民在抵抗这些发展方面的能动性,但我只是想知道……

也想知道,因为我认为如果人道主义系统越来越被用来控制人民,如果他们在人道主义系统内部也对整个发展进行更批判性的参与,这可能还不够。因为正如你所说,很多人都在尝试,我想在人道主义组织中也是一样,他们试图利用这些新的创新,一切都被包装成一种非常……

解决方案是一种积极的方式,利用人工智能来做这件事,来做那件事。我只是想知道,你认为有足够的批判性参与吗?或者你如何看待系统内的前景?谢谢。我们开始吧?有很多。好吧。我可以看看还有多少问题吗?我将在这一轮中再问一个问题,就在前面。你旁边。你旁边。哦,他之前问过吗?好的。好吧。

我试图简短地表达,我喜欢这个数据基础设施的想法。这意味着你不需要技术,数据证明了最终的过程。现在,如果你在这个数据基础设施中加入社区数据基础设施的概念,那么我认为这将为社区带来一些东西。你提到了难民社区,对吗?

使用数据基础设施中的数据来构建创新,在经济中创造就业机会呢?我喜欢基础设施的概念,但我没有看到人们参与推动这一过程。我参与过这件事,例如,我自己就是一名难民专员。其中一个问题是,你如何为难民创造就业机会?这就是我提出的问题。

通过数据,我的意思是?我问的是社区参与使用数据的问题。是的,对。很多很好的问题。所以,回到……我从头开始。所以,罗宾关于排斥的问题。我没有来自相同回应的比较数据,但我可以比较我在海燕台风后的实地考察……

在那里,分发是通过电子表格和当地政府提供的数据进行的。社区中有很多不满情绪,他们认为自己受到了不公平的排斥。我还记得,为了向你展示存在……

过程中的不公平。所以,这个系统,分配将遵循菲律宾人口普查中定义的家庭方式,这意味着有一个男性户主。所以,如果你是一个未婚女性,你就会被排除在外。当然,这是不公平的。这是一个结构性暴力的例子。

但真正有趣的是,我的对话者觉得他们知道这种不公正为什么会发生,以及……你知道,它从哪里来。因此,他们可以去找Barangay领导人,他们当地的社区领导人……

邻里说这是不公平的。他们实际上可以敲某人的门,并与他们争论。当它是一个算法时,它非常分散。你不知道算法的哪个部分排斥了你。你不知道算法是如何产生的。这就是为什么我说存在这种问责制的消失。所以我不能量化并说排斥更少了,排斥更多了,但我所说的东西在性质上是不同的。

过去,你会有这种结构性暴力,你会因为某种特定特征而被系统地排除在外。现在你可能会因为某些特征而被排除在外,但这些特征的来源却非常不清楚,这就是为什么它更加分散,这就是为什么我觉得这种基础设施暴力有助于捕捉这一点。这就是第一个问题。人权,我的意思是,我采取了一种更基于正义的方法,因为我觉得……

这是关于正义和补救,而不是权利,我可以看到这可能会更具争议性,尽管这种方法也具有非常大的价值。但我认为,在人道主义领域,正义方法是一个非常有争议的东西。人道主义者总是试图与任何政治事物保持距离,但事实上,保持中立也是一种政治行为。

我们对此非常了解。也许,而这是我在书的结尾讨论的事情之一,对这些正义问题的开放,也许需要被接受,而不是被认为是如此的禁忌,特别是考虑到紧急情况的概念……

难民营的现实情况是,在大多数情况下,它们已经存在了几十年。现在有难民来到难民营,但许多难民营已经存在了几十年了。因此,你不能让紧急情况的想象决定应对措施,因为人们在一个地方已经生活了70年、40年或其他时间。所以我认为,正义而不是伦理,也许……

正义胜于权利,是我的前进方向。感谢你的提问,因为我真的很想说,人道主义领域有很多批评。这是一个极其反思性的领域,我今天与你们分享的许多想法都来自我自己的对话者,他们来自该部门。他们与我分享了其中一些想法,我……

为此表示感谢,而且你知道我从他们那里学到了很多东西,所以我确实觉得有必要承认人道主义者非常善于反思,但同样重要的是要承认人道主义是一个非常等级森严的空间,人道主义部门的经历各不相同,所以如果你看看前线工作人员,他们通常来自当地社区……

而且经常对正在发生的事情持批评态度,他们几乎没有回旋的余地,因为他们通常会自上而下地获得政策,他们必须执行它。他们不能偏离这一点。事实上,他们必须展示审计跟踪和指标等等。所以我们必须认识到,部门内部存在这种差异。而我在这里试图说的是……

我试图描述的不仅仅是人道主义者。是私营公司,它们受自身逻辑驱动。政府成为这个领域的一部分,它们有自己的逻辑,最终产生了我在第5章中所说的机器。

经常发生的情况是,即使你有了这种反思性,机器也会获得自身的逻辑,并以某种方式吸收所有这些批评,而实际上什么也没有改变,对吧?所以你会有改革的尝试,但不知何故,这些都被吸收了,我们一次又一次地看到一些问题的重复。所以,但我真的想强调的是,我的很多批评都是……

借鉴于我的对话者的批评。我试图记住这个问题。哦,是的,关于使用数据的问题。我的意思是,正如我之前所说,这确实……我的意思是,人道主义环境中的人们非常关心生计,他们关心……

你知道,他们想要得到尊重,他们想要找到工作,所以这绝对是关键,我对在这个过程中使用数据持有一些怀疑态度,我遇到过一些例子,技术企业家会来,说让我们让人们编写代码,你知道,注释数据集,这样我们就可以开发人工智能,他们……

把它作为一种创新形式,给人们提供工作,实际上以非常低的工资雇佣他们来构建我们在全球使用的AI系统。所以这可能是剥削,对吧?剥削那些陷入困境的人作为廉价劳动力。不幸的是,我们已经看到这种情况发生了。

如果你建议更激进的做法,那就是培训人们尝试编写代码,并尝试用数据做一些更具创新性的工作,我认为,是的,这可能是你可以做的事情,但我不想把数据作为……

这里的问题。你知道,它必须来自人们的需求。有时人们,人们需要的是,在我的最近的一个项目中,你知道,人们会说,当我问他们,什么样的数字身份系统,它会是什么样子,对你来说一个公正的系统会是什么样子?你知道,他们说,我想要一个系统,让我可以离开营地,去附近的村庄踢足球,因为这里没有我可以做这件事的空间。或者我只是想找一份工作,并得到尊重,因为我赚了一些钱。有时事情比……

编写代码或更技术复杂的事情要简单得多,所以我认为,在转向……之前,倾听人们的需求将是我的第一步,我认为他们知道的比我们想象的要多得多,但你知道,你必须倾听他们的需求,而不是去说……你知道,为我们也考虑一下……你知道,我们想选择我们想要的东西,我认为从这里开始很重要……

非常感谢各位提问者。我们还有五分钟的时间,所以我将收集所有剩余的问题,然后让米尔卡根据房间里的情况做一些最后的评论。我们也有在线问题吗?好的,所以Loan,你想提出在线问题吗?我们还有一个工作问题。

演讲者如何看待区块链技术的本质是反政府的,它减少了国家权力,它为尤其是在如此困难的地方的妇女带来了巨大的自由?好的。我们还有其他在线问题吗?还有更多,但是……我认为这样就可以了。我想……我想听听马克的意见。我认为,马克,你想问一个问题。是的。他也从事区块链工作,并为这次讨论做出了贡献。所以前面,然后你们其他人如果还有问题,可以举手。

好的,我们还有三个。非常感谢你的书。继续。它已经成为这个领域所有人的试金石。感谢你涵盖了如此广泛的内容,并阐明了概念和逻辑。是的,我只有一个关于捐助者群体的问题,例如富裕的西方国家、欧盟、世界银行、富有的慈善家等等。

这似乎是图景中一个重要的部分,重新构想这些基础设施,远离技术殖民主义项目……

我们要要求捐助者首先不要资助它们。我很想听听你在十年研究期间与捐助者群体的互动情况。他们在多大程度上参与了这个本地化议程,这个议程被谈论了很多,但我们并不总是听到权力真正被移交给当地组织、当地科技公司的例子。

拥有文化知识,自己决定基础设施。你听到多少关于这种事情的传闻?是的,只是关于捐助者现状的印象。是的。等等,我将收集最后两个问题。后面有一个,中间有一个米色衣服的人。是的,就在那里。是的。然后在中间。这里也还有一个。哦,对不起。对不起。如果我们没有设法回答所有问题,我们将不得不出去谈谈。

你好,非常感谢你的演讲。我叫达娜,我是校友,我在科技政策领域工作,所以我是一个非常乐观的技术乐观主义者。尽管我学习了很多关于军事技术的东西,但我来自黎巴嫩的贝鲁特,我在其中一张幻灯片上看到了贝鲁特爆炸后基于区块链的援助例子。

我很难把它看作是一种暴力的援助形式,因为在那种情况下,国家缺席了,非营利部门非常积极地支持人们。事实上,我写了我的论文,关于非营利部门在这种情况下是如何真正帮助人们的。

所以从这个方面来说,是的,非常乐观的技术乐观主义者。就像你说的,有短期的人道主义需求。这就是人们想要的。人们那一刻不想知道他们的数据去向。他们想要援助。所以这只是背景介绍,以及我为什么在这个意义上是一个乐观主义者。

而且,你知道,数字化正在……我们看到它遍布所有部门,政府、经济,我并不惊讶它已经渗透到人道主义部门,我以前也在家工作过。所以我认为我的问题会非常直接,因为我现在在政策领域工作。如果你面对联合国难民署或世界粮食计划署等援助组织,

除了抵抗之外,你的政策建议或建议是什么?当然,你提到了倾听受益者。但是,如果你有两个关键的政策建议来改进,并使援助更有效率和道德,当然。

因为它不会消失。数字化将继续存在。那么我们如何才能妥善处理它呢?谢谢。对于其他提问者,我深感抱歉。我们将不得不以这些问题结束。米尔卡,我会给你最后一个发言权。然后在她回应之后,欢迎大家到外面喝点饮料,购买和签署书籍。谢谢。你有什么问题吗?

关于捐助者的问题绝对是关键,因为他们在这种情况下非常强大,在某种程度上,许多此类干预措施都是由捐助者的需求驱动的,这就是我试图通过审计逻辑和安全化逻辑来捕捉的东西。我觉得捐助者也许不像人道主义者那样容易接触,但我感觉到……

在过去几个月或几年里,使用的语言语气略有变化。我确实觉得,自从我开始关注这些干预措施以来,该领域已经发生了变化,当时存在着巨大的技术乐观主义,而今天则采取了一种更为谨慎的态度,并渴望真正尝试……

是的,更谨慎一些,但我当然没有看到重大的转变,我认为任何改变都必须让捐助者参与进来,因为正如我所说,他们绝对是关键,因为他们提供资金,对吧?所以如果没有这笔资金,任何组织,任何一个人道主义组织实际上都不会存在。

关于政策建议,只是为了澄清一下,我关于聊天机器人的例子是为了向你展示聊天机器人的程度,因为我说过,有信息聊天机器人,更多的是关于你可以在哪里找到干净的水,或者你可以在哪里找到医院,到心理治疗聊天机器人,它们正在做一些完全不同的事情。所以在那一张幻灯片上,我并没有谈论那个特定的聊天机器人,但事实是……

所有聊天机器人都会分发……都会有那种问题,那就是通常……你知道,人们需要一个人,一个人的声音来互动,而不一定是一个下拉列表,其中不包含他们在那种情况下遇到的问题,我在早期版本的聊天机器人中看到了这一点,这些聊天机器人被用作反馈机制,在那里……你知道,人们被要求……对……干预……

他们如何体验干预。基本上,聊天机器人已经在向他们提供答案了。所以这几乎是预先写好的反馈。所以,即使是最简单的聊天机器人,也可能是有害的,因为它们并不像它们声称的那样具有参与性。关于政策的问题,这是一个非常好的问题。

我认为我们已经提到了一些问题,包括以更有意义的方式考虑同意,如果人们有顾虑,允许他们通过替代方法接受援助,

或者允许人们提出问题并进行对话,而不是给予他们一些没有机会质疑的东西。我认为,这将是一个极好的改进。它不会扭转我所说的权力关系,但它会产生影响,我们可以更广泛地考虑同意。我认为倾听人们的需求以及他们想要什么也绝对是这里的关键,而不是假设这是一个……

对他们有益的计划,而是真正允许他们做出决定,你知道,给他们空间来表达他们的能动性。所以这些是我会提出的简单的事情,但它们并不真正简单,因为它们极其昂贵,我认为这就是我们随后会遇到关于效率、审计跟踪以及人道主义组织面临的所有压力的问题。所以……

我认为我们将以这些非常有见地的关于政策的评论结束。我想感谢所有参加会议的人。非常感谢米尔卡的评论,欢迎大家到外面喝一杯。欢迎收听伦敦政治经济学院的LSE Events播客。准备好聆听一些在社会科学领域最具影响力的国际人物的演讲吧。