We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
AI Bots Are Changing Wikipedia — For Better or Worse?
2025/4/13
AI Education
J
Jaeden Schafer
我观察到维基百科的访问量自2024年1月以来激增了50%，这主要是因为AI模型和AI爬虫抓取网站信息，导致了服务器成本的大幅增加。这个问题不仅影响维基百科，还会影响到所有网站、企业和个人。维基百科官方也承认了AI爬虫带来的流量超出了其基础设施的承受能力，带来了巨大的风险和成本。虽然维基百科的内容对所有人开放，但AI模型大量抓取数据造成了巨大的成本压力，因为这些模型通常会忽略robots.txt文件，继续抓取数据。Sam Altman曾向白宫建议取消AI模型的版权规则，以便能够抓取所有数据，这引发了版权方面的争议。AI模型抓取数据会增加网站的服务器费用和带宽成本，即使网站本身不直接从中获利。维基百科最昂贵的流量中有65%来自机器人，这些机器人主要访问最受欢迎的文章。维基百科的数据中心架构使得访问热门页面成本较低，访问冷门页面成本较高。AI机器人会抓取所有内容，包括冷门内容，这导致了成本的急剧增加。目前，维基百科约有35%的页面浏览量来自机器人，但这些机器人贡献了65%的最昂贵流量。机器人与人类用户的访问模式不同，机器人倾向于批量读取大量冷门页面，这导致了成本的增加。维基百科基金会正在尝试解决机器人大量抓取数据的问题，Cloudflare推出了AI Labyrinth工具，利用AI生成内容来减缓爬虫机器人的速度。Cloudflare是一个保护网站免受DDoS攻击的工具，通过吸收和分散流量来防止网站崩溃。Cloudflare的AI Labyrinth工具可以检测AI爬虫并提供AI生成的内容来减缓其速度，通过提供垃圾数据来惩罚AI爬虫。AI爬虫忽略robots.txt文件，这导致了网站成本增加的问题。Meta等公司的大型语言模型的爬虫行为导致了网站带宽需求增加和成本增加。OpenAI等公司在抓取数据的同时，也增加了网站的成本，这引起了很多人的不满。网站需要找到解决方案来应对AI爬虫带来的问题，未来需要考虑如何平衡AI代理对网站的影响，既要允许客户使用AI代理进行购买，又要避免滥用。网站需要区分哪些内容会带来销售额，并根据情况选择是否启用AI Labyrinth等工具。应对AI爬虫是一个持续的博弈过程，需要网站不断调整策略。
Deep Dive
Shownotes Transcript