We're sunsetting PodQuest on 2025-07-28. Thank you for your support!
Export Podcast Subscriptions
Wikipedia Flooded by AI Bots — What You Should Know
2025/4/21
LLM
J
Jaeden Schafer
Jaeden Schafer: 我注意到维基百科的流量自2024年1月以来激增了50%，这并非因为新用户增加，而是由于AI模型和AI爬虫大量抓取网站信息，导致维基百科的服务器成本大幅增加。这是一个普遍问题，将影响所有网站、企业和个人。维基百科官方博客也承认了这个问题，他们的基础设施无法承受AI爬虫产生的前所未有的流量。虽然维基百科的内容理论上是公开的，任何人都可以贡献和使用，但AI模型的批量抓取行为给维基百科带来了巨大的经济负担。即使网站使用robot.txt文件来阻止抓取，AI模型通常也会忽略它。Sam Altman曾呼吁取消AI模型的版权规则，这进一步加剧了这个问题。AI模型抓取网站内容会增加公司的服务器费用和带宽成本，即使网站本身并不直接为此付费。维基百科最昂贵的流量中有65%来自AI爬虫，这些爬虫通常会访问那些不太受欢迎的页面。大约35%的维基百科页面浏览量来自机器人，但这些机器人访问占维基百科最昂贵流量的65%。虽然机器人只占维基百科所有网页浏览量的三分之一，但它们却占维基百科最昂贵流量的绝大部分，这对维基百科来说是不利的。维基百科正在努力应对AI爬虫带来的问题，Cloudflare推出了一种名为“AI Labyrinth”的新工具，利用AI生成的内容来减缓爬虫的速度，通过向AI爬虫提供AI生成的内容（垃圾数据）来减缓其速度，并防止其压垮网站。然而，AI爬虫也在不断寻找新的方法绕过这些限制。像Meta这样的公司使用的AI爬虫增加了网站的带宽需求，给网站运营者带来了巨大的经济损失。OpenAI等公司在收集数据的同时，也增加了其他网站的成本。未来所有网站都将面临AI爬虫带来的问题，需要寻找相应的解决方案。网站需要区分AI代理是用于购买商品还是仅仅是抓取数据，从而决定是否阻止其访问。网站需要权衡利弊，决定哪些内容应该允许AI代理访问，例如，可以关闭博客等免费内容对AI代理的访问，但保留销售页面等重要内容的访问。这是一个持续的猫鼠游戏，需要不断探索新的解决方案。
Deep Dive
Wikipedia's traffic has surged 50% since January 2024, largely due to AI bots scraping data. This costs Wikipedia significant server fees, with 65% of their most expensive traffic originating from bots, despite bots only accounting for 35% of total page views. The issue highlights the financial burden on websites from AI data scraping.
- Wikipedia traffic surged 50% since January 2024
- AI bots are the primary cause
- Bots account for 35% of page views but 65% of expensive traffic
- Increased server costs for Wikipedia
Shownotes Transcript