OpenAI爬虫频繁抓取导致人体3D模型网站瘫痪

文章来源：放心AI网发布时间：2025-05-09 14:44:09

近日，乌克兰一家专注于人体3D 模型的网站 Trilegangers 遭遇了前所未有的流量攻击，导致其服务器瘫痪。该网站致力于为3D 艺术家和游戏开发者提供海量的人体3D 模型数据，然而却因为 OpenAI 的爬虫 GPTBot 的频繁抓取而陷入困境。

据 Trilegangers 的工作人员透露，尽管网站在使用协议中明确禁止未经授权的抓取和使用，但由于未正确设置 robots.txt 文件来阻止爬虫的访问，最终导致了服务器负荷过重。根据服务器日志，OpenAI 的 GPTBot 爬虫通过600多个不同的 IP 地址发起了数以万计的请求，结果使得网站无法正常运作，类似于遭遇了分布式拒绝服务（DDoS）攻击。

OpenAI 在其爬虫说明中提到，若网站不希望 GPTBot 抓取内容，需在 robots.txt 文件中进行设置。然而，Trilegangers 并未意识到这一点，从而导致了当前的窘境。尽管 robots.txt 文件并不是法律要求，但如果网站已经声明禁止未经授权使用，GPTBot 的抓取行为仍可能违反相关规定。

此外，由于使用亚马逊 AWS 服务器，Trilegangers 在带宽和流量上的消耗也急剧上升，给其带来了额外的费用压力。为应对这一突发事件，Trilegangers 已经采取措施，设置了正确的 robots.txt 文件，并通过 Cloudflare 屏蔽了包括 GPTBot 在内的多种爬虫的访问，这一做法预计将有效缓解服务器负担，保障网站的正常运作。

这一事件引发了人们对网络爬虫行为的关注，尤其是在 AI 技术日益发展的背景下，如何平衡技术应用与版权保护，成为一个值得深思的话题。