用GPTBot来爬虫也太强了!

jianni · 发表于 2025-9-2 21:12:00

OpenAI新发布产品GPTBot，这是一种网络爬虫，可大规模爬取网络数据，可用于训练AI模型。并不用担心其合法性。OpenAI会对抓取的数据进行过滤，需要付费墙访问的源，收集个人身份信息的源，或者违反 OpenAl政策的文本。以保证抓取的数据符合安全标准。
如果用户的网站不想被GPTBot抓取数据，可以将GPTBot添加到站点的robots.
#停课不停学 #小米主题 #学渣逆袭指南 #民生新闻 #学习打卡Vlog #实用APP安利 #学生必备APP

[生活] 用GPTBot来爬虫也太强了!

回复

浏览过的版块