网站流量面临压力：新闻集团屏蔽用户？

网站流量面临压力：新闻集团屏蔽用户？

今天，2025 年 9 月 14 日，澳大利亚新闻集团的数字世界出现了一些用户会感兴趣的创新。在爬虫机器人的流量不断增加的时候，该公司推出了定制的软件来规范这些机器人的处理。作为 先驱太阳报 据报道，这一措施旨在既提高网站的安全性，又改善用户体验。

然而，流量监管软件可能会导致某些用户被错误地识别为机器人并被阻止。在这方面，新闻集团还提供了受影响者可以采取的重新访问权限的步骤。其中包括暂时停用广告拦截器并确保您的浏览器具有最新版本并支持 JavaScript。继续遇到问题的用户应直接发送电子邮件至 accessissues@news.com.au，并提供其 IP 地址 (85.13.166.126) 和参考号 (0.25171202.1757813047.5261dfdd)。

为什么现在很重要

管理爬虫机器人并不是一个简单的平衡行为。新系统不仅要确保更流畅的用户体验，还要做好应对可能的数据泄露的准备。据估计，全球 30% 的网络流量由机器人组成，因此控制它们的需求变得尤为迫切。 澳大利亚时报 补充说，世界各地的许多媒体机构正在采取类似的安全措施，以优化其内容的可访问性，同时保护其平台。

问题？合法用户存在被错误拒绝访问的风险。我们面临的挑战是创建一个安全且用户友好的环境，让数字内容可以不受阻碍地使用。

2025年爬虫的作用

近年来，由于人工智能领域的发展，关于爬虫机器人的讨论获得了进一步的发展。根据一份有趣的报告 云耀 随着人工智能爬虫的兴起，爬虫景观变得更加复杂。这些数据不仅用于搜索引擎，而且越来越多地用于训练人工智能模型。这表明网站运营商面临的挑战在不断变化，需要适应以跟上技术趋势。

• Googlebot: 50 % des gesamten Crawler-Verkehrs
• GPTBot: Anstieg von 2.2 % auf 7.7 % Marktanteil
• Meta-ExternalAgent: Eingestiegen mit 19 % Marktanteil
• Bytespider: Rückgang von 22.8 % auf 2.9 % Marktanteil

随着机器人流量的持续增加，制定确保可访问性和安全性的策略变得至关重要。因此，最近的变化不仅仅是一种反应，而且可能也是媒体领域数字化未来的一个路标。