什么是代理行业，为什么会存在

代理行业不是为黑客而生的。探索 IP 速率限制如何推动合法企业转向代理基础设施。

代理行业的存在源于互联网过去二十年来一个简单的矛盾：网站想要控制谁可以访问他们的数据以及访问速度有多快，而整个经济中存在大量合法企业需要以网站不打算服务的规模访问这些数据。

要理解我们如何走到这一步，你需要回到互联网刚刚起飞的时代。按今天的标准来看，当时的网站极其脆弱。但这在当时并不是什么大问题，因为攻击网站所需的知识并不容易获得。随着这一切的改变，一个新的行业应运而生来防御这些攻击：网络安全。

网络防御的崛起

网络安全最初主要关注阻止基本的攻击。DoS 攻击被用来关闭竞争对手的网站或服务。SQL 注入、IDOR 漏洞和 SSRF 风格的攻击被用来从数据库中提取敏感信息。随着时间推移，这个行业不断发展，防御措施也随之进步。

最重要的发展之一是基于 IP 的速率限制。一旦网站开始限制单个 IP 可以发出的请求数量，单机攻击就无法再扩展。攻击者还有其他分散流量的理由，主要是原始带宽和消除单点故障，但速率限制给了他们又一个理由。

DoS 发展成为 DDoS（分布式拒绝服务）；早期的大规模流量，如 1996 年的 Panix 和 2000 年 2 月对雅虎和 eBay 的攻击，主要是由带宽和僵尸网络驱动的。暴力破解凭证，其中攻击者针对高价值网站测试被盗的电子邮件/密码组合，也无法再从单个机器大规模运行，而且从未停止过：Akamai 仍然每月记录数百亿次尝试。

还有谁被波及

这是故事中大多数人都知道的部分。但很少有人讨论的是还有谁被波及。

与此同时，一个完全合法的行业在快速增长。公司需要：

监控数千个电商网站的竞争对手定价
验证广告是否在不同地区正确显示
追踪数百万个关键词的 SEO 排名
收集公开可用的数据以了解消费者趋势
实时获取航班和酒店价格
扫描假冒产品和商标滥用

这些都不是攻击。它们是企业以规模化方式提取公开可用数据，而这些数据往往对相关网站有利。

问题在于网站部署的防御机制无法区分恶意攻击者和价格监控公司。两者看起来都像「单个 IP 发出大量请求」。验证码、IP 速率限制和机器人检测系统对待他们的方式相同。

代理的作用

如果你的业务依赖于能够发出大量请求，而另一端的网站按 IP 限制速率，解决方案是将这些请求分散到许多 IP 上。这就是整个前提。你不是出于恶意目的绕过安全措施；你是将合法流量通过足够多的不同 IP 路由，使其不会触发为阻止完全不同的行为而设计的限制。

代理行业就存在于这个交叉点。它之所以必要，是因为有助于保护网站免受真正攻击者伤害的网络安全进步，但这些相同的进步也影响了合法的消费者、研究人员和数据收集企业。代理行业使合法运营能够在互联网上继续运作，而在这个互联网中，每个 IP 都被视为可疑，直到被证明是否则。

这是这个行业诞生的真实故事。不是作为攻击者的工具，而是使合法数据经济能够继续运行的基础设施。

如果你想了解代理在技术层面上究竟如何工作，下一篇文章会全面讲解。

由 FlashProxy 首席执行官 Alon Levi 发布

关于作者：Alon Levi 是 FlashProxy 的首席执行官，在代理基础设施、网络架构和大规模 IP 路由技术方面拥有丰富的经验。

在 LinkedIn 上联系 · 联系：[email protected]

常见问题

使用代理合法吗？

是的。代理是工具，像任何工具一样，其合法性取决于你如何使用它。有三件事值得区分。

刑法：在美国，在 Van Buren 诉美利坚合众国案（2021）和 hiQ 诉 LinkedIn 案的判决后，抓取公开可用数据通常不构成《计算机欺诈和滥用法》的违反。
合同法：网站的《服务条款》仍然可以对你产生约束力，而 hiQ 最终在完全相同的理由上败诉，向 LinkedIn 支付了 50 万美元的赔偿（不过 Meta 诉 Bright Data 案在 2024 年对于以登出状态抓取的公开数据做出了相反的判决）。
数据保护法：如果你收集个人数据，无论上述情况如何，GDPR 和 CCPA 都适用。

以上内容不构成法律建议。

谁使用代理？

电商公司、广告技术公司、旅游聚合器、网络安全研究人员、SEO 平台和 AI 公司是最常见的代理用户。

网站为什么会屏蔽代理？

网站屏蔽代理主要是为了防止可能使其服务器过载的过度自动化流量。阻止攻击的相同速率限制也会影响合法的数据收集操作。