Что такое индустрия прокси и почему она существует

Индустрия прокси создавалась не для хакеров. Узнайте, почему ограничение скорости запросов по IP подтолкнуло легальные компании к инфраструктуре прокси.

Индустрия прокси существует из-за простого противоречия, которое встроено в интернет на протяжении двух десятилетий: веб-сайты хотят контролировать, кто получает доступ к их данным и с какой скоростью, а целая экономика легальных компаний нуждается в доступе к этим данным в масштабах, для которых веб-сайты не предназначены.

Чтобы понять, как мы сюда пришли, нужно вернуться в те времена, когда интернет только начинал развиваться. По современным стандартам веб-сайты того времени были крайне уязвимы. Но тогда это не было большой проблемой, потому что знания, необходимые для их атак, были не так легко доступны. Когда это изменилось, родилась новая индустрия для защиты от атак: кибербезопасность.

Развитие киберзащиты

Кибербезопасность сначала была сосредоточена в основном на защите от базовых атак. DoS-атаки использовались для отключения веб-сайта или сервиса конкурента. Уязвимости вроде SQL-инъекций, IDOR и SSRF-атак применялись для извлечения конфиденциальной информации из баз данных. Со временем индустрия развивалась, и защита тоже.

Одним из самых важных достижений было ограничение скорости запросов на основе IP. Когда веб-сайты начали ограничивать количество запросов с одного IP-адреса, одномашинные атаки перестали масштабироваться. У злоумышленников были и другие причины распределять нагрузку — в первую очередь сырая пропускная способность и устранение единственной точки отказа, но ограничение скорости дало им ещё одну.

DoS переросла в DDoS (распределённую атаку отказа в обслуживании); ранние крупные волны атак, такие как Panix в 1996 году и атаки в феврале 2000 года на Yahoo и eBay, были вызваны в основном пропускной способностью и ботнетами. Перебор учётных данных, при котором злоумышленники проверяют украденные комбинации email/пароля на высокоценных сайтах, также больше не мог запускаться в масштабе с одной машины, и это не прекращается: Akamai по-прежнему фиксирует десятки миллиардов попыток в месяц.

Кто ещё пострадал

Это та часть истории, которую знает большинство людей. Но о том, кто ещё попал под раздачу, говорят редко.

Параллельно всему этому быстро росла совершенно легальная индустрия. Компаниям требовалось:

Мониторить цены конкурентов на тысячах сайтов электронной коммерции
Проверять, правильно ли отображаются объявления в разных географических регионах
Отслеживать позиции в поисковых системах по миллионам ключевых слов
Собирать открытые данные для понимания потребительских тенденций
Получать цены на авиабилеты и отели в режиме реального времени
Сканировать поддельные товары и нарушения товарных знаков

Ничего из этого не является атакой. Это компании, которые извлекают открытые данные в масштабе для целей, которые часто приносят пользу самим веб-сайтам.

Проблема в том, что защитные механизмы, которые развёртывают веб-сайты, не различают злоумышленника и компанию по мониторингу цен. Обе выглядят как «один IP, делающий много запросов». Капчи, ограничение скорости по IP и системы обнаружения ботов относятся к ним одинаково.

Роль прокси

Если ваш бизнес зависит от возможности делать большой объём запросов, а веб-сайт на другом конце ограничивает скорость по IP, решение — распределить эти запросы по множеству IP-адресов. Это вся идея. Вы не обходите защиту в злонамеренных целях; вы маршрутизируете легальный трафик через достаточное количество различных IP-адресов, чтобы не запустить ограничения, предназначенные для остановки совсем другого поведения.

Индустрия прокси существует на этом пересечении. Она стала необходима благодаря достижениям в кибербезопасности, которые помогали защищать веб-сайты от реальных злоумышленников, но эти же достижения также повлияли на легальных потребителей, исследователей и компании по сбору данных. Индустрия прокси позволяет этим легальным операциям продолжать функционировать в интернете, где каждый IP рассматривается как подозрительный, пока не будет доказано обратное.

Это честная история того, как эта индустрия родилась. Не как инструмент для злоумышленников, а как инфраструктура, которая позволяет работать легальной экономике данных.

Если вы хотите узнать, как прокси работают на техническом уровне, следующая статья полностью это разбирает.

Опубликовано Алоном Леви, CEO FlashProxy

Об авторе: Алон Леви — CEO FlashProxy и обладает обширным опытом в области инфраструктуры прокси, архитектуры сетей и высоконагруженных технологий IP-маршрутизации.

Свяжитесь в LinkedIn · Контакт: [email protected]

Часто задаваемые вопросы

Легально ли использовать прокси?

Да. Прокси — это инструмент, и как любой инструмент, их легальность зависит от того, как вы их используете. Есть три важных аспекта, которые нужно различать.

Уголовное право: в США скрейпинг открытых данных в целом не является нарушением CFAA — после решений Van Buren v. United States (2021) и hiQ v. LinkedIn.
Контрактное право: условия использования сайта могут по-прежнему вас связывать, и hiQ в итоге проиграла именно по этому основанию, выплатив LinkedIn штраф в размере 500 000 долларов (хотя дело Meta v. Bright Data в 2024 году было решено иначе — в отношении открытых данных, собранных без входа в аккаунт).
Законодательство о защите данных: если вы собираете персональные данные, GDPR и CCPA применяются независимо от вышесказанного.

Это не юридический совет.

Кто использует прокси?

Компании электронной коммерции, фирмы в сфере ad tech, агрегаторы путешествий, исследователи в области кибербезопасности, SEO-платформы и компании в сфере искусственного интеллекта относятся к наиболее частым пользователям прокси.

Почему веб-сайты блокируют прокси?

Веб-сайты блокируют прокси в первую очередь, чтобы предотвратить чрезмерный автоматизированный трафик, который может перегрузить их серверы. То же самое ограничение скорости, которое останавливает атаки, также затрагивает легальные операции по сбору данных.