Что такое прокси? Как работают прокси и почему их используют компании

В контексте интернета, IP-адресов, скрейпинга и автоматизации в интернете прокси в чистом виде — это сервер, который находится между вами и местом назначения и пересылает ваши запросы от вашего имени. Место назначения видит IP прокси, а не ваш.

Вот вся концепция. Но чтобы понять, зачем вам это нужно, нужно понять проблему, которую решают прокси.

Пример из реальной жизни

Допустим, вы дилер автомобилей и пытаетесь найти подержанные машины по хорошим ценам. У вас нет времени или рабочих рук, чтобы просматривать тысячи объявлений каждый день на десятках сайтов. Естественное решение — построить программное обеспечение для скрейпинга, программу, которая работает как браузер, но вместо того чтобы отображать данные в интерфейс пользователя, она передаёт данные прямо в ваше приложение.

Хорошо написанный скрейпер позволяет вам поддерживать базу данных машин и их цены, отслеживать, когда объявления появляются, и обнаруживать, когда они удаляются. Теперь вы можете контролировать весь рынок вместо того чтобы обновлять вкладки весь день.

Проблема автоматизированных запросов

Чтобы защитить себя от DDoS-атак, подбора учётных данных и агрессивного скрейпинга, веб-сайты внедрили механизмы обнаружения, которые серьёзно ограничивают автоматический трафик. Они обнаруживают ботов на основе множества факторов, включая отпечаток браузера, паттерны запросов, поведенческие сигналы и TLS-отпечатки (JA3/JA4). Но одним из основных факторов по-прежнему остаётся IP-адрес, с которого поступают запросы.

Когда веб-сайт видит IP, отправляющий необычный объём запросов, он обычно ограничивает его скорость, предлагая решить капчу, или полностью отказывает в доступе через код состояния 429/403. Любое из этих действий сломает скрейпер дилера автомобилей, если у него нет способа распределить свои запросы по разным IP-адресам.

Как прокси это решают

Когда начинают срабатывать ограничения скорости, самый простой способ обхода — маршрутизировать следующую партию запросов через другой IP, и ваше программное обеспечение продолжает работать. Предполагая, что вы также ротируете другие идентифицирующие сигналы (отпечаток браузера, cookies, TLS-профиль и т. д.), веб-сайт видит новый IP как нового пользователя без истории. Ограничения скорости обычно применяются для каждого IP, поэтому новый IP обычно означает новый бюджет.

Откуда берутся все эти IP-адреса?

Существует несколько источников, подробнее описанных в разделе «Какие типы прокси существуют?», но самая простая модель — это аренда IP-адресов. Существует целый рынок неиспользуемого адресного пространства IPv4. Компании, которые владеют блоками IP, но их не используют, могут сдавать их в аренду компаниям, которым они нужны.

IPXO — одна из крупнейших платформ, созданных специально для аренды IPv4; для прямой продажи и передачи адресов IPv4.Global (Hilco) является наиболее авторитетной по объёму сделок. Поставщики прокси, такие как FlashProxy, берут в аренду пулы IP по месячным контрактам, а затем продают доступ к этим IP своим пользователям.

На практике дилер автомобилей подключает прокси-эндпоинт FlashProxy к своему скрейперу. Каждый раз, когда его программное обеспечение сталкивается с ограничением скорости на целевом веб-сайте, оно переключается на другой IP из пула. Целевой сайт видит то, что похоже на тысячи разных пользователей, просматривающих объявления, вместо одной машины, молотящей по сайту. Дилер автомобилей получает свои данные, веб-сайт не перегружается, и система работает так, как она должна работать.

Это вся предпосылка прокси.

Опубликовано Алоном Леви, генеральным директором FlashProxy

Об авторе: Алон Леви — генеральный директор FlashProxy с обширным опытом в инфраструктуре прокси, архитектуре сетей и технологиях крупномасштабной маршрутизации IP.

Связаться в LinkedIn  ·  Контакт: [email protected]

Часто задаваемые вопросы

Для чего используются прокси?

Прокси чаще всего используются для веб-скрейпинга, мониторинга цен, верификации рекламы, отслеживания позиций в SEO и обхода географических ограничений на общедоступные данные.

Прокси — это то же самое, что VPN?

Нет. VPN шифрует весь трафик вашего устройства и маршрутизирует его через туннель. Прокси перенаправляет ваши запросы через другой IP, этот трафик всё ещё может быть зашифрован от конца до конца (HTTPS-запрос остаётся зашифрованным независимо от того, проходит ли он через прокси или нет), но сам прокси не создаёт зашифрованный туннель на уровне устройства. Они служат разным целям.

Что такое ротация IP?

Ротация IP — это практика переключения между разными IP-адресами прокси в разных запросах. Это предотвращает срабатывание ограничения скорости на целевом веб-сайте для какого-либо одного IP, позволяя автоматизированным рабочим процессам работать бесперебойно.

Скрывают ли прокси вашу личность?

Прокси маскируют ваш реальный IP-адрес от целевого сервера, но они не обеспечивают полную анонимность. Другие сигналы, такие как отпечатки браузера, cookies и TLS-профили, всё ещё могут вас идентифицировать без дополнительных мер предосторожности.

Источники и ссылки

• IETF RFC 6585, дополнительные коды состояния HTTP (429 Too Many Requests): https://datatracker.ietf.org/doc/html/rfc6585

• MDN Web Docs, 429 Too Many Requests: https://developer.mozilla.org/en-US/docs/Web/HTTP/Status/429

• Cloudflare, TLS-отпечатки JA3/JA4: https://developers.cloudflare.com/bots/additional-configurations/ja3-ja4-fingerprint/

• IPXO, площадка для аренды IPv4: https://www.ipxo.com/

• IPv4.Global (Hilco Global): https://www.hilcobrands.com/companies/ipv4/  Информация о самооценке объёма транзакций поставщиком.