Що таке проксі? Як працюють проксі та чому їх використовують компанії

У контексті інтернету, IP-адрес, скрейпінгу та автоматизації онлайн-операцій проксі в своєму чистому вигляді — це сервер, який знаходиться між вами та вашим призначенням і перенаправляє ваші запити від вашого імені. Призначення бачить IP проксі, а не вашу.

От і вся концепція. Але щоб зрозуміти, чому вам це потрібно, треба розібратися з проблемою, яку вирішують проксі.

Приклад з реального світу

Припустимо, ви — дилер автомобілів і намагаєтеся знайти вживані автомобілі за хорошими цінами. У вас немає часу чи людських ресурсів, щоб переглядати тисячі оголошень щодня на десятках сайтів. Природне рішення — написати програму для скрейпінгу, яка діє як браузер, але замість відображення даних в інтерфейс користувача вона передає дані прямо в вашу програму.

Добре написаний скрейпер дозволяє вам вести базу даних з можливістю запитів щодо автомобілів та їх цін, відстежувати, коли розміщуються оголошення, та виявляти, коли їх видаляють. Тепер ви можете контролювати весь ринок замість того, щоб весь день оновлювати вкладки.

Проблема з автоматизованими запитами

Для захисту від DDoS-атак, підбору облікових даних та агресивного скрейпінгу веб-сайти впровадили механізми виявлення, які суворо обмежують автоматизований трафік. Вони виявляють ботів за багатьма факторами, включаючи відбиток браузера, закономірності запитів, поведінкові сигнали та TLS fingerprinting (JA3/JA4). Але одним із основних факторів все ще є IP-адреса, з якої надходять запити.

Коли веб-сайт бачить, що IP робить незвичайний обсяг запитів, він зазвичай обмежує її, запропонувавши розв'язати CAPTCHA, або повністю заборонити доступ через код статусу 429/403. Будь-яке з цього зламає скрейпер дилера автомобілів, якщо він не має способу розподілити свої запити на багато різних IP-адрес.

Як проксі це вирішують

Коли обмеження швидкості починають діяти, найпростіший обхід — це перенаправити наступний пакет запитів через іншу IP, і ваша програма продовжує працювати. За умови, що ви також ротуєте інші ваші ідентифікаційні сигнали (відбиток браузера, cookies, TLS профіль тощо), веб-сайт сприймає нову IP як нового користувача без історії. Обмеження швидкості зазвичай налаштовуються на IP, тому нова IP зазвичай означає новий бюджет запитів.

Звідки беруться всі ці IP-адреси?

Є кілька джерел, про які докладніше розказано в статті «Які типи проксі існують?», але найпростіша модель — це оренда IP. Існує цілий ринок невикористаного адресного простору IPv4. Компанії, які володіють блоками IP, але не використовують їх, можуть здавати їх в оренду компаніям, яким вони потрібні.

IPXO — одна з найбільших платформ, створена спеціально для оренди IPv4, для прямих продажів і передач, IPv4.Global (Hilco) — найбільш встановлена за обсягом. Постачальники проксі, як FlashProxy, беруть в оренду пули IP на щомісячних контрактах, а потім продають доступ до цих IP своїм користувачам.

На практиці дилер автомобілів підключає endpoint проксі FlashProxy у свій скрейпер. Кожного разу, коли його програма натикається на обмеження швидкості на цільовому веб-сайті, вона перемикається на іншу IP з пулу. Мета бачить те, що виглядає як тисячі різних користувачів, які переглядають оголошення, замість однієї машини, яка молотить по сайту. Дилер автомобілів отримує свої дані, веб-сайт не перевантажується, і система працює так, як передбачено.

Це вся суть проксі.

Опубліковано Алоном Леві, генеральним директором FlashProxy

Про автора: Алон Леві — генеральний директор FlashProxy з великим досвідом у сфері проксі-інфраструктури, архітектури мереж та технологій великомасштабної IP-маршрутизації.  

Зв'яжіться в LinkedIn  ·  Контакт: [email protected]

Часті запитання

Для чого використовуються проксі?

Проксі найчастіше використовуються для веб-скрейпінгу, моніторингу цін, верифікації реклами, відстеження рейтингів SEO та обходу геообмежень на загальнодоступні дані.

Проксі — це те ж саме, що VPN?

Ні. VPN шифрує весь трафік вашого пристрою і маршрутизує його через тунель. Проксі перенаправляє ваші запити через іншу IP, цей трафік все ще може бути зашифрований наскрізно (запит HTTPS залишається зашифрованим незалежно від того, проходить він через проксі чи ні), але сам проксі не створює зашифрований тунель на рівні пристрою. Вони служать різним цілям.

Що таке ротація IP?

Ротація IP — це практика перемикання між різними IP проксі протягом запитів. Це запобігає тому, щоб будь-яка одна IP спричинила обмеження швидкості на цільовому веб-сайті, забезпечуючи безперервну роботу автоматизованих робочих потоків.

Чи приховують проксі вашу особу?

Проксі маскують вашу реальну IP-адресу від сервера призначення, але вони не забезпечують повної анонімності. Інші сигнали, такі як відбитки браузера, cookies та TLS профілі, все ще можуть вас ідентифікувати без додаткових заходів.

Джерела та довідки

• IETF RFC 6585, додаткові коди статусу HTTP (429 Too Many Requests): https://datatracker.ietf.org/doc/html/rfc6585

• MDN Web Docs, 429 Too Many Requests: https://developer.mozilla.org/en-US/docs/Web/HTTP/Status/429

• Cloudflare, JA3/JA4 TLS fingerprinting: https://developers.cloudflare.com/bots/additional-configurations/ja3-ja4-fingerprint/

• IPXO, ринок оренди IPv4: https://www.ipxo.com/

• IPv4.Global (Hilco Global): https://www.hilcobrands.com/companies/ipv4/  Твердження про обсяг трансакцій від постачальника.