Що таке індустрія проксі та чому вона існує

Індустрія проксі не була створена для хакерів. Дізнайтеся, як обмеження частоти запитів IP штовхнули легітимні компанії до інфраструктури проксі.

Індустрія проксі існує через просту напругу, яка глибоко закладена в інтернет останні два десятиліття: веб-сайти хочуть контролювати, хто отримує доступ до їхніх даних та з якою швидкістю, а існує вся економіка легітимних компаній, які повинні отримувати доступ до цих даних у масштабах, для яких веб-сайти не були розраховані.

Щоб зрозуміти, як ми сюди дійшли, потрібно повернутися до часу, коли інтернет тільки почав розвиватися. За сучасними стандартами, веб-сайти тих часів були надзвичайно вразливі. Але тоді це не було великою проблемою, оскільки знання, необхідні для атаки на них, не були легкодоступні. Коли це змінилося, народилася нова індустрія для захисту: кібербезпека.

Зростання кіберзахисту

Кібербезпека спочатку була зосереджена переважно на запобіганні базовим атакам. DoS-атаки використовувалися для відключення веб-сайту чи сервісу конкурента. Злами, такі як SQL-ін'єкції, вразливості IDOR та атаки типу SSRF, використовувалися для видобування чутливої інформації з баз даних. З часом індустрія еволюціонувала, й так само еволюціонував захист.

Одним із найважливіших досягнень було обмеження частоти запитів на основі IP. Як тільки веб-сайти почали обмежувати кількість запитів, які одна IP могла зробити, атаки з одної машини перестали масштабуватися. У атакуючих були й інші причини розширити охоплення — передусім груба пропускна здатність та видалення єдиної точки відмови, але обмеження частоти дало їм ще одну.

DoS змінився на DDoS (розподілена відмова в обслуговуванні); великі ранні атаки, такі як Panix у 1996 році та атаки лютого 2000 року на Yahoo та eBay, були спричинені переважно пропускною здатністю та ботнетами. Перебір облікових даних, коли атакуючі перевіряють украдені комбінації електронної пошти/пароля на високовартісних сайтах, також більше не можна було запускати у масштабі з однієї машини, і це ніколи не припинялося: Akamai все ще нараховує десятки мільярдів спроб на місяць.

Хто ще потрапив під вогонь

Це частина історії, яку знають більшість людей. Але менш часто обговорюється, хто ще потрапив під вогонь.

Паралельно з усім цим стрімко розвивалася цілком легітимна індустрія. Компаніям було потрібно:

Стежити за цінами конкурентів на тисячах сайтів електронної комерції
Перевіряти, що оголошення правильно відображаються в різних географічних регіонах
Відстежувати рейтинги SEO за мільйонами ключових слів
Збирати загальнодоступні дані для розуміння тенденцій споживачів
Отримувати ціни на авіаквитки та готелі в режимі реального часу
Сканувати контрафактні товари та порушення прав на торгові марки

Жодна з цих дій не є атакою. Це бізнес, який видобуває загальнодоступні дані у масштабі для цілей, від яких сайти, про які йде мова, часто отримують користь.

Проблема полягає в тому, що захисні механізми, які розгортають веб-сайти, не розрізняють між зловмисним атакуючим та компанією з моніторингу цін. Обидва виглядають як «одна IP, яка робить багато запитів». Captcha, обмеження частоти IP та системи виявлення ботів ставляться до них однаково.

Як тут з'являються проксі

Якщо ваш бізнес залежить від можливості робити великий обсяг запитів, а веб-сайт на другому кінці обмежує частоту за IP, рішення — розподілити ці запити по багатьох IP-адресах. Це вся концепція. Ви не обходите безпеку в зловмисних цілях; ви маршрутизуєте легітимний трафік через достатньо різних IP-адрес, щоб не активувати обмеження, розраховані на зовсім іншу поведінку.

Індустрія проксі існує на цьому перехресті. Вона була необхідна через досягнення кібербезпеки, які допомогли захистити веб-сайти від справжніх атакуючих, але ці самі досягнення також вплинули на легітимних споживачів, дослідників та компанії, які займаються збиранням даних. Індустрія проксі — це те, що робить можливим для цих легітимних операцій продовжити роботу в інтернеті, де кожна IP розглядається як підозріла, доки не доведено інше.

Це чесна історія того, як народилася ця індустрія. Не як інструмент для атакуючих, а як інфраструктура, яка дає змогу легітимній економіці даних продовжити роботу.

Якщо ви хочете зрозуміти, як проксі працюють на технічному рівні, наступна стаття охоплює це повністю.

Опубліковано Алоном Леві, генеральним директором FlashProxy

Про автора: Алон Леві є генеральним директором FlashProxy і має великий досвід роботи з інфраструктурою проксі, архітектурою мереж та масштабними технологіями маршрутизації IP.

Приєднайтеся на LinkedIn · Контакт: [email protected]

Поширені запитання

Чи законно використовувати проксі?

Так. Проксі — це інструменти, і як і будь-який інструмент, їхня законність залежить від того, як їх використовувати. Три речі, які варто розділити.

Кримінальне право: у США збір загальнодоступних даних зазвичай не є порушенням CFAA після Van Buren v. United States (2021) та рішення hiQ v. LinkedIn.
Контрактне право: Умови обслуговування сайту все ще можуть вас зв'язати, і hiQ врешті-решт програла саме в цьому, сплативши LinkedIn судове рішення на суму 500 000 доларів (хоча Meta v. Bright Data пішла іншим шляхом у 2024 році для публічних даних, зібраних без авторизації).
Законодавство про захист даних: якщо ви збираєте персональні дані, GDPR та CCPA застосовуються незалежно від вищевказаного.

Це не юридична консультація.

Хто використовує проксі?

Компанії електронної комерції, фірми в галузі реклами, агрегатори подорожей, дослідники кібербезпеки, платформи SEO та компанії зі штучного інтелекту є серед найпоширеніших користувачів проксі.

Чому веб-сайти блокують проксі?

Веб-сайти блокують проксі, перш за все, щоб запобігти надмірному автоматизованому трафіку, який може перевантажити їхні сервери. Те саме обмеження частоти, яке зупиняє атаки, також ловить легітимні операції збору даних.

Що таке індустрія проксі?

Індустрія проксі забезпечує IP-інфраструктуру, яка дозволяє компаніям маршрутизувати інтернет-трафік через великі пули IP-адрес, що дає їм змогу збирати загальнодоступні дані у масштабі без досягнення обмежень частоти на IP.