Qu'est-ce qu'un proxy ? Comment fonctionnent les proxies et pourquoi les entreprises les utilisent
Un proxy est un serveur qui s'intercale entre vous et votre destination. Découvrez comment fonctionnent les proxies et pourquoi les entreprises en dépendent.
Dans le contexte d'internet, des adresses IP, du scraping et de l'automatisation en ligne, un proxy, dans sa forme la plus pure, est un serveur qui s'intercale entre vous et votre destination et transmet vos requêtes en votre nom. La destination voit l'IP du proxy, pas la vôtre.
C'est tout le concept. Mais pour comprendre pourquoi vous en auriez besoin, il faut comprendre le problème que les proxies résolvent.
Un exemple concret
Imaginez que vous êtes un concessionnaire automobile qui cherche des voitures d'occasion à prix intéressants. Vous n'avez ni le temps ni les ressources humaines pour parcourir des milliers d'annonces chaque jour sur des dizaines de sites web. La solution naturelle est de développer un logiciel de scraping, un programme qui se comporte comme un navigateur, sauf qu'au lieu d'afficher les données dans une interface utilisateur, il les injecte directement dans votre application.
Un scraper bien conçu vous permet de maintenir une base de données interrogeable de véhicules et de leurs prix, de suivre la date de publication des annonces et de détecter leur retrait. Vous pouvez ainsi avoir une vision globale de l'ensemble du marché plutôt que de passer vos journées à actualiser des onglets.
Le problème des requêtes automatisées
Pour se défendre contre les attaques DDoS, le credential stuffing et le scraping agressif, les sites web ont mis en place des mécanismes de détection qui limitent sévèrement le trafic automatisé. Ils détectent les bots en se basant sur de nombreux critères, notamment l'empreinte du navigateur, les schémas de requêtes, les signaux comportementaux et le fingerprinting TLS (JA3/JA4). Mais l'un des critères principaux reste l'adresse IP à l'origine des requêtes.
Lorsqu'un site web détecte qu'une IP émet un volume inhabituel de requêtes, il la soumet généralement à une limitation de débit en lui demandant de résoudre un captcha, ou lui refuse totalement l'accès via un code de statut 429/403. L'une ou l'autre de ces réponses mettra hors service le scraper du concessionnaire, à moins qu'il ne dispose d'un moyen de répartir ses requêtes sur de nombreuses adresses IP différentes.
Comment les proxies résolvent ce problème
Dès que les limitations de débit commencent à s'activer, le contournement le plus simple consiste à acheminer le prochain lot de requêtes via une adresse IP différente, et votre logiciel continue de fonctionner. En supposant que vous faites également tourner vos autres signaux d'identification (empreinte du navigateur, cookies, profil TLS, etc.), le site web perçoit la nouvelle IP comme un nouvel utilisateur sans historique. Les limitations de débit étant généralement appliquées par IP, une nouvelle IP signifie en principe un quota renouvelé.
D'où viennent toutes ces adresses IP ?
Il existe plusieurs sources, décrites plus en détail dans Quels types de proxies existe-t-il ?, mais le modèle le plus simple est la location d'adresses IP. Il existe tout un marché dédié aux espaces d'adressage IPv4 inutilisés. Les entreprises qui possèdent des blocs d'adresses IP sans les exploiter peuvent les louer à celles qui en ont besoin.
IPXO est l'une des plus grandes plateformes spécialisées dans la location d'IPv4 ; pour les ventes et transferts directs, IPv4.Global (Hilco) est la référence en termes de volume de transactions. Des fournisseurs de proxies comme FlashProxy louent des pools d'adresses IP sous contrats mensuels, puis revendent l'accès à ces IP à leurs utilisateurs.
En pratique, le concessionnaire intègre l'endpoint proxy de FlashProxy dans son scraper. Chaque fois que son logiciel atteint une limitation de débit sur un site cible, il bascule vers une adresse IP différente du pool. Le site cible perçoit ce qui ressemble à des milliers d'utilisateurs distincts consultant des annonces, plutôt qu'une seule machine martelant le site. Le concessionnaire obtient ses données, le site web n'est pas surchargé, et le système fonctionne comme prévu.
C'est tout le principe d'un proxy.
Publié par Alon Levi, PDG de FlashProxy
À propos de l'auteur : Alon Levi est le PDG de FlashProxy et possède une solide expérience en infrastructure proxy, en architecture réseau et en technologies de routage IP à grande échelle.
Se connecter sur LinkedIn · Contact : [email protected]
Foire aux questions
À quoi sert un proxy ?
Les proxies sont principalement utilisés pour le scraping web, la surveillance des prix, la vérification publicitaire, le suivi du positionnement SEO et le contournement des restrictions géographiques sur les données publiquement accessibles.
Un proxy est-il la même chose qu'un VPN ?
Non. Un VPN chiffre l'intégralité du trafic de votre appareil et le fait transiter par un tunnel. Un proxy achemine vos requêtes via une adresse IP différente ; ce trafic peut toujours être chiffré de bout en bout (une requête HTTPS reste chiffrée qu'elle passe ou non par un proxy), mais le proxy lui-même ne crée pas de tunnel chiffré à l'échelle de l'appareil. Ils répondent à des besoins différents.
Qu'est-ce que la rotation d'adresses IP ?
La rotation d'adresses IP consiste à alterner entre différentes IP de proxies au fil des requêtes. Elle empêche qu'une seule IP déclenche les limitations de débit sur un site cible, maintenant ainsi le bon fonctionnement des workflows automatisés.
Les proxies masquent-ils votre identité ?
Les proxies masquent votre adresse IP réelle auprès du serveur de destination, mais ils ne garantissent pas un anonymat complet. D'autres signaux, tels que les empreintes de navigateur, les cookies et les profils TLS, peuvent toujours vous identifier en l'absence de précautions supplémentaires.
Sources & références
IETF RFC 6585, Additional HTTP Status Codes (429 Too Many Requests) : https://datatracker.ietf.org/doc/html/rfc6585
MDN Web Docs, 429 Too Many Requests : https://developer.mozilla.org/en-US/docs/Web/HTTP/Status/429
Cloudflare, JA3/JA4 TLS fingerprinting : https://developers.cloudflare.com/bots/additional-configurations/ja3-ja4-fingerprint/
IPXO, marché de location d'IPv4 : https://www.ipxo.com/
IPv4.Global (Hilco Global) : https://www.hilcobrands.com/companies/ipv4/ Donnée déclarée par le fournisseur concernant son volume de transactions.
