O que é um Proxy? Como Funcionam os Proxies e Por Que as Empresas os Usam

No contexto da internet, endereços IP, raspagem de dados e automação online, um proxy, em sua forma mais pura, é um servidor que fica entre você e seu destino e encaminha suas requisições em seu nome. O destino vê o IP do proxy, não o seu.

Esse é o conceito completo. Mas para entender por que você gostaria disso, você precisa entender o problema que os proxies resolvem.

Um Exemplo do Mundo Real

Digamos que você seja um revendedor de carros tentando encontrar carros usados a ótimos preços. Você não tem o tempo ou a mão de obra para pesquisar milhares de anúncios todos os dias em dezenas de sites. A solução natural é construir um software de raspagem, um programa que age como um navegador, exceto que em vez de renderizar os dados em uma interface de usuário, ele alimenta os dados diretamente em sua aplicação.

Um scraper bem construído permite que você mantenha um banco de dados consultável de carros e seus preços, acompanhe quando os anúncios são publicados e detecte quando são removidos. Agora você pode estar à frente de todo o mercado em vez de atualizar abas o dia todo.

O Problema com Requisições Automatizadas

Para se defender contra ataques DDoS, credential stuffing e raspagem agressiva, os sites implementaram mecanismos de detecção que limitam severamente o tráfego automatizado. Eles detectam bots com base em muitos fatores, incluindo fingerprint do navegador, padrões de requisição, sinais comportamentais e TLS fingerprinting (JA3/JA4). Mas um dos fatores principais ainda é o endereço IP de onde as requisições estão vindo.

Quando um site vê um IP fazendo um volume incomum de requisições, normalmente ele o limita pedindo para resolver um captcha ou nega completamente o serviço através de um código de status 429/403. Qualquer um desses vai quebrar o scraper do revendedor de carros, a menos que ele tenha uma forma de distribuir suas requisições entre muitos IPs diferentes.

Como os Proxies Resolvem Isso

Uma vez que os limites de taxa começam a funcionar, a forma mais fácil de contorná-los é rotear o próximo lote de requisições através de um IP diferente, e seu software continua funcionando. Assumindo que você também está rotacionando seus outros sinais de identificação (fingerprint do navegador, cookies, perfil TLS, etc.), o site vê o novo IP como um usuário novo sem histórico. Os limites de taxa tendem a ser delimitados por IP, então um IP novo normalmente significa um orçamento novo.

De Onde Vêm Todos Esses IPs?

Existem várias fontes, cobertas em mais detalhes em Que Tipos de Proxies Existem?, mas o modelo mais simples é o aluguel de IPs. Existe um mercado inteiro para espaço de endereço IPv4 não utilizado. Empresas que possuem blocos de IP mas não os estão usando podem alugá-los para empresas que precisam deles.

IPXO é uma das maiores plataformas construídas especificamente para aluguel de IPv4; para vendas e transferências diretas, IPv4.Global (Hilco) é a mais estabelecida por volume. Provedores de proxy como FlashProxy alugam pools de IPs em contratos mensais e depois vendem acesso a esses IPs para seus usuários.

Na prática, o revendedor de carros conecta o endpoint de proxy do FlashProxy em seu scraper. Toda vez que seu software atinge um limite de taxa em um site alvo, ele muda para um IP diferente do pool. O alvo vê o que parece ser milhares de usuários diferentes navegando anúncios, em vez de uma máquina martelando o site. O revendedor de carros obtém seus dados, o site não fica sobrecarregado e o sistema funciona como deveria.

Essa é a premissa inteira de um proxy.

Publicado por Alon Levi, CEO na FlashProxy

Sobre o autor: Alon Levi é o CEO da FlashProxy e tem ampla experiência em infraestrutura de proxies, arquitetura de rede e tecnologias de roteamento IP em larga escala.  

Conecte-se no LinkedIn  ·  Contato: [email protected]

Perguntas Frequentes

Para que é usado um proxy?

Proxies são mais comumente usados para raspagem de web, monitoramento de preços, verificação de anúncios, rastreamento de classificação de SEO e contorno de restrições geográficas em dados disponíveis publicamente.

Um proxy é a mesma coisa que uma VPN?

Não. Uma VPN criptografa todo o tráfego de seu dispositivo e o roteia através de um túnel. Um proxy encaminha suas requisições através de um IP diferente, esse tráfego ainda pode ser criptografado de ponta a ponta (uma requisição HTTPS permanece criptografada independentemente de passar por um proxy ou não), mas o proxy em si não cria um túnel criptografado em nível de dispositivo. Eles servem a propósitos diferentes.

O que é rotação de IP?

Rotação de IP é a prática de alternar entre diferentes IPs de proxy nas requisições. Ela impede que um único IP dispare limites de taxa em um site alvo, mantendo fluxos de trabalho automatizados funcionando sem problemas.

Os proxies escondem sua identidade?

Proxies mascaram seu endereço IP real do servidor de destino, mas não fornecem anonimato total. Outros sinais, como fingerprints de navegador, cookies e perfis TLS, ainda podem identificá-lo sem precauções adicionais.

Fontes e Referências

• IETF RFC 6585, Códigos de Status HTTP Adicionais (429 Too Many Requests): https://datatracker.ietf.org/doc/html/rfc6585

• MDN Web Docs, 429 Too Many Requests: https://developer.mozilla.org/en-US/docs/Web/HTTP/Status/429

• Cloudflare, TLS fingerprinting JA3/JA4: https://developers.cloudflare.com/bots/additional-configurations/ja3-ja4-fingerprint/

• IPXO, Mercado de aluguel IPv4: https://www.ipxo.com/

• IPv4.Global (Hilco Global): https://www.hilcobrands.com/companies/ipv4/  Afirmação de volume de transações relatada pelo fornecedor.