O que é um proxy? Como funciona, tipos e usos

O que é um proxy?

Um proxy é um intermediário que seu software, script ou bot usa para alcançar sites. Seu software se conecta ao proxy, o proxy contata o site e depois traz a resposta de volta.

Por trás de um proxy há um computador ou outro dispositivo conectado à internet, executando um software que repassa dados entre os dois lados. Esse dispositivo costuma ser chamado de servidor proxy. O proxy alcança sites usando um endereço IP ao qual você ganha acesso ao comprar o serviço.

Por que seu software pode precisar de um endereço IP diferente

Sua conexão com a internet tem um endereço — um endereço IP. Um site o vê quando seu bot se conecta diretamente. Quando o bot usa um proxy, o site recebe a conexão do endereço IP do proxy.

Um site pode usar um endereço IP para estimar o país de um visitante ou limitar o número de solicitações de um endereço. Por isso, o IP que seu software usa pode afetar o trabalho dele com aquele site.

Por exemplo, vários bots executados em um computador normalmente acessam a internet pelo mesmo IP. Se cada um precisar de um endereço separado, os proxies podem oferecer essa organização. Outra tarefa pode precisar de um endereço associado a um país específico ou da possibilidade de mudar de IP durante o trabalho. Esses requisitos ajudam a determinar quais proxies escolher.

O que você recebe ao comprar proxies

Comprar proxies dá a você acesso a um ou mais endereços IP para seu software. Quando seu bot se conecta pelo serviço, os sites veem esses endereços em vez do IP da sua conexão habitual com a internet. A empresa que fornece esse acesso e mantém o serviço funcionando é chamada de provedor de proxies.

O provedor fornece um endereço de proxy e uma porta. Por exemplo, 192.0.2.40:8080 contém o endereço 192.0.2.40 e a porta 8080. Uma porta é um número que identifica a qual serviço se conectar naquele endereço — neste caso, o proxy.

O acesso também pode exigir um nome de usuário e uma senha. O provedor os fornece junto com o endereço e a porta, e você os insere nas configurações do software. A ilustração abaixo mostra a qual campo pertence cada valor.

Depois de configurado, o bot pode alcançar sites pelo proxy. Outros aplicativos do computador continuam usando suas próprias configurações de conexão. Por exemplo, o bot pode usar um proxy enquanto seu navegador usa a conexão habitual com a internet. Comprar acesso a um proxy não muda nada por si só: é preciso configurá-lo no software que vai usá-lo.

Como funciona uma conexão por proxy?

Para ver o que muda após a configuração, compare uma conexão com um site com e sem proxy. Isso vale tanto para um navegador quanto para um bot: cada um envia solicitações a um site e recebe respostas. Um navegador mostra uma página a uma pessoa; um bot processa os dados retornados conforme suas instruções. Qualquer um pode ilustrar a rota da conexão. A seguir, usaremos um navegador.

Abrindo uma página sem proxy

Você insere o endereço de um site no navegador. O navegador se conecta ao site e pede que ele envie uma página. Isso é uma solicitação. O site envia uma resposta, e o navegador exibe a página recebida.

O site vê o endereço IP da sua conexão com a internet. Se um bot no mesmo computador contatar o site sem proxy, normalmente usará esse mesmo IP.

Adicionando um proxy

Agora você insere um proxy nas configurações do navegador e abre o site novamente. O navegador se conecta ao proxy e informa de qual site precisa. O proxy contata o site, recebe a resposta e a repassa ao navegador. O site vê o IP do proxy em vez do IP da sua conexão.

O mesmo acontece com um bot. Ele continua fazendo seu trabalho, como publicar uma postagem preparada ou verificar se há novas mensagens. O proxy transporta suas solicitações e as respostas do site. O bot continua determinando quais ações executar e o que fazer com os dados retornados.

Por que um endereço de conexão pode dar acesso a vários IPs

Um provedor oferece muitos IPs, mas fornece apenas um endereço para você inserir no bot. Isso não necessariamente limita você a um IP: o endereço nas configurações pode levar a um ponto de entrada do serviço.

Por exemplo, o provedor fornece proxy.example:8080. Esse endereço de conexão está escrito como um nome, embora também possa ser fornecido como endereço IP numérico. Você o insere nas configurações do bot junto com a porta. Esse ponto de entrada no serviço de proxy é chamado de gateway.

O bot se conecta ao gateway, e o serviço contata os sites usando outros IPs aos quais você tem acesso. O diagrama mostra dois possíveis endereços de saída por trás de um gateway: IP A e IP B.

Explicaremos adiante como um IP permanece o mesmo ou muda.

Por que usar proxies?

As pessoas usam proxies para ocultar seu endereço IP real de um site, usar um IP de um país específico ou dar a um bot um IP para usar durante todo o trabalho.

Essas opções são possíveis porque o proxy se conecta ao site em seu nome. O site vê o IP do proxy em vez do seu e usa esse endereço para identificar o país da conexão. Qual IP cada bot recebe e por quanto tempo ele o usa depende dos proxies e das configurações escolhidos. Com a configuração certa, você pode fazer as três coisas ao mesmo tempo.

Coletar dados de sites

Suponha que seu bot acompanhe preços em uma loja on-line e verifique milhares de produtos. Um visitante comum não abriria tantas páginas em pouco tempo. Se todas as solicitações vierem de um IP, o site poderá detectar a coleta automatizada e bloquear aquele endereço. O bot deixa de conseguir obter os dados.

Os proxies permitem distribuir as solicitações do bot entre IPs diferentes: ele verifica alguns produtos por um endereço, alguns por outro, e assim por diante. Cada IP envia menos solicitações. Isso ajuda a contornar o limite de solicitações de um único endereço imposto pelo site e a continuar coletando dados.

Acessar sites como visitante de outro país

A mesma loja on-line pode mostrar produtos, preços e opções de entrega diferentes para visitantes de países diferentes. Alguns sites também bloqueiam o acesso de IPs do seu país.

Com um proxy no país de que você precisa, o site vê um IP local em vez do seu. Isso permite verificar o que a loja oferece aos compradores locais ou contornar uma restrição de acesso por país.

Manter um endereço estável para trabalho contínuo

Alguns sites permitem conexões apenas de endereços IP públicos adicionados a uma lista de permissões. Um processo de longa duração também pode precisar continuar usando o mesmo endereço em muitas solicitações. Um proxy com um IP atribuído estável pode fornecer esse endereço mesmo quando a conexão do próprio cliente com a internet muda, desde que o cliente ainda consiga acessar o proxy.

Manter o mesmo IP é útil aqui. Substituir o endereço a cada solicitação iria contra o objetivo. O estado de login e os dados do próprio programa ainda precisam ser mantidos; manter um IP, por si só, não preserva uma sessão de conta no site.

Dar endereços separados a processos separados

Se você executar vários bots ou tarefas separadas, poderá atribuir um IP de proxy diferente a cada um. Isso separa as solicitações deles aos sites e facilita ver qual endereço cada tarefa usa.

Tarefas diferentes dependem de características diferentes dos proxies. A observação regional depende da localização; o trabalho contínuo depende da estabilidade do endereço; cargas de trabalho separadas dependem de como os endereços são atribuídos e compartilhados. O restante do guia explica essas propriedades para que palavras como “residencial”, “privado” e “rotativo” possam ser lidas como fatos distintos sobre um serviço.

De onde vêm os endereços IP dos proxies?

Ao escolher proxies, você encontrará quatro tipos: datacenter, ISP, residencial e móvel. Eles diferem quanto à origem de seus endereços IP e à conexão que seu bot usa para alcançar um site.

Os proxies de datacenter funcionam em servidores de datacenters e usam endereços IP de empresas de hospedagem. O site vê uma conexão de uma rede de servidores.

Os proxies ISP também funcionam em servidores de datacenters, mas usam endereços IP de provedores de internet residencial. O equipamento é de servidor, enquanto o endereço pertence a uma rede que atende usuários comuns da internet.

Os proxies residenciais enviam solicitações pelas conexões domésticas de internet dos usuários. Seu bot alcança o site por um dispositivo em uma rede doméstica e usa o endereço IP daquela conexão.

Os proxies móveis enviam solicitações pela internet móvel, por exemplo, por um smartphone ou modem com um cartão SIM. O site vê um endereço IP de uma operadora móvel.

Isso importa na escolha de um proxy porque os sites podem tratar IPs de datacenter, residenciais e móveis de maneiras diferentes. Se um site restringir conexões de datacenters, endereços de provedores de internet residencial ou operadoras móveis poderão ajudar você a trabalhar com ele.

Para uma comparação mais detalhada dos quatro tipos, seus custos e funcionamento, consulte Tipos de redes de proxies.

Quem pode usar o mesmo IP de proxy?

Ao comprar proxies, você precisa saber se será a única pessoa a usar um IP ou se outros clientes o receberão ao mesmo tempo. Essa é a diferença entre proxies compartilhados e dedicados.

Os proxies compartilhados permitem que vários clientes do provedor usem um IP. Seus bots e os softwares de outros clientes alcançam sites a partir do mesmo endereço. Se alguém enviar solicitações demais e um site bloquear o IP compartilhado, seu bot também não conseguirá acessar aquele site por esse endereço.

Os proxies privados, ou dedicados, dão a você uso exclusivo de um IP pelo período pago. Os outros clientes do provedor não o usam; por isso, a atividade deles não consome a franquia de solicitações do site para seu endereço.

Os proxies compartilhados costumam custar menos. Os proxies dedicados são úteis quando você quer usar um IP sozinho, sem depender do que outros clientes fazem por aquele endereço. Para mais ajuda na escolha, consulte Proxies compartilhados e dedicados.

Como um endereço IP permanece o mesmo ou muda?

Algumas tarefas precisam do mesmo IP por semanas ou meses. Outras precisam de mudanças frequentes de endereço. É por isso que os proxies são divididos em estáticos e rotativos.

Um proxy estático permite usar um IP por semanas, meses ou mais tempo. Ele atende a tarefas em que um bot ou uma conta precisa de um endereço estável por um período longo.

Um proxy rotativo muda o IP enquanto seu software é executado. Por exemplo, cada nova solicitação pode usar um endereço diferente. Outra opção é mudar o IP em intervalos definidos, como a cada 10, 20 ou 30 minutos. O bot continua trabalhando, enquanto o site recebe suas solicitações de IPs diferentes.

Para mudar os endereços, o serviço usa um pool de endereços IP: um conjunto de endereços disponíveis para ele. Na hora de mudar, o serviço seleciona um IP desse conjunto.

Como manter temporariamente um IP com um proxy rotativo

Às vezes, um bot precisa concluir várias ações seguidas usando um IP: por exemplo, entrar em uma conta, abrir a página necessária e enviar um formulário.

Uma sessão persistente com manutenção do IP (sticky session) mantém temporariamente um IP para essas ações. Dependendo do serviço, pode ser possível manter um endereço por 10, 20 ou 30 minutos, por exemplo. O provedor define as durações disponíveis e as condições para manter o IP.

Isso permite que um proxy rotativo mude os endereços entre tarefas e mantenha um IP durante cada tarefa. Para mais informações sobre configuração, consulte Proxies estáticos, rotação e sessões persistentes.

Como a localização de um proxy é determinada?

Os sites costumam estimar a localização a partir de bancos de dados que associam faixas de IP a países, regiões, cidades e redes. Isso é a geolocalização por IP. É uma interpretação de um endereço, e não uma medição direta da posição física do visitante. Bancos de dados diferentes podem retornar resultados distintos para o mesmo IP, e seus registros podem mudar ao longo do tempo.

Há vários lugares envolvidos em uma conexão por proxy: onde seu dispositivo está, onde o gateway é hospedado, de onde o tráfego chega ao destino e onde o banco de dados do destino situa aquele IP. Esses lugares não precisam ser todos iguais. Um gateway próximo pode oferecer acesso a endereços associados a outro país. Sua proximidade pode afetar a primeira parte da conexão sem determinar a localização que o site vê.

Um provedor pode permitir escolher um país, uma cidade ou uma rede específica. Os rótulos de cidade também são estimativas; portanto, o nome em um painel de controle não é garantia de como todos os sites classificarão o IP.

Os países, as cidades e as redes que você pode escolher dependem do serviço. Um pool com endereços de vários países não necessariamente permite que um cliente escolha um país. Da mesma forma, um seletor de país não implica que todas as cidades ou operadoras dentro daquele país estejam disponíveis. Para trabalho regional, a propriedade relevante é a localização que o destino associa ao endereço real em uso.

O idioma, as preferências salvas, as configurações da conta e as permissões de localização do dispositivo ainda podem influenciar o que a página mostra. A localização do IP fornece uma parte dessa decisão. Geolocalização dos proxies: país, cidade e rede explica como esses sinais e opções de localização se relacionam.

Como um programa se comunica com um proxy?

Um protocolo é um conjunto de regras que os dois lados usam para se comunicar. O programa precisa saber como pedir ao proxy que alcance um site, e o proxy precisa entender essa solicitação. Um endereço e uma porta identificam onde se conectar; o protocolo determina o que o programa diz depois de chegar lá.

Com um proxy HTTP, o programa usa as regras de proxy HTTP. Para uma solicitação HTTP comum, sem criptografia, o proxy pode receber uma solicitação que identifica o destino e encaminhá-la. Para um site HTTPS, um método comum é a solicitação HTTP CONNECT: o programa pede ao proxy que abra um túnel até o destino e depois transporta por esse túnel a troca criptografada entre o navegador e o site.

O rótulo proxy HTTPS precisa de contexto. Ele pode significar que a própria conexão do programa com o proxy é protegida por TLS, o protocolo de criptografia usado pelo HTTPS. Algumas ofertas usam o rótulo para descrever suporte a destinos HTTPS por CONNECT. Essas são capacidades separadas. A criptografia entre o navegador e o site e a criptografia entre o programa e o proxy protegem partes diferentes da rota.

O SOCKS5 oferece uma forma mais geral de um programa pedir a um intermediário que se comunique com um destino. Ele pode identificar um destino por endereço IP ou nome de domínio. O padrão inclui conexões TCP e um mecanismo para tráfego UDP, mas um provedor ou programa específico pode oferecer apenas parte dessas capacidades. O SOCKS5, por si só, não criptografa o conteúdo transferido; uma aplicação pode usar sua própria criptografia pela conexão.

O protocolo do destino e o protocolo do proxy não precisam ter o mesmo nome. Um navegador pode alcançar um site HTTPS por um túnel de proxy HTTP ou um serviço SOCKS5 adequado. O que importa é se o programa e o proxy oferecem suporte à organização necessária.

O protocolo não determina o tipo de rede nem se o IP muda. Por exemplo, um proxy ISP pode oferecer SOCKS5 e manter um endereço fixo, enquanto um proxy residencial pode oferecer HTTP e mudar os endereços. As combinações inversas também são possíveis: proxies ISP com HTTP e rotação, e proxies residenciais com SOCKS5 e IP fixo. O tipo de rede, o protocolo e a rotação de IP podem ser combinados de formas diferentes.

Protocolos de proxy HTTP, HTTPS e SOCKS explica as regras de comunicação e o que elas significam para diferentes aplicações.

Como um proxy controla o acesso?

Um serviço pago precisa de uma forma de distinguir os clientes que podem usá-lo dos demais usuários da internet. A autenticação permite que o serviço de proxy verifique se uma conexão é permitida, usando as credenciais fornecidas ou o endereço IP de origem.

Com nome de usuário e senha, o programa fornece credenciais ao se conectar. O provedor pode usá-las para identificar o cliente, aplicar os limites de um plano e, às vezes, selecionar uma localização ou sessão. A senha do proxy pertence ao serviço de proxy. Ela é separada de uma senha usada para entrar em um site por aquela conexão.

Com uma lista de IPs permitidos, o provedor aceita conexões de endereços públicos de origem aprovados antecipadamente. Ele verifica o endereço que sua conexão apresenta ao proxy. Esse endereço costuma ser diferente de um endereço privado usado dentro de uma rede doméstica ou de escritório. Se o endereço público de origem mudar, uma autorização baseada no endereço antigo poderá deixar de corresponder. Se vários dispositivos compartilharem um endereço público aprovado, uma regra baseada apenas no endereço não distinguirá esses dispositivos individualmente.

Alguns serviços autenticam você com nome de usuário e senha. Outros permitem conexões de endereços IP adicionados a uma lista de permissões. Alguns exigem ambos: insira o nome de usuário e a senha no software e adicione seu IP público à lista de IPs permitidos no painel de controle do provedor.

Essa verificação protege o acesso ao proxy. Ela não torna dedicado um IP compartilhado, não oculta seu login de conta do site nem criptografa dados por si só. Para mais informações sobre a configuração dos dois métodos, consulte Métodos de autenticação de proxies.

Qual é a diferença entre proxies IPv4 e IPv6?

Um proxy IPv4 contata um site a partir de um endereço IPv4, como 192.0.2.40. O site vê esse endereço. Ele é escrito como quatro números separados por pontos.

Um proxy IPv6 contata um site a partir de um endereço IPv6, como 2001:db8::40. Aqui, o site vê um formato de endereço diferente: ele usa algarismos e letras de a a f, com grupos de caracteres separados por dois-pontos.

A compatibilidade com seu site de destino importa na escolha. Alguns sites aceitam apenas conexões IPv4; outros aceitam IPv4 e IPv6. Para alcançar um site a partir de um endereço IPv6, o site deve oferecer suporte a IPv6.

Portanto, os proxies IPv6 não podem substituir automaticamente os proxies IPv4 em todos os sites. Para mais informações sobre escolha e configuração, consulte Proxies IPv4 e IPv6.

Por que proxies elite não garantem acesso a um site

Uma descrição de serviço ou uma ferramenta de verificação de proxies pode mostrar Elite / Alto anonimato. Isso significa que o proxy não adiciona cabeçalhos de solicitação que revelem seu endereço IP original ou identifiquem o uso de um proxy. O rótulo descreve uma propriedade do proxy, e não sua qualidade geral.

O site ainda vê o IP do proxy. Se o endereço aparecer em um banco de dados de proxies conhecidos ou tiver uma reputação ruim, o site poderá rejeitar suas solicitações. As configurações do navegador e o comportamento do software também podem afetar a decisão do site. Portanto, elite não significa que um proxy não possa ser detectado e não garante acesso.

Níveis de anonimato dos proxies explica elite e os outros rótulos dessa classificação mais antiga, além do que as ferramentas de verificação de anonimato realmente testam.

Seu plano oferece capacidade suficiente para sua tarefa?

Os clientes querem fazer mais trabalho por menos dinheiro. Os provedores pagam por servidores, endereços IP, conexões de rede e manutenção; precisam cobrir seus custos e obter lucro. Por isso, cada plano define quanta capacidade o provedor oferece por seu preço.

Ao escolher proxies, compare essas condições com a carga de trabalho do seu software. Mesmo um pacote grande de IPs pode ser inadequado: há endereços suficientes, mas o programa recebe erros, funciona devagar demais ou esgota o tráfego pago antes de concluir o trabalho.

Verifique se cada limite se aplica a um IP, ao pacote inteiro ou à conta. Se um limite se aplicar à conta inteira, comprar mais IPs não o aumentará por si só. E “tráfego ilimitado” não significa velocidade ilimitada nem qualquer número de conexões simultâneas.

Além dos limites, o tempo de resposta importa: quanto tempo seu software espera pelo início de uma resposta. Esperas longas tornam lentas até as ações pequenas. Se uma resposta não chegar a tempo, o programa poderá encerrar a solicitação com um erro de tempo limite, indicando que o tempo de espera permitido expirou. Um ping apenas até o proxy não mostra quanto tempo levará para obter uma resposta do site de destino.

Os provedores podem restringir portas de destino, sites, aplicações ou tipos de atividade. Uma restrição de porta pode impedir que um serviço específico seja alcançado mesmo quando o proxy está disponível e a autenticação do cliente funciona. Essas restrições pertencem ao serviço de proxy. Separadamente, um destino pode rejeitar ou limitar solicitações recebidas de acordo com suas próprias regras.

Limites de uso dos proxies explica como esses limites afetam o trabalho do seu software.

Pelo que o cliente paga?

Os custos dos proxies podem depender do número de endereços IP, do volume de dados transferidos ou do número de solicitações. Portanto, a mesma carga de trabalho de um software pode ser cobrada de formas diferentes em planos diferentes.

Ao pagar por IP, você compra acesso a um número determinado de endereços IP por um período definido, como 100 IPs por um mês. Esse modelo é comum para listas de proxies atribuídas a um cliente. Durante o período pago, cada nova solicitação não aumenta a cobrança pelos próprios endereços. O plano especifica se o tráfego está incluído e se seu volume é limitado.

Ao pagar por GB, você paga pelo volume de dados transferidos pelo proxy. Uma resposta curta de texto usa pouco tráfego, enquanto imagens, vídeos e arquivos grandes usam muito mais. Quanto mais dados seu software transfere, mais rápido ele consome a franquia paga.

Ao pagar por solicitação, os custos dependem do número de solicitações que o serviço contabiliza na cobrança. Verifique o que ele trata como uma solicitação e se erros e novas tentativas são cobrados. Por exemplo, abrir uma página pode envolver solicitações separadas para imagens e outras partes da página.

O formato de pagamento é uma escolha separada. Uma assinatura oferece um pacote por um período definido, com renovação regular, como 100 IPs ou 50 GB por mês. O pagamento conforme o uso significa pagar à medida que você usa o serviço: por exemplo, o dinheiro é descontado do seu saldo pelo tráfego consumido. Verifique no plano escolhido as regras de vencimento e de acúmulo da franquia não utilizada.

Para comparar ofertas, estime sua carga de trabalho: de quantos endereços precisa, quanto volume de dados será transferido e quantas solicitações seu software fará. Para mais informações, consulte Modelos de preços de proxies.

O que verificar antes de comprar proxies

Antes de pagar, descubra o que acontece se os proxies não atenderem à sua tarefa, se você precisar substituir os endereços ou se seu acesso pago expirar.

É possível testar os proxies primeiro? Verifique se há um período de teste gratuito ou pago, quanto tempo dura e quais proxies você receberá. Um teste permite verificar se eles funcionam com seu software e o site necessário antes de comprar o pacote principal.

É possível obter um reembolso? Verifique quando o provedor reembolsa pagamentos e quanto tempo você tem para pedir. Em especial, descubra se há reembolso quando os proxies funcionam, mas não atendem ao seu site ou aplicação.

É possível substituir os endereços IP? Descubra quando as substituições são permitidas, quanto custam e com que frequência você pode solicitá-las. Por exemplo, é possível substituir um endereço que funciona, mas está bloqueado pelo site de que você precisa?

O que acontece na renovação? Você manterá os mesmos IPs ou receberá outros? Se precisar manter seus endereços, descubra isso antecipadamente. Verifique também se o serviço se renova automaticamente e o que acontece se você não pagar no prazo.

Que ajuda o suporte oferece? Descubra a quem recorrer se os proxies não conectarem ou se o site necessário não abrir por eles. Verifique o que o provedor oferece se o problema não puder ser resolvido.

Leia a página do plano escolhido e os termos do serviço para conhecer as condições específicas. Para mais informações sobre o que observar, consulte Políticas dos provedores de proxies.

Como saber se os proxies atendem à sua tarefa

Os proxies certos dependem do que você precisa fazer. Uma tarefa pode exigir manter o mesmo endereço IP por semanas; outra pode precisar de mudanças frequentes. Um programa pode precisar de apenas algumas conexões, enquanto outro abre milhares. Por isso, um serviço que atende a uma tarefa pode ser inadequado para outra.

Entender as características dos proxies ajuda a ver o que um provedor oferece, quais limites importam para você e o que esclarecer antecipadamente. Testar com seu software e os sites necessários mostrará como o serviço funciona para sua tarefa real.