Proxies de datacenter
Proxies de datacenter enviam as solicitações do seu aplicativo por servidores com endereços IP de redes de hospedagem ou de nuvem. O site recebe uma conexão do IP do proxy. Seu navegador, coletor de dados ou outro aplicativo continua funcionando no seu próprio computador ou servidor.
Datacenter é um dos principais tipos de rede de proxy. O termo descreve a origem do IP. Esses proxies costumam ser uma opção econômica quando você precisa de muitos endereços ou transfere grande volume de dados, desde que os sites com os quais trabalha aceitem IPs de hospedagem.
De onde vêm os IPs de datacenter
Um datacenter abriga servidores e equipamentos de rede, com energia, refrigeração e conexão à internet. Um provedor de proxies pode ser proprietário desses equipamentos ou alugá-los de uma empresa de hospedagem. Ele executa software de proxy nos servidores e usa endereços IP públicos de redes de hospedagem ou de nuvem para se conectar aos sites.
Um servidor pode atender a muitos IPs de proxy. Cada endereço é diferente, mas os endereços podem compartilhar o mesmo processador e a mesma conexão à internet. Isso distribui o custo do equipamento entre vários IPs. Também significa que comprar mais endereços não necessariamente fornece mais largura de banda nem permite mais conexões simultâneas.
O tipo depende da rede do IP, e não apenas do prédio onde está o servidor. Um proxy ISP pode funcionar em um servidor no mesmo datacenter e usar um IP associado a um provedor de acesso à internet. Proxies residenciais e móveis usam, respectivamente, conexões domésticas de internet e conexões celulares. Um IP de datacenter representa uma rede de hospedagem.
Como a conexão funciona
Quando seu aplicativo carrega uma página por um proxy, acontecem três coisas:
- O aplicativo se conecta ao proxy usando o endereço, a porta e os dados de acesso fornecidos pelo serviço.
- O proxy se conecta ao site e encaminha a solicitação. O site vê o IP usado nessa conexão, frequentemente chamado de IP de saída.
- O site envia a resposta ao proxy, que a devolve ao aplicativo.
O aplicativo continua decidindo quais páginas solicitar e como processá-las. O proxy transporta as solicitações e as respostas. Ele não faz a coleta de dados nem cria a carga de teste por você.
Um serviço pode fornecer uma lista de endereços de proxy ou um gateway que seleciona um IP de um pool. Com um gateway, o endereço informado nas configurações pode ser diferente do IP visto pelo site.
Vantagens dos proxies de datacenter
Capacidade para muitas solicitações
Servidores de hospedagem e suas conexões de rede podem atender a muitas conexões e grandes transferências. O tráfego não precisa passar pela conexão doméstica de um participante nem pelo enlace de rádio de um dispositivo móvel. Isso torna os proxies de datacenter úteis para tarefas que buscam muitas páginas ou baixam grandes conjuntos de dados.
Largura de banda e tempo de resposta são coisas diferentes. Um servidor pode transferir muitos dados, mas cada solicitação demorar mais por causa de uma rota longa ou de uma resposta lenta do site. Para sua tarefa, interessa o tempo necessário para concluir o trabalho, além dos limites de largura de banda e de conexões do serviço.
Menor custo para uma lista grande de IPs
Vários IPs de proxy podem usar o mesmo servidor, e o provedor não precisa de uma conexão doméstica ou de um chip SIM separado para cada endereço. Isso costuma tornar grandes listas de datacenter mais baratas do que o acesso residencial ou móvel. Obter e manter endereços IP ainda custa dinheiro; compartilhar o equipamento reduz apenas parte dos custos do provedor.
Isso pode ser útil para coletas regulares ou grandes downloads, nos quais o custo do trabalho repetido se acumula. Compare o custo das tarefas concluídas com sucesso: um endereço barato tem pouco valor se as páginas necessárias não carregam por ele.
Adequados para trabalho programado
Servidores de proxy normalmente funcionam de forma contínua. Uma tarefa programada não depende de um participante doméstico manter um dispositivo conectado. Com um serviço estático, o aplicativo também pode voltar aos mesmos IPs nas próximas execuções.
Isso ajuda na coleta diária, no monitoramento e em verificações repetidas. A disponibilidade ainda depende dos equipamentos e da rede do provedor: manutenção, falhas ou sobrecarga podem interromper a conexão.
Limitações dos proxies de datacenter
Sites podem reconhecer IPs de hospedagem
Sites podem usar bancos de classificação de IPs e registros de rede para identificar endereços associados a provedores de hospedagem. Não precisam descobrir seu próprio IP para isso. Um site pode aceitar a conexão, exibir um CAPTCHA ou recusar a solicitação.
Uma restrição pode atingir um IP, uma faixa de endereços ou toda uma rede identificada pelo número de sistema autônomo (ASN). Neste último caso, trocar para outro IP da mesma rede pode produzir o mesmo resultado. Uma lista com muitos endereços não necessariamente contém muitas redes diferentes.
O uso anterior e compartilhado pode afetar um IP
Um endereço pode ter má reputação por causa de atividades anteriores. Atribuí-lo a um novo cliente não apaga esse histórico, e outros clientes ainda podem usar o mesmo IP em um serviço compartilhado. Isso é diferente de um site rejeitar todos os IPs de hospedagem: mesmo um endereço sem histórico conhecido de abuso pode ser atingido por essa regra.
Sites também podem avaliar cookies, contas, sinais do navegador e padrões de solicitação. Trocar o IP do proxy mantém muitos desses sinais. Por isso, o motivo da recusa importa mais do que simplesmente a frequência de rotação dos endereços.
Um pool grande não significa disponibilidade em todas as localizações
Os países e as cidades disponíveis dependem das redes e das faixas de IP do provedor. Milhares de endereços em poucos países não ajudam se sua tarefa exige outra localização. Um IP de hospedagem no país necessário também não representa uma residência local nem um assinante móvel.
Para verificar uma localização, importa como o site identifica o IP. O banco de dados de geolocalização dele pode divergir do país informado pelo provedor ou da localização física do servidor.
Para que servem os proxies de datacenter
Os exemplos a seguir apresentam motivos diferentes para usar IPs de proxy: separar tarefas de coleta, manter um endereço estável ou testar a partir de várias origens. A infraestrutura de datacenter torna esses endereços práticos para trabalho repetido e grandes transferências.
Rastreamento de catálogos e arquivos públicos
Um rastreador pode coletar registros de empresas, páginas de arquivos ou documentação de muitas fontes. Diferentes IPs de proxy podem ser atribuídos a processos de trabalho separados. Isso é útil quando uma fonte contabiliza solicitações ou conexões por IP: processos que usam o mesmo endereço compartilhariam esse limite.
Proxies de datacenter tornam uma lista grande de endereços relativamente acessível e podem transportar transferências contínuas. O rastreador continua gerenciando a fila, interpretando o conteúdo e definindo a frequência das solicitações para cada site. Adicionar IPs não aumenta a capacidade do site rastreado.
Novas verificações de preços e estoque
Um monitor de preços volta a uma lista conhecida de produtos ao longo do dia. Endereços de proxy separados podem ser atribuídos a lojas ou grupos de produtos, e um endereço estático pode ser reutilizado nas verificações. Isso fornece ao processo de coleta uma origem de rede constante, em vez de vinculá-lo à conexão de internet que o computador do monitor estiver usando.
Custos operacionais baixos importam porque as mesmas páginas são buscadas repetidamente. Vale testar proxies de datacenter quando você precisa de atualizações frequentes em um catálogo grande. Para um monitor pequeno que funciona por conexão direta, um proxy pode não acrescentar uma capacidade útil.
Coleta de dados de API por um IP permitido
Algumas APIs de dados aceitam solicitações apenas de endereços de origem permitidos. Um processo pode se conectar por um proxy estático de datacenter cujo IP foi adicionado a essa lista. Se o processo mudar de servidor ou de rede, a API continuará recebendo a conexão do mesmo IP de proxy.
Isso é útil para exportações regulares em JSON ou XML e grandes fluxos de dados. O proxy fornece o endereço de rede e transporta a transferência; o aplicativo continua fornecendo a chave da API e tratando as respostas. Uma cota vinculada à chave ou à conta permanece a mesma quando são adicionados IPs de proxy.
Auditoria de um site grande a partir de um endereço externo
Um rastreador de SEO verifica seu site ou o de um cliente em busca de links quebrados, cadeias de redirecionamento, títulos duplicados e tags canonical incorretas. Comparar o rastreamento com um sitemap também pode revelar páginas sem links internos. Um proxy estático fornece à auditoria um endereço externo conhecido, que o proprietário do site pode permitir nos controles de acesso. O mesmo endereço pode ser reutilizado quando a auditoria é executada em outra máquina.
A capacidade de datacenter é útil para um rastreamento grande, mas a frequência das solicitações ainda deve respeitar o que o site suporta. O rastreador encontra os erros; o proxy fornece a conexão. Depois de uma migração, isso também permite repetir o rastreamento a partir do mesmo endereço permitido.
Teste do comportamento do seu próprio site sob carga
Um teste de carga combinado com o responsável pode enviar solicitações por vários IPs de proxy para verificar visitas simultâneas, tráfego contínuo de API ou um aumento repentino de solicitações. Endereços de origem diferentes também permitem testar como seu próprio serviço aplica limites de conexões e de solicitações por IP.
Proxies de datacenter fornecem vários endereços externos a um custo administrável. O programa de teste cria a carga. Meça também a largura de banda e os limites de conexões do serviço de proxy, para não confundir um proxy saturado com um site lento. Vários IPs ainda podem compartilhar um servidor e uma conexão de rede.
Opções de acesso
Duas escolhas independentes importam: se o IP permanece o mesmo e se outros clientes o utilizam. Um IP estático pode ser compartilhado; um conjunto dedicado de endereços pode ser usado com rotação.
O IP muda?
Estático
O serviço mantém um IP atribuído para que você possa reutilizá-lo em diferentes conexões. Pode fornecer uma lista fixa de proxies ou acesso por gateway a esses endereços fixos. Você pode associar um IP a uma tarefa específica ou mantê-lo durante uma sequência de ações.
Se seu aplicativo percorre uma lista estática, é ele que escolhe quando trocar de proxy. Cada endereço da lista permanece fixo.
Rotativo
O serviço escolhe IPs de um pool e os altera conforme suas regras, por exemplo, a cada nova conexão ou após um intervalo. Alguns serviços oferecem sessões persistentes (sticky sessions) que mantêm um IP durante uma série de solicitações.
A rotação altera o endereço, e não o tipo de rede: um pool de datacenter continua fornecendo IPs de datacenter. O momento exato das trocas depende das configurações de rotação do serviço.
Quem usa o IP?
Dedicado
O serviço reserva o IP para um cliente. Outros clientes desse serviço não o utilizam durante a reserva. Isso permite controlar a atividade enviada por esse endereço.
O próprio servidor ainda pode hospedar outros IPs de proxy. Um endereço exclusivo não necessariamente significa equipamento ou largura de banda exclusivos.
Compartilhado
Vários clientes usam o mesmo IP de proxy. Suas conexões são separadas, mas o site pode somar suas solicitações ao aplicar um limite por IP. A atividade de outros clientes também pode afetar a reputação do endereço.
O compartilhamento distribui o custo do IP entre os clientes.