Sites e aplicativos bloqueados
Um provedor de proxies pode manter uma lista de recursos que os clientes não podem acessar por sua rede. Uma inclusão na lista pode decorrer de uma denúncia de abuso ou de uma exigência de um fornecedor de infraestrutura. Outros destinos são bloqueados antecipadamente porque o provedor considera o risco de incidentes alto demais.
Esse é um dos limites de uso dos proxies que determina para onde o serviço pode transportar seu tráfego. O proxy pode estar disponível e configurado corretamente e, ainda assim, recusar conexões com um destino listado.
Como uma denúncia se transforma em um destino bloqueado
Quando um cliente usa um proxy, o destino recebe tráfego do IP de saída do proxy. Se esse tráfego causar um problema, o operador do site poderá denunciar o endereço à organização responsável pela rede dele. A denúncia pode chegar diretamente ao provedor de proxies ou por meio da empresa de hospedagem, do datacenter ou do operador de rede que fornece sua infraestrutura.
Uma denúncia de abuso é uma notificação sobre suspeita de uso indevido de um serviço. Ela pode tratar de tentativas repetidas de login sem autorização, varreduras ou tráfego que sobrecarrega um sistema. Um fornecedor de infraestrutura pode exigir que seu cliente — o provedor de proxies — interrompa a atividade. Dependendo das regras do fornecedor e do incidente, deixar o problema sem solução pode colocar em risco um servidor ou o acesso à rede.
Se seus registros permitirem identificar a conta envolvida, o provedor poderá investigar e restringir essa conta. Ele também pode bloquear o destino afetado em parte ou em todo o serviço. Essas medidas resolvem problemas diferentes: uma restrição de conta atua sobre um cliente específico, enquanto um bloqueio de destino impede que outros clientes enviem tráfego ao mesmo recurso pelo serviço abrangido.
Considere um portal governamental que recebe tráfego indesejado repetido de um serviço de proxy. Após uma denúncia e uma exigência para interromper esse tráfego, o provedor adiciona o portal à lista de bloqueios. Mais tarde, outro cliente tenta baixar um documento público e recebe um erro. O segundo cliente não fez nada errado, mas a regra compartilhada de destino também se aplica àquela conexão.
Por que os provedores bloqueiam recursos antes de um incidente
Um provedor não precisa esperar uma denúncia separada sobre cada site. Depois de lidar com incidentes envolvendo um determinado tipo de recurso, ele pode decidir restringir destinos semelhantes antecipadamente. Assim, uma lista de bloqueios se torna uma medida preventiva, além de um registro de problemas anteriores.
O custo possível vai além de tratar uma denúncia. Incidentes repetidos consomem o tempo da equipe, prejudicam as relações com fornecedores de infraestrutura e podem ameaçar a disponibilidade do serviço para outros clientes. Um provedor pode decidir que transportar tráfego para uma categoria sensível não compensa esses riscos, mesmo que alguns clientes tenham motivos legítimos para acessá-la.
Isso explica por que uma restrição ampla pode continuar em vigor depois da remoção do cliente original. O provedor está tentando evitar uma repetição. Ele pode restringir uma categoria inteira sem determinar antes se cada novo visitante pretende ler uma página, fazer login ou executar uma ação indesejada.
Quais recursos podem entrar em uma lista de bloqueios
Recursos governamentais e financeiros são exemplos de categorias que os provedores podem restringir por precaução. Eles incluem sistemas em que o acesso não autorizado ou uma interrupção pode afetar registros pessoais, serviços públicos, contas ou dinheiro. Um provedor pode escolher uma regra ampla porque avaliar a atividade pretendida por cada cliente é mais difícil do que negar o acesso ao destino.
| Recursos | Por que um provedor pode restringi-los |
|---|---|
| Portais governamentais e sistemas do setor público | Para reduzir o risco de tentativas de acesso não autorizado, varreduras ou interrupções que afetem serviços públicos. |
| Bancos, serviços de pagamento e outras plataformas financeiras | Para limitar as oportunidades de ataques a contas e fraudes financeiras pela rede de proxies. |
| Outros recursos associados a denúncias repetidas | Um site ou serviço específico pode ser adicionado após incidentes, independentemente de sua categoria. |
Não existe uma única lista de bloqueios usada por todos os provedores de proxies. Um serviço pode restringir domínios individuais, enquanto outro fecha uma categoria inteira. Mesmo dentro de uma empresa, as regras podem variar entre produtos ou redes. A presença de um site governamental na lista de um provedor não comprova que todos os provedores o bloqueiam.
Uma categoria também precisa ser convertida em regras técnicas. Recursos governamentais usam muitos esquemas de nomes de domínio; por isso, bloquear apenas endereços terminados em .gov não equivale a bloquear todos os sites governamentais. Um provedor pode manter sua própria lista ou usar um serviço de classificação para identificar destinos.
Como o proxy aplica a lista de bloqueios
Antes de conectar você a um recurso, o proxy precisa saber o destino. Com um proxy HTTP, um cliente pode solicitar um túnel HTTPS usando CONNECT portal.example:443. Essa solicitação informa ao proxy o nome do host e a porta de destino. O SOCKS5 também transporta um endereço de destino, fornecido como nome de host ou endereço IP.
O serviço compara esse destino com suas regras de acesso. Se uma regra correspondente o proibir, o serviço poderá recusar a conexão antes de encaminhar a solicitação do cliente ao site. Uma regra de domínio verifica um nome; uma regra de endereço verifica o IP de destino ou a faixa. Uma regra de categoria pode se basear em uma lista de domínios ou endereços atribuídos àquela categoria.
Isso não exige que o proxy leia uma página criptografada. Em um túnel HTTPS comum, o destino é conhecido antes de começar a troca protegida com o site. Assim, o bloqueio pode ocorrer sem inspecionar o conteúdo da página, o caminho completo da URL ou a senha que um visitante digitaria.
O escopo de uma regra importa. Bloquear um nome de host não bloqueia automaticamente todos os subdomínios pertencentes à mesma organização. Por outro lado, uma regra ampla de domínio ou uma regra de IP que abranja um servidor compartilhado pode afetar mais recursos do que aquele que motivou a denúncia. Mudanças de endereço dos sites também significam que uma lista de bloqueios precisa de manutenção.
Por que o acesso depende do produto
Um provedor pode aplicar regras de acesso diferentes a produtos diferentes. Um site pode ser bloqueado em seus proxies de datacenter ou ISP, estar disponível pela rede residencial ou ser acessível apenas por um serviço gerenciado de coleta de dados.
Alguns provedores permitem o acesso a certos recursos somente após o KYC (Know Your Customer), um processo que verifica a identidade do cliente. O provedor também pode precisar aprovar a tarefa específica. O acesso concedido após essas verificações ainda pode ficar limitado a um produto ou destino específico; ele não remove todas as restrições da conta.
A forma como o serviço trata as solicitações também importa. Com um proxy comum, o navegador ou programa do cliente decide quais solicitações enviar. Com uma API de coleta de dados, o cliente envia uma tarefa, como obter uma página ou coletar dados de produtos, e o sistema do provedor a executa. O resultado pode ser o HTML da página ou os dados extraídos em um formato estruturado.
Nesse tipo de serviço gerenciado, o provedor pode selecionar a rede de proxies, definir cabeçalhos de solicitação e cookies, repetir solicitações que falharam e processar a resposta. A divisão exata do controle depende do produto: algumas configurações são automáticas, enquanto outras podem ser fornecidas pelo cliente dentro dos limites permitidos. O provedor controla a troca com o site de destino para aquela tarefa e pode restringir quais parâmetros de solicitação são aceitos.
Isso oferece ao provedor uma forma de permitir uma operação específica enquanto mantém o acesso mais amplo restrito. Por exemplo, um serviço pode permitir que uma API colete preços públicos de produtos e recusar o acesso por proxy comum ao mesmo domínio. Essa permissão não abrange automaticamente fazer login, enviar formulários ou gerenciar uma conta. Um produto pode permitir a leitura de certas páginas sem oferecer suporte a todas as ações disponíveis no site.
Verifique o acesso para a combinação de produto, destino e operação pretendida. Um site funcionar pela API de um provedor não comprova que ele funcionará pelo pacote de proxies desse provedor. Uma API gerenciada também tem suas próprias restrições. Antes de comprar, pergunte qual produto permite sua tarefa e se ele exige verificação ou aprovação separada.
O que o cliente vê
O resultado mais claro é uma mensagem explícita de que o destino não é permitido. Em outros casos, o software relata apenas uma falha de conexão ou um tempo limite excedido. Quanto o cliente fica sabendo depende tanto da resposta que o serviço retorna quanto dos detalhes que a aplicação exibe.
Um destino bloqueado pode continuar indisponível em muitos IPs de proxy que, fora isso, funcionam. Se a mesma regra abranger todo o pacote, substituir seus endereços não mudará o resultado. Comprar mais tráfego ou aumentar o limite de conexões simultâneas também mantém aquela regra de destino em vigor.
Uma aplicação pode falhar apenas em parte. Por exemplo, sua página principal pode usar um domínio e seu serviço de login, outro. Se o segundo endereço estiver bloqueado, a página abrirá, mas o login falhará. O mesmo pode acontecer com downloads de arquivos ou outras funções que usam servidores separados. Uma lista de bloqueios se aplica aos destinos de rede contatados pelo aplicativo, e não simplesmente ao nome dele.
Como isso difere de um site rejeitar seu proxy
A lista de bloqueios de um provedor interrompe o tráfego a caminho de um destino. Separadamente, um site pode rejeitar tráfego que chega a seus próprios servidores ou ao seu serviço de segurança — por exemplo, porque rejeita o IP de saída ou considera a atividade suspeita. Nesse caso, a recusa vem do lado do destino.
Um simples HTTP 403 ou uma conexão que falhou não identifica, por si só, quem bloqueou o acesso. Uma mensagem do provedor que informe um destino proibido é mais útil do que apenas o número do status. Quando a causa não está clara, o suporte precisa do endereço exato, do serviço usado, do horário da tentativa e do texto completo do erro para verificar se houve participação de uma regra do provedor.
Também existe um tipo separado de restrição: portas de destino bloqueadas. Um bloqueio de domínio nega o acesso a um recurso, enquanto uma restrição de porta pode impedir um tipo específico de conexão com muitos servidores diferentes. Portanto, um site ou aplicativo inacessível é um sintoma; a lista de destinos é uma das possíveis causas.
Um recurso pode ser removido da lista de bloqueios?
Isso depende de por que a regra existe e de quem a controla. Se o provedor adicionou um destino por precaução, ele pode estar disposto a avaliar uma tarefa específica. Se o acesso for excluído pelo fornecedor de infraestrutura ou por uma regra fixa do produto, uma solicitação comum ao suporte poderá não ser suficiente para mudá-lo.
Quando houver possibilidade de exceções, uma solicitação útil identifica o recurso exato e explica a atividade pretendida: quais dados ou funções são necessários, se há login envolvido e qual é a carga de trabalho esperada. Assim, o provedor pode avaliar um uso específico, em vez de uma solicitação indefinida para abrir uma categoria inteira.
Verificação ou aprovação não necessariamente remove todas as restrições de uma conta. Uma exceção pode abranger apenas um destino ou produto específico. Qualquer acesso concedido pelo provedor de proxies também mantém em vigor os controles de acesso do próprio site.
As listas de bloqueios podem mudar à medida que chegam novas denúncias ou que um provedor revê sua avaliação de risco. Um recurso que funcionava antes pode ficar indisponível após a adição de uma regra. Para uma tarefa que depende de um site específico, confirme se aquele destino e a operação necessária são atendidos antes de escolher o serviço; o número de IPs disponíveis não responde a essa pergunta.