Um web crawler (também conhecido como web spider ou web robot) é um programa de computador que navega na World Wide Web de maneira automatizada com a finalidade de indexar conteúdo da web ou coletar dados da web.
Os rastreadores da Web são usados para indexar páginas da Web para bancos de dados de mecanismos de pesquisa e para recuperar dados para uma ampla variedade de aplicações, como comparação de preços, detecção de alterações em sites, extração de dados da Web e coleta de informações de sites. Ao usar um rastreador da web, um webmaster pode garantir que seu site seja indexado com rapidez e precisão, tornando mais fácil para os clientes encontrarem as informações que procuram.
Os rastreadores da Web geralmente começam com uma lista de URLs para rastrear e podem ser configurados para seguir links gerados na página da Web. O rastreador segue cada link e continua a fazê-lo até indexar todo o site. Além disso, alguns rastreadores da web são programados para rastrear páginas da web que foram alteradas desde a última visita.
O rastreador da web é parte integrante do mecanismo de pesquisa na web. Eles são usados para ingerir e armazenar os dados coletados em sites, para que o mecanismo de pesquisa possa fornecer resultados precisos e atualizados de uma pesquisa na web.
Além dos mecanismos de pesquisa na web, os rastreadores da web podem ser usados por profissionais de marketing digital para melhorar a experiência do cliente em um site e por cientistas de dados para processar dados da web para descoberta de conhecimento.
Os rastreadores da Web podem ser programados para cumprir o padrão de exclusão de robôs da Web (também conhecido como protocolo robots.txt). Isso permite que os proprietários de sites restrinjam o rastreamento de certas seções de seus sites ou proíbam totalmente determinados rastreadores.
O uso de rastreadores da web está sujeito às leis existentes relativas à privacidade, direitos autorais e responsabilidade dos proprietários do site.
