Ein Crawler ist ein automatisiertes Programm, das Websites und andere Inhalte abruft und analysiert. Suchmaschinen nutzen Crawler, um neue und veränderte Inhalte zu entdecken. Crawling ist jedoch nicht dasselbe wie Indexierung oder Ranking.