Ο crawler, γνωστός και ως web crawler ή spider, είναι λογισμικό που χρησιμοποιούν οι μηχανές αναζήτησης για να περιηγούνται και να ευρετηριάζουν σελίδες στο internet. Η βασική του δουλειά είναι να επισκέπτεται ιστοσελίδες, να διαβάζει το περιεχόμενο και να μαζεύει πληροφορίες για ένα ευρετήριο, που χρησιμοποιούν οι μηχανές αναζήτησης για να δείχνουν σχετικά αποτελέσματα.
Ο crawler ακολουθεί συνδέσμους από σελίδα σε σελίδα και μαζεύει δεδομένα για το περιεχόμενο, τη δομή και άλλους σημαντικούς παράγοντες κάθε σελίδας. Αυτά τα δεδομένα βοηθούν τις μηχανές αναζήτησης να καταλάβουν τι περιέχει μια σελίδα και να την κατατάξουν σωστά. Έτσι οι μηχανές αναζήτησης έχουν ενημερωμένες πληροφορίες και δίνουν ακριβή, σχετικά αποτελέσματα στους χρήστες.