I motori di ricerca sono banche dati che catalogano e archiviano le pagine dei siti Internet presenti in rete, al fine di facilitare la ricerca e il reperimento di informazioni da parte dei navigatori. Per questa loro specifica funzione e per la loro facilità di utilizzo sono lo strumento più utilizzato dagli utenti del web e sono al secondo posto delle funzioni utilizzate più di frequente dopo la posta elettronica.

In seguito all'immissione di una o più parole chiave (keyword) il motore di ricerca fornisce una lista di risultati contenenti estratti di pagine web che contengono i termini ricercati. I motori forniscono anche i link delle pagine visualizzate, cliccando i quali è possibile accedere direttamente alla pagina indicata dal motore.
Da una ricerca svolta dall'I-Lab dell'Università Bocconi è emerso che i motori di ricerca in italiano sono lo strumento di gran lunga più utilizzato dagli utenti nazionali per il reperimento di informazioni in rete.

Spesso il termine motori di ricerca è utilizzato impropriamente, non considerando la fondamentale distinzione tra search engine e directory. I search engine archiviano tutti i documenti che compongono un sito e per tale ragione è possibile che, all'interno della stessa ricerca, il link al medesimo sito compaia più volte, tante quante sono le pagine che lo compongono e che contengono all'interno dei loro testi la parola ricercata. Le principali search engine a livello internazionale sono Google e Altavista ma sempre maggiore importanza sta assumendo Msn, il motore di ricerca ideato da Microsoft. A livello nazionale spiccano Virgilio e Arianna.

Le directory, al contrario, memorizzano le sole home page, raggruppandole per tipologia. Le ricerche sulle directory non vengono effettuate partendo da parole chiave ma da macro-categorie. L'utente è poi chiamato ad approfondire la sua ricerca secondo una struttura "ad albero". Le principali directory sono Yahoo!, Open Directory e Looksmart. Per comodità, all'interno del sito verrà utilizzato il termine motore di ricerca per riferirci sia alle directory, sia alle search engine, utilizzando il termine specifico qualora dovesse rendersi necessario ai fini della distinzione.

La catalogazione dei siti può avvenire secondo due distinte modalità: attraverso la registrazione manuale attuata dagli editor o attraverso l'inserimento automatico da parte di software che scandagliano la rete alla ricerca di documenti nuovi o aggiornati di recente. Questi programmi sono comunemente conosciuti con il nome di spider, di crawler o di robot (anche se quest'ultimo termine è molto generico, in quanto non si riferisce ai soli software utilizzati dai motori di ricerca). Solitamente i search engine archiviano le proprie informazioni automaticamente, mentre le directory inseriscono manualmente i siti web proposti dagli utenti, catalogando esclusivamente quelli che vengono ritenuti interessanti e di qualità.
Nonostante le pagine web archiviate dai motori siano un numero particolarmente rilevante, nessun motore è mai riuscito, né riuscirà mai, ad indicizzare l'intero web. Attualmente Google è il motore che possiede l'archivio dati più vasto ed effettua le proprie ricerche su più di 8 miliardi di pagine.

Nei motori di ricerca vengono catalogate informazioni su praticamente tutti gli argomenti, come politica, sport, informatica, spettacolo, gossip e molti altri. Sono reperibili anche indirizzi di siti su persone, aziende, organizzazioni, prodotti. Nei motori si possono trovare inoltre immagini, programmi e news.

Essere presente all'interno di un motore non è però sufficiente ad assicurare ad un sito la dovuta visibilità: è necessario posizionarlo nelle prime posizioni. Da recenti analisi sono infatti emersi i seguenti dati:

• il 58% degli utenti che svolgono le proprie ricerche in rete utilizzando i motori di ricerca non va oltre la prima pagina (le pagine dei motori possono contenere un numero variabile di dati, che può essere pari a 10, 15 o 20 link a seconda dell'impostazione scelta dal motore. Alcuni motori lasciano al navigatore la possibilità di determinare quanti dati visionare all'interno di ogni pagina);
• il 19% degli utenti arriva alla seconda pagina;
• solo il 9% arriva alla terza.

Questo significa che, in media, il numero di pagine visitate all'interno di una singola sessione è di poco superiore a due e che i siti che non figurano nelle prime due pagine hanno pochissime possibilità di essere cliccati e, di conseguenza, conosciuti e visitati dai navigatori.

Avere un sito posizionato in testa ai principali motori è di fondamentale importanza per tutte le tipologie di siti ma ancor più per i siti istituzionali e di prodotto. Avere un buon posizionamento significa diffondere il brand dell'azienda in rete, aumentare i contatti tra l'azienda e gli utenti e incrementare il proprio business raggiungendo nuovi mercati e/o consolidando gli attuali.

Esempio di aggiornamento dei motori:

Google Dance

Uno dei processi maggiormente conosciuti per l'aggiornamento delle pagine presenti in rete è quello compiuto mensilmente da Google: la Google Dance. Questo processo avviene in due differenti fasi:

• Google monitora, per un periodo di circa due o tre settimane, la rete Internet. Durante questa procedura, chiamata Deep Crawl, il software archivia le pagine senza porre differenze tra quelle vecchie, quelle aggiornate e quelle nuove;
• Una volta terminata questa fase ha inizio la vera e propria Google Dance, durante la quale le pagine vengono riordinate all'interno dei database in base al valore di PageRank assegnato ad ogni singola pagina e alla popolarità dei siti in rete.

Durante l'aggiornamento, il crawler di Google scandaglia il web alla ricerca di documenti nuovi o aggiornati e ricalcola il numero e il valore dei link che ogni pagina riceve da altri siti. Il posizionamento è infatti determinato da molteplici fattori, quali:

• Qualità del sito e, soprattutto, delle informazioni in esso contenute;
• Presenza di alcune delle keyword atte ad individuare il sito all'interno degli elementi testuali;
• Ottimizzazione delle pagine;
• Link Popularity;
• PageRank.

I fattori suddetti assumono un'importanza variabile a seconda dei motori di ricerca. Google, ad esempio, ha fatto della popolarità l'elemento più importante ai fini del posizionamento, mentre altri siti privilegiano le informazioni e la presenza delle parole chiave all'interno del testo. Durante la Google Dance le posizioni dei siti nel motore possono subire variazioni anche importanti, apparendo inesatte e fuorvianti. Per tale ragione, in questo periodo non bisognerebbe fare affidamento sui risultati visualizzati, perché possono indurre a considerazioni errate. Questa instabilità è causata dall'elevato numero di centri dati posseduti da Google. I centri sono dislocati in varie nazioni del mondo ed è a questi centri che vengono smistate le ricerche effettuate dagli utenti. Ogni archivio viene aggiornato con le informazioni reperite durante il Deep Crawl ma questa procedura richiede un periodo di tempo relativamente lungo. Se si effettuano ricerche durante la Google Dance si possono ricevere risultati anche molto diversi a seconda che la ricerca venga smistata ad un centro che è già stato completamente aggiornato o ad uno che è stato aggiornato solo parzialmente. Questa situazione di instabilità ha termine con l'aggiornamento totale di tutti i centri dati.