Come deindicizzare una pagina web

Share Button

Come deindicizzare una pagina web

Oggi ho deciso di sostituire la puntata programmata della nostra guida alla creazione di una landing page efficace con questo articolo sulla deindicizzazione di una pagina web, a seguito delle numerose richieste dei nostri partner e clienti.

Uso del meta tag Robots

Il meta tag Robots comunica allo spider del motore di ricerca le tue direttive relative all’indicizzazione di una pagina web nei suoi risultati di ricerca.

Queste direttive possono essere di 2 tipi:

  1. Index/Noindex: dici al motore di ricerca se vuoi o NON vuoi che cataloghi la tua pagina nei suoi archivi.
  2. Follow/Nofollow: il motore di ricerca segue o non segue i link presenti sulla tua pagina web.

Dunque se desideri che una pagina non compaia tra i risultati di ricerca, MA vuoi che i crawler dei motori di ricerca seguano i link in essa presenti, dovrai inserire nel codice sorgente della pagina in questione la seguente dicitura:

META NAME="ROBOTS" CONTENT="NOINDEX,FOLLOW"

Se invece preferisci che i motori di ricerca non seguano nemmeno i link presenti su di essa dovrai sostituire il NOFOLLOW al comando FOLLOW.

Il vantaggio di usare l’attributo Follow con il Noindex è rappresentato dal fatto che il Pagerank può fluire comunque per dare maggiore peso alle pagine linkate. Cosa che non succede quando combini il Noindex con l’attributo Nofollow.

Se in una pagina non inserisci il meta tag Robots il motore di ricerca seguirà direttive del tipo “Index, Follow”, ovvero tenderà ad archiviare la tua pagina nei suoi database, rendendola così disponibile agli utenti della rete.

Se per esempio desideri eliminare dagli archivi di Google una pagina del tipo www.miosito.it/password-dimenticata – che magari appare anche tra i primi risultati a seguito della ricerca tramite operatore “site:www.miosito.it” – puoi inserire il meta tag robots con l’attributo NOINDEX. Se poi sei sicuro che vuoi rimuoverla definitivamente, Google mette a disposizione dei webmaster uno strumento specifico.

Strumento di rimozione url dei Webmaster Tools

Strumento di rimozione url WMT

Lo strumento di rimozione url negli strumenti per i webmaster di Google è molto utile nei seguenti 2 casi:

  1. Rimuovere dai risultati di ricerca una pagina già eliminata da un sito web;
  2. Rimuovere la descrizione o la copia cache obsoleta di una pagina web.

Basta inserire la url che vuoi rimuovere dai risultati di ricerca nel campo “Crea una nuova richiesta di rimozione” e confermare la cancellazione. Dopodiché non ti resta che attendere al massimo un giorno o due che la tua richiesta venga accolta ed eseguita. Comodo no?

Ti rimando alla pagina ufficiale del supporto di Google per leggere i casi in cui NON si deve utilizzare lo strumento di rimozione degli URL.

Il campo Disallow nel file robots.txt

Il meta tag robots è utile per agire sulla singola pagina web, ma se vogliamo fornire agli spider indicazioni di scansione su interi gruppi di pagine o intere directory?
Come possiamo fare per bloccare la scansione solo di alcuni motori di ricerca e non di altri?

Ecco che quando il tag meta robots non risolve i tuoi problemi puoi intervenire direttamente sul file robots.txt, ovvero sul Robots Exclusion Standard (standard per l’esclusione dei robot).

Nel campo “User-agent” indichi a quali bot del motore di ricerca vuoi che siano dirette le tue indicazioni.
Nel campo “Disallow” indichi le parti del tuo sito web che preferisci non vengano scansionate dal particolare motore di ricerca indicato nel campo “User-agent”.

Per saperne di più ti rimando all’esaustivo articolo di Enrico Altavilla sul robots.txt.

Deindicizzare pagine web con il tag Canonical

Il tag canonical si usa nel caso in cui devi indicare ai motori di ricerca qual è la pagina principale che devono indicizzare, senza tenere conto di altri contenuti identici su pagine con URL differente.

Mettiamo il caso che il tuo e-commerce generi 5 url differenti per lo stesso contenuto: su 5 pagine identiche 4 dovrebbero avere il tag canonical, che rimanda alla pagina da te prescelta come principale. In questo modo i motori di ricerca vedono qual è la pagina giusta da tenere in considerazione e non indicizzano le altre.

Ricorda che il tag Canonical è solo una linea guida, o una “pezza” come diceva Alessandro Martin. Ecco perché può capitare di trovare indicizzate pagine con il tag canonical. Potresti disperdere anche Page Rank se usi il tag canonical al posto del Noindex, quindi analizza bene le tue scelte di deindicizzazione.

Ecco un esempio di come inserire il tag canonical nelle pagine duplicate:

link rel="canonical" href="http://www.paginafittizia.com/miglior-pagina"

L’articolo ti è stato utile o hai altre domande?
Scrivimi qui sotto nei commenti o aggiungi un +1!
Grazie e alla prossima!

Share Button

About the Author Matteo Landi

Esploratore convinto di percorsi di significazione e conversione. Ama creare Valore per l'utente finale. Web marketer, umile operatore del web e appassionato curioso di funnel altrui.

follow me on:

Leave a Comment:

5 comments
Alex de Nardi says 15/04/2015

Ottimo articolo sulla deindicizzazione. L’abbiamo usato noi in pratica e funziona. Ben scritto

Reply
Audit Seo di un sito web: i passi fondamentali da seguire says 30/04/2015

[…] Sull’uso dei meta tag ti rimando al datato ma sempre attuale post di Enrico Altavilla. Se vuoi sapere come deindicizzare una pagina web invece puoi leggere il mio articolo. […]

Reply
Idee di business says 12/05/2015

Articolo perfetto. Spesso eliminare pagine indicizzate magari non più attuali è di fondamentale importanza.

Reply
Come migliorare l'accessibilità del tuo sito web a Google says 14/05/2015

[…] Il file di testo robot.txt indica al motore di ricerca quali pagine i suoi bot non possono indicizzare. L’attributo Nofollow in un link indica allo spider che non deve seguire il link in questione. Infine il tag meta Robots inserito in una pagina web indica ai crawler se passare link juice dalla pagina attraverso i link presenti su di essa (scopri maggiori informazioni sulla deindicizzazione di una pagina web). […]

Reply
Add Your Reply

Loading Facebook Comments ...