File robots.txt: cos’è, come si crea e come ottimizzarlo per la SEO

Il file robots.txt è un file di testo che contiene alcune direttive per i motori di ricerca, come ad esempio Google o Bing. Attraverso questo file indichiamo quindi quali pagine del nostro sito devono essere scansionate e quali no.

Ma perché questo file è così importante? E in che modo impatta la SEO del nostro blog?

In questo articolo andremo a scoprire più nel dettaglio cos’è il file robots.txt, come crearlo e come ottimizzarlo così da aiutare i bot dei motori di ricerca a eseguire una corretta scansione del nostro sito web.

Iniziamo!

Cos’è il file robots.txt

Come possiamo intuire dall’estensione del file, il robots.txt è un normalissimo file di testo che contiene le direttive per i motori di ricerca.

Attraverso queste direttive (chiamate anche istruzioni) è quindi possibile indicare al crawler dei motori di ricerca le parti del sito che dovrebbero essere scansionate e quali invece dovrebbero essere escluse dalla scansione, tipo quelle che non devono essere pubbliche, come ad esempio la pagina /wp-admin di WordPress.

Ma da quali elementi può essere composto un file robots.txt? Vediamo insieme i principali.

Le direttive del file robots.txt

Le direttive principali, nonché quelle probabilmente più utilizzate, sono:

• User Agent, l’elemento è usato per indicare il nome del crawler a cui applicare le regole, come ad esempio * o googlebot
• Disallow, la direttiva è usata per specificare le pagine, le directory o i file che si vogliono escludere dalla scansione (l’istruzione non rimuove una risorsa dall’indice del motore di ricerca), come ad esempio /wp-admin/
• Allow, la direttiva è utilizza per autorizzare il crawler a scansionare una specifica URL, directory o file – e indicare così delle eccezioni alla regola precedente
• Sitemap, l’elemento è utilizzato per specificare al bot l’URL della Sitemap XML.

Generalmente la scrittura del file robots.txt è affidata alla figura del SEO Specialist.

Come si crea il file robots.txt

Creare il file robots.txt del proprio sito è veramente semplice. Basta infatti aprire un editor di testo, digitare le direttive per i motori di ricerca e salvarlo con codifica UTF-8 denominandolo “robots.txt”.

Per ottenere una corretta configurazione del proprio file robots.txt occorre però attenersi a delle precise regole di sintassi:

• Le istruzioni devono essere scritte nel file divise per gruppi
• l’User Agent deve essere riportato così come le parti del sito da escludere dalla scansione
• Ogni riga può contenere una sola direttiva
• Le direttive scritte nel file vengono recepite dai bot dei motori di ricerca secondo un ordinamento che va dall’alto verso il basso
• Possono essere inseriti commenti nel file utilizzando all’inizio della riga il carattere #
• Essendo il file case sensitive occorre fare distinzione tra lettere maiuscole e lettere minuscole
• Il file, una volta creato, va caricato nella root principale del nostro sito.

È anche possibile creare il file robots.txt anche utilizzando dei tool online free come il generatore di Toolset.it. Grazie a questo strumento è possibile generare un file robots.txt automaticamente basta solamente scegliere cosa escludere o meno dalla scansione, impostare le eccezioni – ovvero gli URL o directory eccezioni alla regola principale di esclusione – e indicare l’URL della propria sitemap XML. Il tool creerà quindi il file in automatico.

Se il tuo sito è stato invece sviluppato utilizzando il CMS WordPress puoi creare il tuo file robots.txt attraverso dei plugin SEO come ad esempio Yoast SEO o Rank Math che non solo generano il file ma consentono anche di modificarlo direttamente dal backend della piattaforma.

Ecco ad esempio una possibile configurazione base del file robots.txt del proprio sito:

• User-agent: * (tutti gli User-agent)
• Disallow: # (inserire i path delle parti del sito da escludere dalla scansione)
• Allow: # (inserire eventuali URL o file delle risorse bloccate con i precedenti disallow che vuoi rendere accessibili ai crawler)
• Sitemap: # (URL della sitemap).

La configurazione del file robots.txt del mio blog, ad esempio, è:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.eleonorabaldelli.com/sitemap_index.xml

Una volta che hai creato il file, è importante controllare che non ci siano errori che potrebbero anche deindicizzare l’intero sito web.

Per farlo, ti basta andare su Robots Testing Tool, uno strumento di Google che serve proprio per rilevare tutti i possibili errori di logica e di sintassi del file e a testare il suo corretto funzionamento.

Come si ottimizza il file robots.txt per la SEO

Il file robots.txt è fondamentale da ottimizzare in chiave SEO perché permette di indicare ai bot dei motori di ricerca come eseguire al meglio la scansione di un sito.

Avere un robots.txt correttamente configurato, infatti, ti consente di:

• prevenire la scansione di contenuti duplicati – soprattutto negli e-commerce
• prevenire il crawling di pagine considerate di scarso valore ai fine del posizionamento organico, come ad esempio le pagine di risultato di ricerca interna del sito
• evitare di sovraccaricare di richieste il server.

In definitiva ottimizzare in ottica SEO il robots.txt permette di risparmiare crawl budget, ossia il budget di scansione a disposizione di ogni sito per essere scansionato dal crawler.

Questo budget è infatti limitato e dovrebbe essere speso solamente per le pagine ritenute veramente chiave ai fini del posizionamento.

Come aggiornare un file robots.txt

Aggiornare il tuo file robots.txt, ad esempio per aggiungere o rimuovere alcune direttive, è estremamente semplice. Ti basta infatti riscrivere il file e caricarlo nuovamente nella root del tuo sito web.

In alternativa, se utilizzi RankMath, puoi farlo direttamente all’interno della tua dashboard di WordPress andando nel menu a sinistra e scegliendo Rank Math > Impostazioni generali > Modifica robots.txt.

Riflessioni finali

Il file robots.txt è spesso un valido alleato per riuscire a creare una strategia SEO potente ed efficace e aiutare i motori di ricerca a scansionare in modo corretto il tuo sito web.

E sai cosa significa questo? Esatto: anche migliorare il tuo posizionamento sui motori di ricerca.

Verifica quindi subito se hai già creato e caricato il file robots.txt e utilizza il Robots Testing Tool per controllare che non ci siano errori.

Non mi resta che augurarti un buon blogging!