Generare on-line il file robots.txt, il servizio gratuito di Mrwebmaster



MrWebmaster ha lanciato il servizio gratuito per creare il file robots.txt per chi ha un sito web. Vediamo a cosa serve questo file e come fare per generarlo

robots.txtTutti sappiamo quanto sia importante l’indicizzazione per un sito web e quanto, di conseguenza, sia rilevante l’aspetto SEO (acronimo di Search Engine Optimization) di un sito web. Uno degli strumenti di base per l’ottimizzazione di un sito web è il famoso file robots.txt, ovvero quel semplice file di testo attraverso il quale ciascun webmaster può indicare allo spider di Google (ed a quelli degli altri motori  di ricerca) alcune semplici regole circa la scansione del proprio sito web.

A cosa serve il file robots.txt?

Più precisamente, attraverso il file robots.txt possiamo dire agli spider quali cartelle e/o file scansionare e quali no (ad esempio potremmo decidere di mantenere riservati alcuni file del nostro sito – come la cartella di amministrazione del sito – e di conseguenza potremmo volere che questi non compaiano sui risultati di ricerca).
Per scrivere il file robots.txt non servono strumenti particolari, basta un comune editor di testo (come il Blocco Note di Windows) tuttavia è necessario conoscere alcune ben precise regole sintattiche.

Generatore online del file robots.txt

Se non abbiamo tempo e voglia di studiarci una delle tante guide reperibili in Rete, possiamo affidarci ad un generatore automatico. In Rete è possibile reperirne diversi, alcuni molto semplici altri piuttosto complicati, tra questi segnalo il generatore di file robots.txt lanciato di recente dal sito MrWebmaster grazie al quale sarà possibile creare, in modo totalmente automatico, il file robots.txt per il proprio sito semplicemente compilando un semplice modulo on-line.

 


Nonostante sia molto semplice da utilizzare, questo generatore di file robots.txt è piuttosto completo e consente di creare configurazioni che piuttosto articolate: la prima cosa da fare è settare una regola di default, ovvero decidere se, in linea di massima, si desidera consentire agli spider dei motori di ricerca di scansionare file e cartelle del nostro sito oppure no.
Ua volta definita la regola generale si potranno settare delle eccezioni, cioè prevedere se, diversamente da quanto previsto nella regola generale, certi file e/o cartelle possono essere scansionati o meno (a seconda che la regola di default sia settata su “allow” o su “disallow”). Nello specificare eventuali eccezioni è anche possibile stabilire se queste debbano operare per tutti gli spider o solo per alcuni (è sufficiente effettuare una scelta attraverso il menu di selezione).
Per finire è anche possibile specificare la URL (deve essere un percorso assoluto) del file sitemap.xml in modo da informare i motori di ricerca circa la presenza di questo file e della sua posizione.
Una volta impostate le regole e cliccato sul bottone sarà sufficiente fare copia ed incolla del testo generato salvando all’interno del file robots.txt che andremo a creare nella cartella radice del nostro sito web.
Una volta caricato il file è buona regola verificare che tutto sia stato fatto per bene: la prima verifica da fare è provare a richiamarlo dal browser. Meglio ancora provvedere a farlo direttamente dal centro Webmaster di Google: una volta selezionato il proprio sito, dal menu laterale c’è la voce ‘scansione’ – ‘url bloccati’, e da qui si può vedere se Google visualizza bene il file robots.txt.

Un ultimo consiglio finale: utilizzate questo strumento con cautela e fate solo cose di cui siete certi: in caso di errori, infatti, il vostro sito potrebbe essere spazzato via dai risultati di ricerca!

-------------
-------------
GD Star Rating
loading...
Generare on-line il file robots.txt, il servizio gratuito di Mrwebmaster, 10.0 out of 10 based on 1 rating

Un pensiero riguardo “Generare on-line il file robots.txt, il servizio gratuito di Mrwebmaster

Lascia un commento

Il tuo indirizzo email non sarà pubblicato. I campi obbligatori sono contrassegnati *

Questo sito usa Akismet per ridurre lo spam. Scopri come i tuoi dati vengono elaborati.

Altro... applicazioni online, file, file robots.txt, internet, motori di ricerca, mr webmaster
duckduckgo motore di ricerca
Alternative Google: DuckDuckGo, il motore di ricerca anonimo scelto da Apple

Dall'anonimato all'implementazione su OS X Yosemite e iOS 8. Scopriamo insieme a cosa è dovuto...

Chiudi