Robots.txt WordPress: regole sicure per non bloccare Google

Un singolo comando nel file robots.txt può rendere invisibili a Google intere aree del tuo sito. Succede più spesso di quanto sembri, soprattutto dopo un restyling, l’installazione di un plugin SEO o una modifica fatta di fretta sul server.

Il robots.txt WordPress non migliora il posizionamento da solo. Serve a indicare ai crawler quali percorsi possono visitare. Se configurato male, però, ostacola la scansione delle pagine che portano contatti, preventivi e vendite.

Prima di modificare una riga, devi sapere cosa controlla davvero questo file e cosa invece richiede strumenti diversi.

Punti chiave

• Il robots.txt controlla la scansione dei crawler, ma non decide l’indicizzazione né rimuove una pagina dai risultati di Google.
• Mantieni il file semplice e pubblicato nella root del dominio: limita soprattutto aree tecniche o amministrative, senza bloccare CSS, JavaScript, immagini o admin-ajax.php senza motivo.
• Usa noindex per escludere una pagina dai risultati e autenticazione per proteggere staging, documenti riservati e aree clienti: il robots.txt non è uno strumento di sicurezza.
• Dopo modifiche a tema, plugin, hosting o URL, controlla il file pubblico, la sitemap e le pagine strategiche tramite Google Search Console.
• Scegli un solo strumento per gestire robots.txt e sitemap, evitando configurazioni duplicate o incoerenti tra WordPress, plugin SEO e file fisico.

Che cos’è robots.txt in WordPress e cosa controlla

Il robots.txt è un file di testo pubblico, raggiungibile nella directory principale del dominio all’indirizzo https://tuodominio.it/robots.txt. Contiene istruzioni per bot come Googlebot e Bingbot.

La guida ufficiale di Google sul robots.txt chiarisce un punto importante: il file gestisce il traffico dei crawler verso i motori di ricerca (search engines), ma non decide quali risultati appariranno su Google.

Crawling e indicizzazione non sono la stessa cosa

La scansione, o crawling, è la fase in cui Google visita una pagina. L’indicizzazione (indexing) arriva dopo, quando il motore può inserire quella pagina nel proprio archivio e mostrarla nei risultati.

Bloccare un URL non garantisce che sparisca da Google. Se riceve link esterni o interni, può comparire comunque nei risultati senza una descrizione completa.

Per rimuovere una pagina dall’indice, il percorso corretto è diverso: deve essere scansionabile e avere un tag noindex. Il file non sostituisce questa direttiva.

Il file deve stare nella directory principale (root directory) del dominio

Google cerca il file in un punto preciso. Per il dominio https://www.azienda.it, deve essere servito da https://www.azienda.it/robots.txt, cioè dalla versione canonica del dominio.

Un file caricato in /wp-content/, /blog/ o in una cartella casuale non viene usato come file del dominio. Attenzione anche alle varianti con www, senza www, HTTP e HTTPS. Il sito deve avere una versione canonica, con redirect corretti verso quella scelta.

Questo controllo fa parte di una buona SEO tecnica per WordPress. Non basta pubblicare pagine curate se Google incontra percorsi incoerenti o regole che bloccano l’accesso.

La configurazione predefinita di WordPress

WordPress può generare un robots.txt virtuale senza creare un file fisico nell’hosting. È una base utile, ma non va considerata intoccabile né identica su ogni installazione.

La configurazione pubblica di WordPress prevede normalmente istruzioni per limitare la scansione dell’area amministrativa, lasciando accessibili alcuni file necessari.

wp-admin va limitata, admin-ajax.php no

La regola più comune è questa: bloccare /wp-admin/ con Disallow e consentire admin-ajax.php con Allow.

L’area amministrativa non porta valore nei risultati di ricerca. admin-ajax.php, invece, può essere richiesto da funzioni pubbliche del sito, come moduli, filtri o componenti dinamici.

Una configurazione troppo larga, per esempio Disallow: /wp-admin, può creare problemi perché non include la barra finale. La direttiva Disallow: /wp-admin/ riduce il rischio di blocchi troppo estesi. Nel robots.txt anche un carattere conta.

File virtuale (virtual file) e file fisico (physical file), quale regola vale

Il file virtuale (virtual file) è prodotto da WordPress o da un plugin. Il file fisico (physical file) è un vero robots.txt presente nella root dell’hosting.

Se esiste un file fisico, di solito è quello che il server consegna ai crawler. Può quindi prevalere sulle modifiche fatte nel plugin.

Prima di modificare Yoast SEO o Rank Math, apri l’URL pubblico del robots.txt e verifica cosa vede Google. Eviti doppie configurazioni, dubbi e modifiche inutili.

Un robots.txt corretto è quello pubblicato nella root del sito, non quello che pensi di aver salvato nel pannello WordPress.

Regole sicure per robots.txt WordPress

Un file robots.txt in WordPress deve restare essenziale. Aggiungere decine di regole per il search engine optimization (SEO) è quasi sempre una scelta sbagliata per una PMI.

Il crawl budget non giustifica il blocco di risorse necessarie al rendering o alla corretta scansione delle pagine. Le direttive fondamentali sono poche e hanno funzioni chiare.

Direttiva	Cosa indica	Esempio pratico
User-agent	Il crawler a cui si applica la regola	User-agent: *
Disallow	Un percorso da non scansionare	Disallow: /wp-admin/
Allow	Un’eccezione a un blocco	Allow: /wp-admin/admin-ajax.php
Sitemap	L’indirizzo della sitemap XML	Sitemap: https://tuodominio.it/wp-sitemap.xml

La direttiva User-agent determina il crawler a cui si applica ogni regola. Una sintassi semplice riduce gli errori e rende più facile verificare ogni Disallow o Allow.

Per creare un file fisico, segui anche le istruzioni di Google per creare robots.txt, soprattutto se lavori tramite File Manager o SFTP. Dopo la modifica, controlla che la sitemap pubblicata corrisponda all’indirizzo indicato.

Scegli un solo strumento di gestione

Yoast SEO e Rank Math permettono di intervenire sul robots.txt virtuale. In Yoast SEO, quando l’opzione è disponibile, l’editor si trova in Yoast SEO > Strumenti > Editor file.

In Rank Math devi attivare la modalità avanzata e aprire General Settings > Edit robots.txt. È comodo, ma resta necessario controllare il file pubblico.

Scegli un solo plugin SEO per gestire sitemap, meta tag e robots.txt. Non usare insieme il plugin di Yoast SEO e Rank Math per le stesse funzioni. Non tenere attive sitemap del core, Yoast SEO e Rank Math senza una verifica: potresti creare URL duplicati, con rischio di duplicate content, o sitemap incoerenti inviate a Search Console.

Quando modificare direttamente sul server

Il physical file è utile quando serve una regola indipendente dal tema o dai plugin. Va modificato con prudenza, dopo aver creato un backup della versione attuale.

Puoi intervenire con un text editor tramite File Manager o SFTP. Non copiare configurazioni trovate online senza capire ogni riga. Un e-commerce WooCommerce, un sito con area riservata e un semplice sito vetrina hanno percorsi diversi.

Le regole devono rispondere alla struttura reale del sito. Dopo ogni intervento, salva una copia della configurazione. Durante un aggiornamento o una migrazione, sapere cosa è stato modificato accelera il controllo.

Gli errori che possono bloccare Google

Il danno più frequente nel robots.txt è bloccare l’intero sito con Disallow: /. Questa istruzione impedisce ai crawler di scansionare qualsiasi percorso del dominio.

Può capitare quando il sito era in staging, durante un restyling, e la regola viene poi dimenticata online. Per questo il controllo va fatto sempre dopo una pubblicazione.

Non bloccare CSS, JavaScript e immagini senza motivo

Google deve poter caricare CSS, JavaScript e immagini per consentire ai motori di ricerca, search engines, di comprendere la pagina come la vede un utente. Un crawling incompleto può dipendere dal blocco di cartelle intere come /wp-content/ o /wp-includes/.

Un plugin, un page builder o un tema possono caricare file da quelle cartelle. Se Google non può leggerli, la resa della pagina potrebbe risultare incompleta.

Blocca soltanto sezioni prive di valore pubblico, come aree amministrative, risultati di ricerca interni o cartelle tecniche ben identificate, usando Disallow solo in casi controllati. Prima verifica che non contengano risorse indispensabili.

Sitemap accessibile, pulita e coerente

La sitemap XML indica quali URL pubblici vuoi sottoporre all’attenzione dei motori di ricerca. Il robots.txt può indicarne il percorso con la direttiva Sitemap.

Non bloccare la sitemap nel robots.txt. Mantieni nella sitemap soltanto URL utili, escludendo pagine escluse, redirect, duplicati, filtri WooCommerce inutili e pagine scarne.

Per un sito vetrina piccolo, la sitemap nativa di WordPress può bastare. Per blog, cataloghi e-commerce e progetti editoriali complessi, un solo plugin SEO permette una gestione più precisa.

La guida alla manutenzione di un sito aziendale aiuta a organizzare anche questi controlli ricorrenti, insieme a redirect, aggiornamenti e verifiche SEO.

Quando usare noindex invece di Disallow

Nel file robots.txt, Disallow impedisce a un crawler di accedere a un percorso. noindex chiede invece di escludere una pagina dai risultati di ricerca. Sono strumenti diversi, con obiettivi diversi.

Confonderli può causare problemi di visibilità difficili da individuare.

Pagine da tenere fuori dai risultati

Una pagina di ringraziamento dopo un form, una ricerca interna, un archivio vuoto o una pagina di test possono richiedere noindex. In questi casi, Google deve poter leggere la direttiva di indicizzazione (indexing).

Non bloccare prima la pagina con robots.txt e poi aggiungere noindex. Google non può leggere un tag inserito in una pagina a cui hai vietato l’accesso.

Il rapporto Page indexing di Search Console disponibile in Google Search Console mostra anche le pagine escluse, comprese quelle interessate da blocchi e direttive di indicizzazione.

Staging e aree riservate richiedono più protezione

Un sito di staging non deve essere pubblico. Il file robots.txt e Disallow da soli non proteggono file, immagini o URL già conosciuti.

Usa una password a livello server e aggiungi noindex all’ambiente di test. Prima della pubblicazione, rimuovi entrambe le limitazioni solo dopo i controlli tecnici.

Lo stesso criterio vale per documenti riservati e aree clienti. Se il contenuto non deve essere accessibile, servono autenticazione e permessi. Il robots.txt non è un sistema di sicurezza.

Come verificare il file prima e dopo una modifica

La verifica richiede pochi minuti e può evitare settimane di traffico perso. Apri prima tuodominio.it/robots.txt in una finestra anonima e controlla il file pubblicato.

Poi passa a Google Search Console.

Usa robots.txt report e controllo URL

Il robots.txt report di Google Search Console mostra i file rilevati, l’ultima scansione e gli eventuali avvisi per gli host principali del sito.

Apri il file live dal report e verifica la data dell’ultima scansione. Indica quando Google ha eseguito il crawling. Dopo una correzione, puoi richiedere una nuova scansione del file.

Controlla anche alcune pagine importanti con Ispezione URL in Google Search Console: homepage, servizi, categorie strategiche, articoli che portano traffico e schede prodotto. Se una pagina risulta bloccata, individua prima la regola responsabile.

Cosa controllare dopo aggiornamenti e restyling

Dopo un cambio di tema, plugin, hosting o struttura URL, verifica questi elementi:

• Il robots.txt pubblico non contiene Disallow: /.
• La sitemap è raggiungibile e contiene solo URL canonici e indicizzabili.
• Le pagine di conversione non hanno tag noindex per errore.
• Google Search Console non segnala blocchi sulle pagine importanti.
• Redirect, link interni e menu portano alle nuove URL corrette.

Un workflow di manutenzione per siti aziendali trasforma questi controlli in una routine, invece di lasciarli al caso.

Crawler AI: regole da decidere con criterio

Il robots.txt può contenere regole dedicate a crawler diversi tramite il campo user-agent. Questa possibilità riguarda anche alcuni bot di intelligenza artificiale (AI bots).

Bloccarli o consentirli non è una decisione da copiare da un altro sito. La scelta per gli AI bots dipende dal tipo di contenuti, dagli obiettivi commerciali e dalla tua politica editoriale.

Il file llms.txt ha una funzione diversa. Può organizzare informazioni sintetiche per i modelli linguistici, ma non sostituisce robots.txt e non costituisce un controllo di sicurezza.

Prima di aggiungere regole per GPTBot, ClaudeBot o altri bot, verifica la documentazione del servizio e il nome user-agent riconosciuto. Le istruzioni nel robots.txt hanno effetto sull’accesso o sul crawling solo se il crawler riconosce e rispetta le direttive, come gli AI bots.

Una configurazione semplice protegge la visibilità

Il robots.txt non è un file da riempire. È una regola tecnica che deve restare chiara, controllabile e coerente con sitemap, tag noindex, link interni e struttura delle URL.

La priorità è semplice: Google deve poter scansionare le pagine che fanno crescere il tuo business. Tutto il resto va gestito con una logica precisa, non con blocchi generici.

Se il file è stato modificato durante un restyling, una migrazione o un intervento tecnico, controllarlo subito è una scelta prudente e concreta.

Domande frequenti sul robots.txt WordPress

Dove trovo il robots.txt di WordPress?

Apri https://tuodominio.it/robots.txt nel browser. Se non esiste un file fisico nella root, WordPress o un plugin SEO possono generare una versione virtuale.

Posso deindicizzare una pagina con robots.txt?

No. Il robots.txt limita la scansione, ma non garantisce la rimozione dai risultati. Per escludere una pagina da Google, lascia che sia scansionata e applica il tag noindex.

Devo inserire la sitemap nel robots.txt?

Sì, è una buona pratica indicare l’URL completo della sitemap con la direttiva Sitemap. Invia comunque la stessa sitemap anche in Google Search Console e controlla che sia accessibile.