Di Riccardo Esposito | Pubblicato il - Aggiornato il
Il crawl budget è la quantità di risorse (ad esempio tempo e banda) che un motore di ricerca dedica all’esplorazione e alla scansione dei contenuti di un sito web. L’ottimizzazione di questo valore dipende da diversi fattori.
Uno dei grandi miti della SEO è il budget che Google destina alla scansione del sito web. Quindi al crawling, una delle fasi del suo lavoro nei confronti della nostra proprietà online. In sintesi, il motore di ricerca scansiona. Se viene lasciato libero di farlo indicizza.
Poi c’è il posizionamento su Google. Quindi crawling, indexing e ranking. Sappiamo che esistono delle tecniche per indicizzare un sito WordPress e altre per migliorare il posizionamento SEO, organico. A monte c’è il lavoro su come avere maggior crawl budget. Ovvero? Di cosa stiamo parlando esattamente? Ecco cosa devi sapere.
Indice dei contenuti
Cos’è il crawl budget, una definizione
Il crawl budget è il limite della capacità di scansione che Google impone al bot nei confronti del tuo sito web. Rappresenta il numero di pagine che il motore di ricerca può e sceglie di esaminare in un determinato ordine. Questo può influenzare l’indicizzazione.
Il motivo di questo limite di risorse attribuite alla scansione del tuo sito web riguarda in primo luogo alle risorse interne di Google: il web è enorme, le risorse del motore di ricerca sono immense ma non infinite. Quindi si ottimizza dando spazio a chi ha maggior autorevolezza m anche a chi rende il lavoro di crawling al Googlebot più facile.
Da leggere: Google non indicizza tutte le pagine
Perché il crawl budget è importante la SEO
Pur non essendo un fattore determinante su piccoli siti web, e non rappresentando neanche un fattore di ranking in modo diretto, il crawl budget è importante per la SEO perché influisce sulla frequenza con cui Google scansiona le pagine. E quindi sulla velocità con cui le tue pagine vengono aggiornate nell’indice di Google.
Un sito internet con un crawl budget elevato avrà maggiori probabilità di essere indicizzato in modo completo e di apparire nei risultati con tutte le sue pagine migliori.
Se è basso, Google potrebbe non eseguire la scansione di tutte le pagine del tuo sito con la stessa frequenza. Ciò potrebbe avere un impatto negativo sulla visibilità poiché Google potrebbe non essere in grado di rilevare e tenere conto di tutti i tuoi contenuti.
Cosa influenza questo parametro?
La stessa guida ufficiale di Google suggerisce alcuni punti che incidono sul crawl budget in modo negativo. In primo luogo ci può essere un limite imposto dal proprietario stesso del portale che per qualche motivo preferisce ridurre la frequenza di scansione. Quali sono gli altri elementi che possono influenzare il tuo budget di scansione?
- Numero di URL di un sito web.
- Presenza di errori e contenuti inutili.
- Velocità di risposta delle pagine web.
- URL simili o addirittura duplicate.
- Aggiornamento del sito web con nuovi contenuti.
- Popolarità e autorevolezza.
Per sintetizzare, un sito web autorevole e che riceve molte menzioni con backlink ha maggiori opportunità di aumentare il crawl budget. Lo stesso vale per i portali che pubblicano sempre nuovi contenuti e che razionalizzano la struttura del sito web cercando di semplificare il lavoro al Googlebot con pagine veloci e utili.
Cosa sono crawl rate e crawl demand
Sono due parametri per misurare il crawl budget. Con il primo intendiamo il numero di richieste al secondo che Googlebot esegue durante una scansione, il secondo è il tempo che passa tra una visita e l’altra. Un sito web importante avrà entrambi i parametri alti.
La buona struttura e la velocità di connessione – quindi i passaggi tecnici – influenzano il crawl rate mentre la popolarità del sito web lavorano sul crawl demand.
Come monitorare il budget di scansione
Per scoprire come si comporta il Googlebot nei tuoi confronti hai a disposizione uno strumento ufficiale incluso nella Search Console, vale a dire il report delle statistiche di scansione. Puoi raggiungerlo cliccando sull’indirizzo google.com/settings/crawl-stats.
In questa schermata hai una prima statistica che indica il numero totale di richieste di scansione del tuo sito nell’intervallo di tempo selezionato, le dimensioni totali di tutte le risorse e i file scaricati durante la scansione e il tempo medio di risposta della pagina.
Per concludere abbiamo il report che indica la risposta offerta dal server. In base a questi dati possiamo capire se c’è una relazione tra richieste di file scansionati e dimensioni, in modo da capire come e quando intervenire per migliorare il crawl budget.
Come ottimizzare il crawl budget per la SEO
Ritorno a un punto essenziale: nella maggior parte dei casi sono i siti web di grandi dimensioni che devono ottimizzare il crawl budget per la SEO. Ma è anche vero che le tecniche per migliorare il modo in cui Google scansiona il tuo portale sono semplici.
- Elimina contenuti duplicati.
- Accorpa articoli simili.
- Evita la cannibalizzazione delle risorse.
- Assicurati che non ci siano catene di redirect 301.
- Risolvi gli errori soft 404, 5xx e timeout di connessione.
- Assicurati che il server non dia continui problemi.
- Riduci le pagine orfane e usa i link interni.
- Aggiungi e aggiorna la sitemap.xml.
- Crea pagine leggere e veloci.
L’idea base per la gestione del crawl budget e la sua ottimizzazione: razionalizzare le pagine ed evitare risorse inutili, ridondanti, duplicate e di scarsa qualità. Se necessario si fondono i contenuti, si aggiornano o si cancellano quando non portano traffico.
“Se Google dedica troppo tempo alla scansione di URL non idonei all’indicizzazione, Googlebot potrebbe decidere che non vale la pena esaminare il resto del sito“.
developers.google.com
Anche il peso di una pagina web e le risorse necessarie per caricarla sono un fattore che influenza il crawl budget: meno chiedo al bot per scansionare la singola risorsa, maggiori saranno quelle dedicate all’intero sito internet. Quindi il sito deve rispondere rapidamente.
Come aumentare il crawl budget
Due sono le regole principali per aumentare la disponibilità di budget di scansione da parte di Google verso il tuo sito web: aumenta l’autorevolezza del sito web creando una rete di menzioni virtuose e pubblica con costanza contenuti di qualità.
Se un progetto è famoso, riceve molte menzioni e link in ingresso, Google aumenta il suo interesse e quindi il crawl budget. Lo stesso vale per i progetti con un calendario editoriale ben strutturato. Pubblicare tanti contenuti web validi, però, non è sufficiente.
Limitare il crawl budget del sito
Molti webmaster vogliono, giustamente, ottimizzare e migliorare la quantità di budget disponibile per scansionare il sito web. In alcuni casi, però, c’è anche bisogno di ridurre queste risorse. E noi sappiamo che Google permette di limitare il crawl budget.
Perché fare questo? Google consiglia di operare in questa direzione solo se c’è un sovraccarico dei server da parte del Googlebot (ma forse a questo punto dovresti cambiare hosting). Inoltre, si ricorda che è possibile solo dare indicazioni per limitare e non per aumentare il crawl budget. Il tool si trova qui ma usalo solo se serve.
Categoria: Ottimizzazione siti