Il Crawl Budget è il numero di pagine che un Bot di Google (definito anche spider, o Googlebot o semplicemente Bot) cerca e indicizza sul nostro sito web in un tempo X, è ritenuto fondamentale per molti, perchè, se il bot non indicizza e scansiona il nostro sito correttamente sarà impossibile posizionarci con quella pagina sui motori di ricerca.
Google stessa definisce il Crawl Budget come
“the number of URLs Googlebot can and wants to crawl”.
Ovvero il numero di URLs (e quindi le pagine, gli articoli e tutto il nostro sito) che i Googlebot possono e vogliono scannerizzare
Come viene determinato il Crawl Budget?
Il Crawl Budget viene determinato da Google in base alla qualità e al trust del nostro sito. Più qualità diamo ai nostri contenuti, più pagine verranno scaricate del motore di ricerca, minor qualità diamo ai nostri contenuti e meno spesso il bot di google verrà a farci visita per scannerizzare le nostre pagine.
Possiamo avere una panoramica di questa metrica dalla Search Console di Google andando in “Strumenti e Rapporti Precedenti” e successivamente su “Statistiche scansione” potrai notare il numero di kb scaricati da Google negli ultimi 90 giorno e il grafico che vi fa riferimento.
Un grafico in salita è sintomo di un buon feeling con Google, il motore di ricerca sta apprezzando i nostri contenuti e sta aumentando il crawl budget a nostra disposizione.
Quando bisogna preoccuparsi?
Anche l’aspetto del Crawl Budget è una piccola diatriba aperta nel mondo Seo. In molti pensano sia sempre fondamentale, altri pensano che sia una metrica da non curare eccessivamente. Come sempre la verità sta nel mezzo. In questo mondo è sempre bene far affidamento e analizzare ogni dato a disposizione, ma ottimizzare il crawl budget diventa fondamentale solamente nel caso in cui:
- Abbiamo un sito con una mole di contenuti molto elevata (ad esempio un ecommere).
- Hai aggiunto in maniera massima e in un brevissimo lasso di tempo un numero molto importante di URLs.
- Utilizzi in maniera eccessiva i vari redirect. I redirect consumano molto Crawl Budget perchè lasciano scannerizzare (inutilmente) più pagine per un solo contenuto.
Come ottimizzare il Crawl Budget?
Abbiamo visto cos’è il Crawl Budget e abbiamo capito che è una metrica che viene determinata da Google in base ai comportamenti e alla qualità del nostro sito. Vediamo, in accordo con quanto affermato dal Search Engine Journal cosa incide negativamente sul budget assegnato ad un sito:
- Risorse duplicate.
- Contenuti poveri.
- Pagine hackerate.
- Spam sul sito.
Ma come possiamo lavorare per ottenere un miglioramento da questo punto di vista? Ecco dei passi pratici e diretti da ottimizzare per aumentare il crawl budget.
1. Aumenta la velocità del sito
Abbiamo detto precedentemente che i Googlebot scaricano la pagina e la indicizzano. Diventa quindi fondamentale far si che il sito sia veloce e reattivo per rendere la navigazione del nostro sito fluida non solo agli utenti ma anche ai bot di Google, fidati, ti ringrazieranno!
2. Diminuisci il peso delle pagine
La velocità di un sito, non sempre è direttamente proporzionale alle dimensioni delle pagine. Proprio perchè i Googlebot scaricano le nostre pagine per analizzarle fa si che il peso di ogni singola pagina non sia eccessivo, elimina contenuti non utili, ridimensiona le immagini, elimina file js e css che appesantiscono le pagine del tuo sito.
3. Evita i Redirect
Lo abbiamo già accennato precedentemente, Google non ama i redirect troppo lunghi. Spesso i redirect ci salvano la vita in presenza di errori o indicizzazioni sbagliate, ma dobbiamo capire che effettuare troppi redirect può essere controproducente. Immagina la situazione:
google scarica la pagina A, trovando solamente un redirect alla pagina B, scarica la pagina B e trova un redirect alla pagina C e cosi via. Tutto questo procedimento sono risorse e tempo sprecato che Google non ama perdere!
4. Evita contenuti duplicati
Questo è un pò il problema di ogni sito ecommerce o blog molto ampio. I contenuti duplicati sono una piccola piaga che dobbiamo eliminare all’interno del nostro sito per permettere un miglior utilizzo del crawl budget. Per farlo, utilizza in maniera opportuna il tag rel canonical per dire a Google quale sia la pagina canonica per quella determinata URLs.
5. Utilizza Link Interni
Il web è connesso, sempre. I bot di Google infatti si muovono tramite i link per scoprire nuove URLs, nuove pagine e nuovi siti. Per ottimizzare il tuo crawl budget sarebbe opportuno creare sempre pagine che abbiano link interni per dar modo al bot di Google di indicizzare una nuova pagina e “non rimanere bloccato” nel nostro sito.
6. Il Tag No Index
Anche il tag noindex può essere fondamentale da questo punto di vista. Non abbiamo necessità che una pagina sia indicizzata? Perfetto, inseriamo il noindex, in modo che il bot di google non perda tempo e risorse per scaricarla.
7. Robots.txt
Con il robots.txt possiamo indicare anticipatamente quali sono le pagine da far scannerizzare ai bot di Google. Con questo sistema possiamo escludere intere sezioni del sito, in modo da alleggerire il lavoro al nostro bot.
Rispondi