Le budget de crawl est une notion en référencement naturel qui a été largement abordée par les experts en la matière (comme WebRankInfo ou Abondance), mais sous Prestashop nous allons voir comment améliorer cela, en ajoutant des règles directement dans le fichier robots.txt.
Techniquement, nous avions déjà proposé un module gratuit pour modifier le fichier robots.txt sur une boutique Prestashop, mais je vais ici me baser sur le module Ever SEO, qui reprend les mêmes fonctionnalités à ce niveau (je pourrais même préciser qu’il ne s’agit que d’une option du module Ever SEO, qui a tendance à être mise de côté alors qu’elle est véritablement essentielle).
Pour rappel, le module Ever SEO est disponible sur notre site en cliquant ici, ou directement sur Prestashop Addons en cliquant là. Toutefois, le module gratuit de modification du fichier robots.txt d’une boutique Prestashop peut être récupéré en cliquant là. Et je crois que niveau liens internes, on est bon, non ? 😀
Définition du budget de crawl
La notion de budget de crawl est très intéressante, car en référencement naturel elle a un impact non négligeable sur l’analyse qu’un moteur de recherche peut faire sur votre site. En résumé, cela correspond à la limite de pages que les robots vont « crawler », c’est-à-dire visiter. Cette limite va dépendre de beaucoup de critères, comme le temps de chargement de vos pages, le nombre de clics, la taille de votre site…
Olivier Andrieu, surnommé le « pape du SEO », a rédigé un article très intéressant sur son site, que je vous invite vivement à consulter ici :
https://www.abondance.com/20170117-17472-crawl-budget-google-explique-vision.html
Pour un site – qu’il soit e-commerce ou non – il est donc très important de savoir comment améliorer cela. Pour un référenceur de la qualité de ceux que j’évoque ici, cela demeure incontournable, à nous donc de travailler au mieux pour obtenir le meilleur résultat possible.
Olivier Duffez, dans son article traitant de ce sujet, va plus loin en évoquant la notion de « masse noire », terme inventé par le cofondateur de MyRankingMetrics. L’article est disponible sur WebRankInfo ici :
https://www.webrankinfo.com/dossiers/indexation/crawl-budget
La définition qu’il donne de la « masse noire » est celle-ci :
La masse noire est l’ensemble des URL que vous ne devriez pas faire indexer à Google, qui ne devraient même pas être crawlées et souvent pas même exister
Olivier Duffez
Occupons-nous donc de notre Prestashop. Nous savions comment désindexer du contenu avec le module de référencement naturel Ever SEO, voyons comment bloquer le crawl sur certaines URL.
Modification du robots.txt sous Prestashop avec Ever SEO
Le module Ever SEO, dans sa configuration, dispose d’un onglet nommé « Modification du robots.txt ». C’est cet onglet qui va nous intéresser. Je partirais ici du principe que votre boutique n’a pas encore été crawlé, puisque si c’est le cas, il vous faudra vous armer d’un peu plus de temps pour aller corriger pas mal d’éléments depuis votre Search Console (le lien étant effectué directement dans l’entête de chaque page associée au module Ever SEO, pratique !)
Il s’agit donc d’une simple zone de texte, dans laquelle vous allez pouvoir ajouter ligne par ligne des informations.
Imaginons par exemple que vous désirez bloquer le crawl du Google Bot vers la page du panier (car on s’en doute un peu : Google ne passe pas de commande sur votre site !). La syntaxe qu’il va falloir ajouter dans le champ texte de modification du robots.txt sera donc la suivante :
Disallow: /panier
Ce qui correspond à l’URL de mon site affichant le panier. La logique voudrait également que les liens pointant vers cette URL (qui sera bloquée au crawl) aient l’attribut rel= »nofollow », tant qu’à faire…
Imaginons un peu la quantité d’URL à bloquer au crawl, pour notamment réduire cette « masse noire » si ingénieusement expliquée par MyRankingMetrics. Il y a par exemple les mentions légales, les pages de compte client (dont on retrouve quasi systématiquement les liens en pied de page des sites Prestashop)… Tout autant de pages qu’il va falloir recontrôler, pour le cas échéant non seulement les passer en noindex, et idéalement en bloquer le crawl !
Vérifiez bien que vos règles de disallow ne soient pas en conflit avec d’autres. Par exemple, si vous vendez des paniers en osier, le fait de bloquer l’URL /panier risque plus que fortement de bloquer la quasi totalité du crawl de votre catalogue, ce qui ne serait pas très malin…
Regénération du fichier robots.txt de Prestashop
Cette étape explique clairement pourquoi le module Ever SEO (ou le module gratuit de modification du robots.txt) est utile. Prestashop dispose déjà d’un bouton de génération du robots.txt, que vous pouvez retrouver tout en bas de la page « Trafic & SEO ».
Le module enregistre donc les informations que vous avez besoin de voir ajoutées au robots.txt de votre boutique Prestashop. Si vous l’aviez modifié manuellement, sachez qu’à chaque fois qu’un administrateur regénérera ce fichier, vous perdrez potentiellement l’intégralité de ce qui avait été paramétré. Par-dessus le marché, vous risquez de perdre un temps précieux à remettre en place ce qui avait déjà été fait, plutôt frustrant…
Ever SEO enregistre tout pour vous. Lorsque le fichier robots.txt est regénéré sur votre Prestashop, une action est déclenchée (ces célèbres hooks sur Prestashop), le module e greffant dessus. Ainsi, à chaque regénération du robots.txt, Ever SEO ajoute à la suite vos propres règles.
Vous l’aurez peut-être compris, cela signifie qu’à chaque modification de l’onglet robots.txt du module Ever SEO, il vous faudra enregistrer, puis vous devrez regénérer le fichier en cliquant sur le bouton prévu à cet effet. Nul besoin de vous connecter à un espace FTP, la modification étant instantanée.
Imprimer
Laisser un commentaire