Si vous êtes SEO, vous savez que les sitemaps XML sont importants pour le crawl et l’indexation de vos pages. Il existe plusieurs enjeux majeurs à travers les sitemaps XML :
- Les urls poussées dans les sitemaps doivent regroupées vos pages importantes d’un point de vue SEO (d’ailleurs je vous recommande l’article pour créer un sitemap en python)
- Vos sitemaps doivent être fréquemment mis à jour (quotidiennement pour les sites E-commerce par exemple).
- Vos sitemaps doivent être déclarés dans la GSC (Google Search Console) pour notamment évaluer le niveau d’indexation des urls envoyées.
Au delà de ces 3 points, il en existe un pour lequel les SEO n’ont pas la main : Celui de la fréquence de crawl de Google sur vos sitemaps.
Et bien j’ai une bonne nouvelle, il est possible d’inciter Google à venir crawler vos sitemaps à la demande, et ce en quelques lignes de code.
Il ne vous restera plus qu’à l’automatiser via un cron sur votre machine.
Voici le code Python 🔥
import urllib.request
from bs4 import BeautifulSoup
try:
url = "http://www.google.com/ping?sitemap=https://www.example.com/sitemap.xml"
response = urllib.request.urlopen(url)
soup = BeautifulSoup(response.read(), "html.parser")
print(soup.find("h2").text)
except Exception as e:
print(e)
Une fois le script lancé, vous pouvez vérifier la date de crawl de Google dans la GSC (sitemap). C’est magique, elle est à jour !
Dernière étape, il ne vous restera plus qu’à automatiser le script via un cron sur votre machine pour le faire tourner périodiquement selon vos besoins.
