E-commerce
29 octobre 2026
Vous vous demandez comment auditer votre boutique e‑commerce avec Python et Scrapy ?
En bref : en quelques lignes de code vous obtenez la liste complète de vos pages, détectez les erreurs et repérez les leviers d’optimisation.
Cette approche évite les outils coûteux, tout en vous offrant un contrôle total sur les données collectées, indispensable pour améliorer le SEO, la vitesse ou l’accessibilité.
Alors, comment auditer votre boutique e‑commerce avec Python et Scrapy ? Au programme :
Pourquoi créer son propre crawler plutôt que d’acheter un service ?
Quelles sont les prérequis techniques pour lancer le projet ?
Comment installer Python et Scrapy sur votre serveur ?
Comment définir et structurer les Items pour extraire les URLs ?
Comment Qstomy complète cette démarche et simplifie le suivi ?
C’est parti.
En plus de la génération d’inventaire, le crawler vous permet d’extraire des métriques comme le temps de chargement moyen ou la profondeur de chaque page, ce qui vous donne une vision globale de la santé technique de votre site. Grâce à l’intégration native avec les API de Qstomy, vous pouvez automatiser la remontée de ces métriques dans vos rapports périodiques, facilitant ainsi la prise de décision basée sur des données fiables.
Cette méthode s’adapte aussi bien aux petits catalogues qu’aux grandes plateformes multivendeurs, offrant une flexibilité maximale pour tout type de boutique en ligne.
Sommaire
Pourquoi créer son propre crawler plutôt que d’acheter un service ?
Un crawler maison vous donne une liberté totale : vous choisissez les pages à scanner, la fréquence d’exécution et le format des rapports. Les services clés en main facturent souvent des licences mensuelles et ne permettent pas d’accéder aux données brutes. En développant votre propre script Python, vous pouvez l’intégrer à votre pipeline Qstomy, déclencher des alertes automatiques et enrichir votre tableau de bord avec les indicateurs qui comptent vraiment pour votre boutique.
De plus, le coût d’un serveur basique et de quelques heures de développement reste largement inférieur à un abonnement annuel. Cette solution s’avère donc idéale pour les marchands qui veulent optimiser leur SEO, comme expliqué dans « Comment fonctionne le SEO pour les sites e‑commerce ? .
En créant votre propre crawler, vous pouvez également personnaliser les filtres pour exclure les pages admin, les comptes utilisateurs ou tout autre segment sensible, garantissant ainsi que le crawl ne perturbe pas votre infrastructure. Vous avez enfin la possibilité d’enrichir chaque URL avec des métadonnées spécifiques à votre activité, comme le type de produit ou la catégorie, ce qui simplifie grandement l’analyse post‑crawl.



200+ ecommerçants accompagnés
Quelles sont les prérequis techniques pour lancer le projet ?
Avant de coder, assurez‑vous de disposer d’un serveur (ou d’un VPS) avec un accès SSH. Vous devez pouvoir installer des paquets Python et exécuter des lignes de commande depuis un terminal. Un compte avec les droits d’administration est recommandé pour installer les dépendances système. Enfin, préparez un répertoire dédié où vous stockerez votre projet Scrapy et les fichiers de sortie.
Si vous débutez, commencez par installer une plateforme e‑commerce adaptée comme Shopify, qui s’intègre naturellement aux scripts Python via son API.
Pensez également à vérifier la disponibilité d’une connexion HTTPS valide sur votre domaine, car Scrapy suit par défaut les redirections sécurisées. Une fois le serveur prêt, il est judicieux d’allouer un espace disque suffisant pour les logs et les exports, surtout si vous prévoyez des crawls quotidiens qui peuvent générer plusieurs mégaoctets de données.
N’oubliez pas de configurer le pare-feu afin d’autoriser les requêtes sortantes sur le port 443, indispensable pour que Scrapy puisse naviguer en HTTPS sans blocage.
Comment installer Python et Scrapy sur votre serveur ?
Sur la plupart des distributions Linux, Python 3 est déjà présent. Vérifiez avec python3 --version. Sinon, installez‑le via le gestionnaire de paquets : sudo apt‑get install python3. Ensuite, créez un environnement virtuel pour isoler les dépendances : python3 -m venv venv && source venv/bin/activate. Avec l’environnement activé, installez Scrapy : pip install scrapy. Sur macOS, utilisez brew install python puis suivez les mêmes étapes. La documentation officielle de Scrapy fournit des exemples détaillés.
Une fois l’installation terminée, testez rapidement la configuration avec scrapy version pour vous assurer que Scrapy répond correctement. Vous pouvez également installer des extensions utiles comme scrapy-splash pour le rendu JavaScript ou scrapy-redis pour la distribution de crawl sur plusieurs workers, selon la complexité de votre boutique.
Comment initier un nouveau projet Scrapy ?
Une fois Scrapy installé, créez un répertoire de travail et lancez la commande suivante : scrapy startproject boutique. Cette instruction génère la structure de dossiers standard (folders spiders, items.py, settings.py, etc.). Vous pouvezImmediately voir le fichier scrapy.cfg qui relie votre projet à l’interpréteur. Renommez le dossier boutique selon votre convenance, par exemple audit, pour refléter la mission du script.
Après la création du projet, pensez à ajuster le fichier settings.py : définissez ROBOTSTXT_OBEY = True pour respecter les règles du fichier robots.txt, configurez DOWNLOAD_DELAY afin de ne pas surcharger le serveur, et activez le pipeline d’export si vous souhaitez générer directement des fichiers JSON ou CSV. Ces réglages garantissent un crawl poli et fiable.
Pour gérer les blocages éventuels, activez le middleware de rotation de proxies dans settings.py ; cela permet de répartir les requêtes sur plusieurs adresses IP et d’éviter les limitations côté serveur.
Comment générer automatiquement un spider CrawlSpider ?
Scrapy propose un générateur de spiders. Dans le même répertoire, exécutez : scrapy genspider -t crawl monspider exemple.com. Le flag -t crawl crée un CrawlSpider, déjà équipé d’un LinkExtractor qui suit les liens. Le fichier monspider.py apparaît sous spiders/. Vous n’avez plus qu’à indiquer le domaine cible (exemple.com) et le point d’entrée (la page d’accueil).
Pour affiner le comportement, vous pouvez éditer la classe générée et ajouter des règles supplémentaires, comme des restrictions d’URL avec allow ou deny. Vous pouvez également injecter des headers personnalisés (User‑Agent, Accept‑Language) afin de simuler différents navigateurs et de réduire les risques de blocage par le serveur.
Comment définir les Items pour récupérer les URLs ?
Dans le fichier items.py, créez une classe qui hérite de scrapy.Item. Ajoutez un champ url = scrapy.Field(). Cela ressemble à :class PageItem(scrapy.Item):
url = scrapy.Field()
Cette structure permet de stocker chaque URL découverte dans un objet structuré, facilitant l’exportation ultérieure (JSON, CSV, etc.). Vous pouvez ajouter d’autres champs (titre, statut HTTP) quand le besoin d’analyser plus finement apparaît.
Par exemple, pour récupérer le code de statut HTTP, ajoutez simplement status = scrapy.Field() et remplissez‑le dans votre méthode de parsing. Cela vous donnera une vue d’ensemble sur les pages qui renvoient des pages manquantes ou 500, cruciales pour le suivi de la santé du site.
Comment personnaliser les règles d’extraction de liens ?
Dans le spider, la variable rules détermine quels liens seront suivis. Pour récupérer *tous* les liens, simplifiez la règle : Rule(LinkExtractor(), callback=’parse_page’, follow=True). Cette instruction indique à Scrapy d’extraire chaque href présent sur la page courante, d’appeler la fonction parse_page pour chaque réponse, puis de poursuivre la navigation récursive.
Si vous devez exclure des URLs (ex. pages d’administration), utilisez l’argument deny du LinkExtractor avec une expression régulière adaptée.
Il est également possible de combiner plusieurs règles afin d’appliquer des traitements différents selon le type de page (produit, catégorie, blog). Par exemple, une règle peut appeler parse_product pour les pages produits, tandis qu’une autre utilise parse_category pour les listes de catégories.
Comment extraire l’URL de chaque page visitée ?
Dans la méthode parse_page, créez une instance de votre Item puis affectez response.url au champ url. Exemple :def parse_page(self, response):
item = PageItem()
item[’url’] = response.url
return item
Aucun autre traitement n’est obligatoire ; le spider renverra simplement chaque URL rencontrée. Vous pouvez enrichir l’objet avec d’autres informations, comme le code de statut (response.status) ou le titre de la page (response.xpath(’//title/text()’).get()).
Pour capturer le temps de réponse du serveur, ajoutez item[’load_time’] = response.meta[’download_latency’]. Cette donnée devient très utile pour identifier les pages lentes et orienter les optimisations de performance.
Comment lancer le crawl et sauvegarder les résultats ?
Déplacez‑vous dans le répertoire du projet et exécutez : scrapy crawl monspider -o pages.json. L’option -o indique à Scrapy d’écrire les items dans le fichier pages.json au format JSON. Vous pouvez également choisir -o pages.csv pour un tableau compatible Excel.
Pour automatiser le processus, créez une tâche cron qui lance le crawl chaque nuit. Ainsi, vous disposerez chaque jour d’un inventaire à jour des URLs de votre boutique, exploitable dans vos rapports Qstomy.
Si vous souhaitez exécuter le crawl en mode verbeux pour diagnostiquer d’éventuels problèmes, ajoutez le flag -s LOG_LEVEL=DEBUG. Vous pouvez également rediriger la sortie vers un fichier de log afin de conserver une trace historique des exécutions et des éventuelles erreurs rencontrées.
Le fichier de log produit par Scrapy peut être envoyé vers des solutions comme Datadog ou Grafana, offrant un tableau de bord visuel en temps réel pour détecter rapidement les erreurs ou les ralentissements du crawl.
Comment analyser les données pour identifier les points d’optimisation ?
Importez le fichier pages.json dans un outil d’analyse (pandas, Excel ou Google Sheets). Recherchez les URLs dupliquées, les réponses 4xx/5xx, et les pages orphelines (sans inbound links). Ces signaux indiquent des problèmes de SEO ou d’expérience utilisateur.
En croisant les résultats avec notre guide d’optimisation Google, vous pourrez prioriser les correctifs à appliquer. Exportez ensuite les listes de pages à corriger et importez‑les dans Qstomy pour planifier les actions de développement.
Une fois les anomalies identifiées, vous pouvez automatiser la génération de tickets JIRA ou Asana directement depuis Qstomy grâce aux webhooks intégrés, assurant ainsi que chaque problème détecté soit suivi jusqu’à sa résolution.
Comment Qstomy facilite‑t‑il l’audit de votre boutique grâce à Python et Scrapy ?
Qstomy s’appuie sur vos crawls pour alimenter un tableau de bord centralisé. Après chaque exécution du spider, vous pouvez uploader le fichier JSON via l’interface Qstomy; le système le transforme en métriques clés : nombre de pages, taux d’erreur, temps moyen de chargement. Vous recevez ensuite des recommandations automatiques, comme la mise à jour de balises alt ou la réduction du poids des images.
De plus, Qstomy déclenche des alertes par e‑mail ou notification in‑app dès qu’une anomalie dépasse le seuil défini. Vous bénéficiez ainsi d’un monitoring continu sans devoir développer de scripts supplémentaires.
Le tableau de bord propose également des visualisations interactives (heat‑map des temps de réponse, diagramme de répartition des codes HTTP) qui aident les équipes produit et technique à identifier rapidement les zones critiques à optimiser.
Quelle checklist avant de déployer votre crawler en production ?
En bref
Serveur stable : vérifiez l’espace disque et la charge CPU.
Permissions SSH : assurez‑vous que l’utilisateur a les droits nécessaires.
Version Python : utilisez Python 3.8+ pour la compatibilité Scrapy.
Tests locaux : lancez le spider en mode
scrapy crawl --nologpour valider la logique.Intégration Qstomy : programmez l’import automatisé des résultats dans le tableau de bord.
FAQ
Q : Le crawler impacte‑t‑il les performances du site ? R : Le crawl est limité à une vitesse raisonnable (défaut 8 requêtes/s) pour ne pas surcharger le serveur.
Q : Puis‑je filtrer des sections du site ? R : Oui, utilisez les paramètres
denyouallowdu LinkExtractor.
Pour aller plus loin : Comment créer une passerelle de paiement pour un site e-commerce ? - Qstomy, Comment attirer du trafic vers une boutique en ligne (SEO, ads, réseaux sociaux) ? - Qstomy, Pourquoi utiliser les réseaux sociaux pour le service client e-commerce ? - Qstomy, Comment utiliser un chatbot IA pour comparer deux produits dans votre boutique ? - Qstomy.
Enfin, pensez à ajouter un monitoring de la santé du crawler lui‑même en enregistrant la durée totale du crawl et le nombre de pages traitées. Ces indicateurs vous permettront d’ajuster la fréquence d’exécution et de détecter d’éventuels ralentissements liés à la croissance de votre catalogue.

Enzo
29 octobre 2026



