E-commerce
31 octobre 2026
Vous vous demandez comment surveiller les prix de vos concurrents sans y passer des heures chaque jour ?
La solution passe par un petit script Python utilisant le framework Scrapy : il explore les sites cibles, extrait les tarifs et vous livre les données prêtes à l’emploi.
Cette démarche demande quelques notions d’HTML et de CSS, mais reste accessible à tout marchand motivé à automatiser son suivi de prix.
En plus de réduire le temps passé à la veille concurrentielle, l’automatisation vous offre une veille continue, vous permettant d’anticiper les baisses ou hausses de tarifs avant même que vos clients ne le remarquent.
Alors, comment suivre les prix des concurrents avec Python et Scrapy ? Au programme :
Pourquoi le suivi des prix est‑il crucial pour votre boutique Shopify ?
Quelles sont les forces de Scrapy face aux services payants ?
Comment préparer son environnement : Python, pip et dépendances ?
Comment créer un projet Scrapy et définir les éléments à extraire ?
Comment Qstomy se connecte‑t‑il à votre robot pour transformer les données en actions concrètes ?
C’est parti.
Avant de commencer, assurez‑vous que votre boutique respecte les politiques de confidentialité et que vous disposez d’une permission claire pour collecter ces données publiques. Cela évitera tout problème juridique et garantira une veille éthique.
Sommaire
Pourquoi le suivi des prix est‑il crucial pour votre boutique Shopify ?
Sur un marché où les prix fluctuent chaque jour, connaître ceux de vos concurrents vous permet d’ajuster vos tarifs en temps réel, d’éviter les pertes de marge et d’attirer les acheteurs sensibles au prix. En détectant rapidement une hausse ou une baisse, vous pouvez programmer des promotions ciblées ou profiter d’une marge supplémentaire. Au‑delà de la compétitivité, le suivi de prix alimente vos analyses de tendance, vous aide à identifier les best‑sellers et à anticiper les saisons de rupture de stock. En bref, il s’agit d’un levier de profit indispensable pour tout commerçant Shopify qui veut rester agile.
De plus, disposer d’un historique des prix vous donne la possibilité de réaliser des modélisations économiques avancées, comme la prévision de l’élasticité prix ou l’impact des variations saisonnières sur le chiffre d’affaires.
En outre, le suivi des prix vous permet de calculer des indicateurs clés comme le prix moyen du segment, le taux de changement quotidien et la part de marché relative. Ces KPI alimentent votre tableau de bord stratégique et facilitent les décisions d’ajustement rapide.



200+ ecommerçants accompagnés
Quelles sont les forces de Scrapy face aux services payants ?
Des solutions comme Wiser ou Price Trakker offrent des plateformes clé‑en‑main, mais leur coût peut rapidement dépasser les budgets des petites boutiques. Scrapy, au contraire, est un framework open‑source, gratuit et hautement personnalisable. Il fonctionne sur tous les systèmes (macOS, Linux, Windows) et ne requiert aucun serveur dédié : votre ordinateur suffit. De plus, vous avez le contrôle total sur la fréquence de crawling, les champs récupérés et le format de sortie (CSV, JSON, base de données). Cette liberté vous permet d’intégrer directement les données dans les flux Qstomy, d’automatiser des ajustements de prix ou d’alimenter votre tableau de bord d’analyse.
En outre, la communauté active autour de Scrapy propose de nombreux plug‑ins (middlewares, extensions) qui facilitent la gestion des proxies, du respect des règles robots.txt et du throttling afin d’éviter le bannissement des sites cibles.
Parmi les extensions les plus utiles, on retrouve scrapy‑proxy‑pool pour gérer automatiquement les adresses IP, scrapy‑autoextract qui simplifie l’extraction de données structurées, et scrapy‑crawlee qui ajoute le support des sites JavaScript grâce à Playwright.
Comment préparer son environnement : Python, pip et dépendances ?
Avant de coder, assurez‑vous d’avoir :
Python 2.7 ou supérieur installé.
Le gestionnaire de paquets pip.
Les bibliothèques setuptools, lxml et OpenSSL.
Sur macOS ou Linux, Python est souvent présent par défaut ; il suffit d’ajouter pip avec la commande sudo python get-pip.py, puis de mettre à jour le paquet six (nécessaire à Scrapy) via sudo pip install --upgrade six. Enfin, installez Scrapy avec sudo pip install Scrapy. Sous Windows, suivez la procédure détaillée sur le site officiel de Scrapy.
Pensez également à créer un environnement virtuel (via python -m venv env) afin d’isoler les dépendances de votre projet et de pouvoir reproduire facilement le même setup sur d’autres machines.
Comment créer un projet Scrapy et définir les éléments à extraire ?
Ouvrez votre terminal, placez‑vous dans le répertoire de travail et lancez :
scrapy startproject prix_concurrents
Cette commande génère la structure de dossiers suivante :
prix_concurrents/
├─ scrapy.cfg
├─ prix_concurrents/
│ ├─ __init__.py
│ ├─ items.py
│ ├─ pipelines.py
│ ├─ settings.py
│ └─ spiders/
Le fichier items.py sert à déclarer les champs que vous voulez récupérer, par exemple nom_produit, prix et url. Vous les ajoutez sous forme de scrapy.Field().
Vous pouvez également créer un fichier middlewares.py pour gérer les en‑têtes HTTP, les délais entre les requêtes ou la rotation des proxies afin de rester invisible aux systèmes anti‑scraping.
Comment écrire le spider qui parcourt la catégorie et récupère les prix ?
Dans spiders/, créez un fichier tfaw_spider.py. Voici l’essentiel :
import scrapy
from prix_concurrents.items import PrixConcurrentsItem
class TFAWSpider(scrapy.Spider):
name = ’tfaw’
start_urls = [’https://www.tfaw.com/collections/mass-effect’]
def parse(self, response):
for link in response.css(’a.product-link::attr(href)’).getall():
yield response.follow(link, self.parse_product)
def parse_product(self, response):
item = PrixConcurrentsItem()
item[’nom_produit’] = response.css(’h1.title::text’).get().strip()
item[’prix’] = response.css(’span.price::text’).re_first(r’\d+[.,]?\d*’)
item[’url’] = response.url
yield itemLe spider récupère d’abord les URLs des fiches produit depuis la page catégorie, puis, pour chaque produit, extrait le nom, le prix et l’adresse. Vous pouvez ajuster les sélecteurs CSS selon la structure du site cible.
N’oubliez pas d’ajouter une méthode custom_settings pour définir le délai entre les requêtes (DOWNLOAD_DELAY) ou activer le respect du robots.txt, ce qui rend le crawler plus respectueux des politiques du site.
Comment gérer la pagination pour couvrir l’ensemble du catalogue ?
Beaucoup de sites affichent leurs produits sur plusieurs pages. Ajoutez simplement un suivi du lien « suivant » :
def parse(self, response):
for link in response.css(’a.product-link::attr(href)’).getall():
yield response.follow(link, self.parse_product)
next_page = response.css(’a.next::attr(href)’).get()
if next_page:
yield response.follow(next_page, self.parse)Le spider continue tant qu’un bouton « next » est présent, garantissant la collecte exhaustive des prix.
Pour les sites qui utilisent le scrolling infini, vous pouvez remplacer ce mécanisme par une API interne ou simuler le chargement dynamique avec Selenium, mais cela augmente la complexité et le temps d’exécution.
Comment exporter les données vers un format exploitable ?
Scrapy propose directement des pipelines d’export : lancez le crawl avec l’option -o prix.csv ou -o prix.json. Exemple :
scrapy crawl tfaw -o prix.csv
Le fichier généré contient une ligne par produit avec les champs définis dans items.py. Vous pouvez ensuite l’importer dans votre tableau de bord Qstomy ou le connecter à une base de données via un pipeline personnalisé.
Si vous avez besoin d’un format plus riche (ex. : MongoDB ou PostgreSQL), créez un pipeline dans pipelines.py qui ouvre la connexion à la base et insère chaque item au vol, ce qui évite de stocker des fichiers temporaires.
Comment automatiser l’exécution du script chaque jour ?
Sous macOS ou Linux, créez une tâche cron :
0 3 * * * cd /chemin/vers/prix_concurrents && scrapy crawl tfaw -o prix_$(date +\%Y\%m\%d).csv
Cette ligne lance le spider à 3 h du matin, génère un fichier daté et conserve l’historique. Sous Windows, utilisez le Planificateur de tâches avec la même commande. L’automatisation vous garantit un flux continu de données, prêt à être exploité par Qstomy.
En plus du cron, vous pouvez exploiter des services comme GitHub Actions ou AWS Lambda pour déclencher le crawl depuis le cloud, ce qui vous libère de la gestion d’un serveur dédié.
Comment intégrer les prix récupérés dans les recommandations Qstomy ?
Qstomy peut lire les fichiers CSV via son module d’import : choisissez « Import de données concurrentielles » dans le tableau de bord, uploadez le fichier généré, puis mappez les colonnes nom_produit, prix et url. Une fois les données assimilées, Qstomy propose :
Des ajustements automatiques de vos prix en fonction de la moyenne du marché.
Des alertes lorsqu’un concurrent abaisse son tarif de plus de 5 %.
Des recommandations de bundles ou de promotions ciblées pour les produits sous‑performants.
Le flux reste entièrement configurable, vous gardez le contrôle tout en profitant de l’intelligence de Qstomy.
Vous pouvez également configurer des règles de mapping avancées, par exemple appliquer un coefficient multiplicateur sur les prix importés pour garder une marge cible avant que Qstomy ne les ajuste automatiquement.
Comment exploiter les historiques de prix pour anticiper les tendances ?
En conservant chaque export quotidien, vous construisez une série temporelle. Importez ces archives dans votre outil d’analyse (Google Sheets, Power BI ou le module d’analyse Qstomy). Tracez l’évolution du prix moyen par catégorie, identifiez les pics saisonniers et les baisses récurrentes. Ces enseignements vous aident à planifier vos campagnes de soldes, à négocier vos achats en amont et à proposer des prix attractifs au bon moment.
Grâce aux fonctions de régression ou aux modèles de séries temporelles (ARIMA, Prophet), vous pouvez même prévoir les variations futures et préparer des scénarios de prix dynamiques qui s’adaptent automatiquement aux conditions du marché.
Comment Qstomy aide‑t‑il à transformer les données de Scrapy en actions concrètes ?
Qstomy agit comme un pont entre vos données de prix et vos objectifs de conversion. Après l’import, il :
Analyse les écarts de prix et suggère des ajustements dynamiques.
Met à jour automatiquement les tarifs de vos fiches produits Shopify via son API intégrée.
Enrichit les recommandations d’upsell/cross‑sell en fonction des produits les mieux positionnés côté concurrent.
Génère des rapports hebdomadaires et alerte votre équipe lorsqu’un concurrent lance une promotion importante.
Ainsi, le travail de scraping devient immédiatement exploitable sans besoin de manipulation manuelle.
De plus, Qstomy permet de créer des scénarios de test A/B où différents niveaux de remise sont appliqués automatiquement selon les prix concurrents, afin d’optimiser le taux de conversion en temps réel.
Quelle checklist avant de lancer son robot de suivi de prix ?
Checklist avant le lancement
Vérifier la légalité du scraping pour chaque site cible (conditions d’utilisation).
Identifier les sélecteurs CSS/XPath exacts pour le nom, le prix et l’URL.
Tester le spider sur une page unique avant de lancer le crawl complet.
Programmer la fréquence d’exécution (cron ou planificateur Windows).
Configurer l’import automatique dans Qstomy et vérifier le mapping des champs.
En bref
Scrapy offre une solution économique, flexible et puissante pour suivre les prix de vos concurrents. Couplé à Qstomy, il transforme chaque donnée en opportunité de vente.
FAQ
Scrapy bloque‑t‑il les sites sécurisés ? Oui, à condition que le certificat SSL soit valide et que vous utilisiez la version récente de l‑outil.
Puis‑je scraper plusieurs sites avec le même projet ? Créez simplement plusieurs spiders dans le répertoire
spiders/, chacun avec sonstart_urlsdédié.Quel format de données préfère Qstomy ? Les CSV et JSON sont les plus simples ; Qstomy accepte les deux via son importateur intégré.
Pour aller plus loin : SEO pour sites e-commerce : stratégies qui fonctionnent vraiment - Qstomy, Comment fonctionne le SEO pour les sites e-commerce ? - Qstomy, Boucle de rétroaction : suivre les feedbacks pour optimiser vos produits - Qstomy, Comment optimiser un site e-commerce pour Google (guide étape par étape) - Qstomy, Stratégie SEO e-commerce pour les pages catégorie - Qstomy, Comment construire une stratégie Facebook Ads e-commerce ? - Qstomy, Comment optimiser une fiche produit pour convertir ? - Qstomy.

Enzo
31 octobre 2026



