Comment créer un robot de scraping avec ChatGPT, sans savoir coder ?
Au lancement de GreyFox Ads, nous avions une ambition : concevoir un Green Score capable de mieux qualifier les sites de l’Open Web. Il nous fallait analyser les performances de centaines de sites. Problème : nous ne savions pas coder. Alors nous avons demandé à ChatGPT de nous aider à construire notre propre robot de scraping. 🤖
Oui, on peut créer un robot de scraping avec ChatGPT sans être développeur. L’IA peut aider à écrire un script, comprendre les erreurs et automatiser une collecte répétitive. Chez GreyFox Ads, cette approche nous a permis de récupérer les scores Lighthouse desktop et mobile d’une sélection de 500 sites français. Mais il faut vérifier les résultats, respecter les conditions d’accès aux sites et distinguer les indicateurs de performance web d’une mesure directe de l’empreinte carbone.
Pourquoi créer un robot de scraping en programmatique ?
Un robot de scraping est un programme qui récupère automatiquement des informations accessibles sur des pages ou des services web, afin de les organiser dans un fichier exploitable. Lorsqu’un service fournit une API officielle, son utilisation est généralement préférable à l’extraction automatisée d’une interface.
Dans notre cas, nous cherchions à différencier GreyFox Ads des régies programmatiques traditionnelles. Beaucoup d’approches de la sobriété publicitaire s’intéressaient à la connexion, au poids des créations ou à des signaux techniques de la chaîne d’achat. Nous voulions aussi nous interroger sur l’efficacité technique des sites éditeurs eux-mêmes.
Le point de départ : utiliser les scores Google Lighthouse comme indicateurs indirects de performance et d’optimisation web, puis comparer une sélection de sites français. Relever manuellement les résultats de 500 domaines, en desktop et sur mobile, aurait été extrêmement chronophage.
Notre expérience : un robot fonctionnel après trois heures et beaucoup de cafés ☕
Nous sommes partis avec une idée simple : demander à ChatGPT d’écrire le robot, puis lui transmettre les erreurs rencontrées pour l’améliorer progressivement. Il ne s’agissait pas de générer un logiciel parfait en un clic.
Après environ trois heures de tests, une trentaine de corrections et plusieurs captures d’écran pour expliquer les problèmes, nous disposions d’un script maison capable de collecter les scores Lighthouse desktop et mobile sur notre sélection des 500 principaux sites français.
Ce retour d’expérience ne constitue pas un benchmark de la qualité de ChatGPT ni une garantie de délai : il décrit notre propre expérimentation au démarrage de GreyFox Ads. Mais il illustre une idée utile : une personne métier peut prototyper des outils techniques avec l’aide d’un LLM, même si elle ne maîtrise pas encore le développement.
Comment créer son premier robot avec ChatGPT ?
Voici une méthode pratique proposée à partir de notre expérience ; ce n’est pas la transcription exacte des commandes utilisées lors de notre projet.
- Définir une collecte précise : quelles URL, quelles métriques, quelle fréquence et quel format de sortie ?
- Privilégier une source officielle : API ou outil en ligne de commande lorsque disponible. Lighthouse peut notamment être exécuté via son projet officiel.
- Demander un prototype simple à ChatGPT : expliquer son système d’exploitation, les données attendues et son niveau technique.
- Tester sur quelques sites : contrôler les résultats avant de lancer une collecte de grande ampleur.
- Corriger itérativement : fournir les messages d’erreur complets, sans partager de mots de passe, clés API ou données sensibles.
- Fiabiliser la sortie : journaliser les erreurs, conserver les dates de mesure et exporter les résultats dans un CSV ou un tableur.
| Élément | Question à poser avant d’automatiser |
|---|---|
| Source | Existe-t-il une API ou un outil officiel plutôt qu’un scraping HTML ? |
| Fréquence | À quelle cadence mesurer sans surcharger les services ? |
| Qualité | Comment traiter les erreurs, les pages inaccessibles et les résultats manquants ? |
| Comparabilité | Les conditions de mesure sont-elles identiques entre sites et dates ? |
| Conformité | Les conditions d’utilisation et les règles applicables autorisent-elles la collecte ? |
Du robot Lighthouse au Green Score GreyFox Ads
Cette première automatisation a constitué une brique de notre Green Score. L’objectif n’était pas de décréter qu’un site avec un bon score Lighthouse avait nécessairement une faible empreinte carbone. Les performances techniques peuvent être un signal utile, mais elles ne mesurent pas directement les émissions associées à une page ou à une campagne.
Nous avons ensuite fait évoluer notre approche en intégrant notamment un indicateur de bid requests par page vue. Pourquoi ? Parce qu’un site peut multiplier les sollicitations publicitaires sans offrir davantage d’opportunités réelles ni améliorer l’expérience utilisateur. Ce ratio aide à repérer des profils de monétisation particulièrement agressifs, sans constituer à lui seul une preuve qu’un site est Made for Advertising (MFA).
Cette logique rejoint notre travail sur les liens entre pression publicitaire, MFA et impact environnemental, ainsi que sur la détection des inventaires MFA.
Les précautions à connaître avant de lancer un robot de scraping
- Respecter les règles d’accès : vérifier les conditions d’utilisation, les restrictions techniques pertinentes et les droits sur les données ; ne pas contourner les protections.
- Éviter la surcharge : limiter la fréquence des requêtes, prévoir des pauses et gérer les erreurs réseau.
- Contrôler les mesures : un score Lighthouse varie selon la configuration, la page, le réseau et le moment du test.
- Ne pas confondre proxy et preuve : Lighthouse ne fournit pas à lui seul une mesure d’émissions carbone.
- Garder un humain dans la boucle : relire le code, tester les résultats et documenter les choix méthodologiques.
Et pour les Media Traders, quel intérêt ?
Le sujet dépasse largement la collecte de scores web. Les outils d’IA peuvent aider les équipes produit et média à automatiser des tâches répétitives, consolider des rapports, tester des hypothèses et construire des outils de contrôle adaptés à leurs besoins.
Chez GreyFox Ads, cette démarche d’ingéniosité nourrit nos Curated Master Deals : sélection de chemins d’achat pertinents, exclusion de sites et sous-domaines MFA, filtres de brand safety, attention portée à la taille des créations et stratégies de ciblage combinant les signaux disponibles selon les environnements et les permissions.
Notre conviction : l’innovation n’est pas réservée aux équipes de développement. Avec une question métier bien posée, des tests et de la persévérance, on peut déjà créer des outils utiles.
Sources et périmètre
Retour d’expérience : publication LinkedIn originale de GreyFox Ads. Les durées, le nombre de corrections et les 500 sites proviennent du témoignage de GreyFox Ads et ne constituent pas une étude comparative indépendante.
Documentation technique : Google Chrome Developers — Lighthouse ; projet Lighthouse officiel. Les étapes pratiques et précautions sont des recommandations éditoriales complémentaires au récit initial.
Besoin d’un partenaire programmatique qui innove ?
Parlons qualité de l’inventaire, curation, SPO et efficacité réelle de vos investissements.