Aller au contenu
Commencer gratuitement

Blog

Perspectives et ingénierie

Une analyse approfondie de l'infrastructure des données Web, des techniques d'extraction et de l'avenir des données structurées à grande échelle.

Derniers articles

156 articles

Sélecteurs XPath et CSS : Choisir le bon
Cas d'utilisation

Sélecteurs XPath et CSS : Choisir le bon

TL;DR: XPath et les sélecteurs CSS localisent tous deux des éléments du DOM, mais ils résolvent des problèmes différents. Les sélecteurs CSS sont plus rapides et plus lisibles pour les sélections simples. XPath l'emporte lorsque vous devez parcourir le DOM dans n'importe quelle direction, faire correspondre du contenu textuel ou gérer une logique conditionnelle complexe. La plupart des projets de production bénéficient de l'utilisation des deux stratégies.

Mihai Maxim16 min read
Lire l'article
Comment configurer le proxy Axios dans Node.js : Auth, Rotation, SOCKS5
Guides

Comment configurer le proxy Axios dans Node.js : Auth, Rotation, SOCKS5

TL;DR: Axios achemine les requêtes à travers un proxy en acceptant un objet proxy avec un hôte, un port et des champs d'authentification optionnels. Ce guide explique comment mettre en place une configuration de proxy Axios à partir de zéro : le câblage de base, les proxys authentifiés, le tunneling HTTPS, un système de rotation utilisant des intercepteurs, SOCKS5 via socks-proxy-agent, et le diagnostic des erreurs les plus courantes. Chaque extrait est du code Node.js à copier-coller.

Suciu Dan12 min read
Lire l'article
Fichier de téléchargement Puppeteer : 4 méthodes pour Node.js
Guides

Fichier de téléchargement Puppeteer : 4 méthodes pour Node.js

TL;DR: Un workflow de téléchargement de fichier Puppeteer peut prendre quatre formes : cliquer sur un bouton et laisser Chrome écrire dans un dossier que vous contrôlez, exécuter fetch() dans la page et renvoyer base64 à Node, piloter le protocole Chrome DevTools avec des événements de progression du téléchargement, ou ignorer le navigateur et extraire l'URL avec Axios en utilisant les cookies récoltés lors de la session Puppeteer. Choisissez en fonction de la taille du fichier, de l'authentification et de la façon dont le site expose le lien.

Mihnea-Octavian Manolache42 min read
Lire l'article
Comment utiliser un proxy dans Node-Fetch : Un guide pratique
Guides

Comment utiliser un proxy dans Node-Fetch : Un guide pratique

TL;DR: Node-Fetch n'a pas de commutateur proxy intégré, vous devez donc connecter un agent HTTP, HTTPS ou SOCKS5 à la requête via son option agent. Ce guide explique comment utiliser un proxy dans Node-Fetch de bout en bout : proxy HTTP et HTTPS authentifiés, SOCKS5, rotation, tentatives, cas limites de TLS, dépannage, et la route moderne undici pour Node 18+ native fetch.

Mihnea-Octavian Manolache13 min read
Lire l'article
Web Scraping JavaScript Tables in Python : Des API cachées à Playwright
Guides

Web Scraping JavaScript Tables in Python : Des API cachées à Playwright

TL;DR: Le scraping de tables JavaScript en Python nécessite rarement un navigateur sans tête. Ouvrez DevTools, trouvez le point de terminaison JSON qui hydrate la grille, rejouez-le avec des requêtes, paginez-le, et ne revenez à Playwright que lorsque l'appel réseau est signé, crypté ou autrement scellé.

Andrei Ogiolan13 min read
Lire l'article
Comment récupérer des tableaux HTML en Golang avec Colly : Guide de bout en bout
Guides

Comment récupérer des tableaux HTML en Golang avec Colly : Guide de bout en bout

TL;DR: Ce guide montre comment récupérer des tableaux HTML dans Golang de bout en bout : choisir entre Colly, goquery, et golang.org/x/net/html, cibler le bon <tbody>, modéliser les lignes comme une structure typée, et exporter du JSON et du CSV propre. Vous bénéficiez également de la pagination, de l'anti-blocage et de modèles de tableaux rendus par JavaScript.

Andrei Ogiolan12 min read
Lire l'article

Commencez à créer

Prêt à faire évoluer votre système de collecte de données ?

Rejoignez plus de 2 000 entreprises qui utilisent WebScrapingAPI pour extraire des données Web à l'échelle de l'entreprise, sans aucun coût d'infrastructure.

Commencer l'essai gratuitConsultez la documentation