Les meilleures API de web scraping en 2026 : comparaison de 12 solutions selon leurs fonctionnalités et leur coût

Adaptez l’API à l’unité de travail. Une API de page bon marché est idéale pour le HTML statique ; un indicateur de rendu ou un navigateur hébergé pour le JavaScript ; une API SERP ou un point de terminaison e-commerce lorsque vous souhaitez des enregistrements analysés ; une API axée sur le Markdown pour les pipelines LLM. Sélectionnez deux ou trois fournisseurs, puis comparez le coût par page utilisable sur vos cibles.

Une API de web scraping est un point de terminaison hébergé qui prend une URL (ou une requête) et renvoie la page ou les données, tandis que le fournisseur gère les proxys, les tentatives de reconnexion, les navigateurs et la gestion des blocages. Vous payez à la requête ou au crédit ; l'analyse et le stockage restent à votre charge, sauf si l'API renvoie des champs structurés.

Déroulement type d’une requête :

1. Votre client envoie une URL, des informations d’authentification et, le cas échéant, des indicateurs géographiques ou de rendu.
2. Le fournisseur choisit un type de proxy et un emplacement pour la cible.
3. Si du code JavaScript doit s’exécuter, un navigateur sans interface utilisateur charge la page.
4. Les CAPTCHA, les défis et les corps vides déclenchent des tentatives de réessai ou des itinéraires alternatifs.
5. Vous obtenez du code HTML, des données JSON, des champs sélectionnés ou une erreur structurée.

Le statut HTTP et le contenu exploitable font l’objet de vérifications distinctes. La norme de sémantique HTTP (RFC 9110) décrit la signification des codes de statut pour l’échange ; elle ne vous indique pas si le corps contient le prix du produit dont vous avez besoin. Une page de blocage peut tout de même renvoyer un statut HTTP 200.

Si vous préférez utiliser une bibliothèque ou un outil « pointer-cliquer », notre tour d’horizon des meilleurs outils de web scraping couvre à la fois les frameworks et les options sans code.

Commencez par définir la tâche et le résultat attendu par votre pipeline, puis vérifiez comment chaque fournisseur facture cette tâche (coefficients multiplicateurs, requêtes échouées), et enfin testez-la sur un échantillon de vos URL réelles.

Vous avez besoin d’une requête de base peu coûteuse, d’une capacité de traitement simultané suffisante et d’un ciblage géographique adapté à vos sources. Le rendu représente ici un coût inutile. Certaines API effectuent un rendu par défaut : ScrapingBee indique que le rendu JavaScript est activé par défaut, à raison de 5 crédits par requête. Désactivez le rendu lorsque le code HTML est déjà présent dans la première réponse.

Utilisez un indicateur de rendu lorsque le contenu s’affiche après le chargement initial (render_js=1 sur l’API Scraper de WebScrapingAPI, désactivé par défaut). Pour les temps d’attente, les clics ou les captures d’écran, un navigateur hébergé que vous contrôlez via une API REST vous évite d’avoir à gérer votre propre parc de navigateurs. Les navigateurs hébergés sont généralement pilotés via le protocole Chrome DevTools.

Les sites se protègent contre le trafic automatisé pour de bonnes raisons. Le catalogue des menaces automatisées de l’OWASP répertorie le scraping sous la référence OAT-011. Une API de scraping change la donne en gérant pour vous la réputation des adresses IP, les empreintes de navigateur et les tentatives de réessai. Définissez la réussite comme du contenu validé : WebScrapingAPI précise qu’une page CAPTCHA renvoyant un statut HTTP 200 peut être classée comme un scraping échoué (422) plutôt que comme du contenu valide. Notre guide pratique sur le web scraping sans se faire bloquer passe en revue chaque couche de défense.

Un point de terminaison SERP dédié renvoie des résultats analysés ; une API de page générale renvoie du code HTML que vous analysez vous-même. Les surcoûts liés aux domaines sur les API générales s’accumulent : la FAQ sur la tarification de ScraperAPI indique que Google et Bing coûtent 25 crédits par requête. Nous comparons les options spécialisées dans notre analyse des meilleures API SERP.

Les API dédiées aux enregistrements (l’API Data de WebScrapingAPI avec ses forfaits Amazon publiés ; les cibles Amazon sur Oxylabs, Scrapingdog et ScraperAPI) sont généralement plus efficaces que de scraper soi-même le code HTML des produits, car c’est le fournisseur qui gère les analyseurs syntaxiques. Pour les boutiques de niche, utilisez une API de scraping générale avec rendu et géolocalisation, complétée par vos propres règles d’extraction. Pour découvrir ce qu’implique la création d’une solution maison, suivez notre guide pratique sur le scraping des données produit d’Amazon avec Python.

Le Markdown réduit les codes récurrents pour le RAG et les agents ; le HTML ou le JSON sont préférables lorsque vous avez besoin de champs précis tels que les prix. Firecrawl, Decodo et ZenRows documentent la sortie au format Markdown. WebScrapingAPI renvoie du HTML, une enveloppe JSON ou des champs sélectionnés, que vous pouvez convertir vous-même lorsque le Markdown n’est qu’une question de commodité. Nous traitons séparément les extracteurs basés sur les LLM dans notre liste d’outils de web scraping basés sur l’IA.

L'exploration et la cartographie des points de terminaison (Firecrawl, Decodo et l'API Crawl de WebScrapingAPI, dont la portée est définie par un devis) permettent de découvrir et de récupérer de nombreuses URL en un seul flux de travail. L'alternative consiste à utiliser votre propre robot d'exploration appelant une API de page pour chaque URL. Dans tous les cas, respectez le protocole d’exclusion des robots (RFC 9309).

Les API de données gérées (l’API Data de WebScrapingAPI répertorie 116 sources prises en charge ; Zyte et Oxylabs proposent un analyseur syntaxique basé sur l’IA) confient la maintenance des analyseurs syntaxiques au fournisseur. Vos propres sélecteurs et règles d’extraction vous permettent de garder un contrôle total, mais vous êtes responsable des dysfonctionnements en cas de modification du balisage. La véritable décision consiste à déterminer qui est responsable de cette maintenance.

Nous avons consulté la page de tarification publique et la documentation de chaque fournisseur, puis comparé l’unité de facturation, les règles de multiplicateur, la facturation des requêtes échouées, les formats de sortie et les points de terminaison spécialisés. Nous ne publions pas de classement par taux de réussite, car les résultats varient selon la cible et la semaine ; effectuez plutôt le test ci-dessous sur vos propres URL. WebScrapingAPI est notre produit ; tous les autres fournisseurs sont cités à partir de leurs propres pages publiques.

Les prix indiqués sont ceux en vigueur au moment de la rédaction de cet article. Les formules changent souvent, veuillez donc vérifier sur le site de chaque fournisseur avant d'acheter.

WebScrapingAPI est notre produit : une gamme complète allant des proxys résidentiels, de centre de données et de FAI aux API de scraping, de navigateur, de SERP, de crawl et de données, en passant par les flux de données, la place de marché de données, les archives Web et les données gérées. Elle convient aux équipes qui souhaitent regrouper sous un même fournisseur la collecte de pages, les résultats de recherche, les fiches Amazon et les proxys. Elle propose une version d’essai de l’API Scraper avec 5 000 requêtes, mais n’inclut pas de fonctionnalité de markdown prête à l’emploi ni de marketplace de scrapers développés par la communauté.

L’offre « Scraper API Starter » coûte 19 $/mois pour 7 000 requêtes (offre « Basic » à 49 $/20 000 ; jusqu’à l’offre « Pro » à 599 $/450 000). Chaque forfait Scraper API inclut le rendu JavaScript, le ciblage géographique dans tous les pays, la rotation des proxys, la gestion anti-bot et l’analyse automatique ; le rendu et le ciblage géographique ne coûtent pas de crédits supplémentaires, et les requêtes Scraper API ayant échoué ne sont pas facturées. Les forfaits SERP API Google commencent à 28 $/mois ; les forfaits de l’API Amazon Data commencent à 59 $/mois ; les programmes Managed Data commencent à 299 $/mois. Les produits Browser, Crawl, Datacenter et ISP font l’objet d’un devis. L’API Scraper renvoie une page, une enveloppe JSON ou des champs sélectionnés à partir d’une seule requête, et la documentation présente les cost ainsi que WSA-Call-Credit-Usage . Comparez les URL statiques et render_js=1 sur vos URL et consultez les en-têtes de crédits.

Le Web Unlocker de Bright Data est une API de déblocage facturée à la requête, destinée aux cibles bloquées, s'appuyant sur une infrastructure de proxys. Idéale pour le déblocage en paiement à la réussite avec une concurrence illimitée sur les forfaits Unlocker publiés ; pas idéale pour une simple API de pages basée sur des crédits sans offre de type Unlocker.

Le forfait « Pay as you go » coûte 1,50 $ pour 1 000 requêtes ; le forfait « Scale » coûte 499 $/mois avec 383 000 requêtes, puis 1,30 $ pour 1 000 ; le forfait gratuit offre 5 000 requêtes/mois. La page des tarifs précise que vous ne payez que pour les requêtes abouties, et indique que les tarifs en USD font foi lorsque des estimations en devise locale sont affichées.

Oxylabs propose un abonnement à une API Web couvrant des produits de scraping et de recherche, avec une tarification par cible pour 1 000 résultats. Idéal pour un abonnement unique couvrant à la fois les cibles de scraping et de recherche, avec des tarifs clairs par site ; ne convient pas si vous recherchez un crédit forfaitaire unique pour tous les domaines.

Formule Starter à 30 $/mois, Basic à 100 $/mois, Flexible à 500 $/mois, Enterprise à partir de 2 500 $/mois, plus un crédit de bienvenue de 5 $. Parmi les exemples d’offres d’entrée de gamme figurant sur la page des tarifs, on trouve : /Scrape à partir de 0,50 $ pour 1 000 résultats, Google JS à 1,35 $, Google non-JS à 1,00 $ et l’analyse par IA à 3,00 $ pour 1 000 pages analysées. Comparez le prix de votre combinaison cible réelle au tarif par 1 000 lignes pour ces domaines.

L’API Zyte propose cinq niveaux de difficulté pour les réponses HTTP et celles rendues par le navigateur, avec des formules de paiement à l’utilisation et des abonnements mensuels. Idéal pour les charges de travail où la difficulté des sites varie et où vous souhaitez un choix automatisé entre HTTP et le rendu par navigateur ; ne convient pas si vous recherchez un prix fixe par crédit, quel que soit le domaine.

Essayez-la avec 5 $ de crédit gratuit (30 jours). Les réponses HTTP en paiement à l’utilisation vont de 0,13 $ à 1,27 $ par 1 000 ; celles rendues par navigateur, de 1,01 $ à 16,08 $ par 1 000. Un engagement de 100 $/mois donne droit à des tarifs allant de 0,10 $ à 0,95 $ pour les réponses HTTP et de 0,75 $ à 12,00 $ pour les rendus par navigateur par 1 000, comme indiqué sur la page des tarifs. La facturation s'effectue sur la base des réponses abouties ; la page indique également des tarifs à partir de 0,06 $ pour 1 000 réponses abouties dans le cadre d'un engagement.

ScrapingBee est une API de scraping fonctionnant par crédits qui effectue le rendu JavaScript par défaut et publie un tableau des crédits clair. Idéale pour les captures d’écran, les règles d’extraction et un barème de crédits documenté ; à éviter pour les volumes importants de HTML statique si vous oubliez de désactiver le rendu.

Formule Freelance : 49 $/mois pour 250 000 crédits (50 connexions simultanées) ; Startup : 99 $/1 million ; Business : 249 $/3 millions ; Business+ : 599 $/8 millions ; 1 000 crédits gratuits. Un proxy classique sans JS coûte 1 crédit ; le rendu JS (par défaut) en coûte 5 ; un proxy premium coûte 10 sans JS / 25 avec JS ; le mode furtif avec JS coûte 75. En mode automatique, si toutes les configurations échouent, la requête ne coûte aucun crédit. Prix hors TVA.

ScraperAPI est une API de scraping fonctionnant par crédits, avec des suppléments pour certains domaines et des produits de données structurées pour les sites populaires. Idéale pour les équipes qui prévoient déjà dans leur budget des domaines coûteux tels que Google, Amazon ou LinkedIn ; ne convient pas au ciblage géographique mondial avec la formule Hobby (États-Unis et UE uniquement).

Formule Hobby : 49 $/mois pour 100 000 crédits (20 threads) ; Startup : 149 $/1 million ; Business : 299 $/3 millions ; Scaling : 475 $/5 millions. Formule gratuite avec 1 000 crédits ; essai de 7 jours avec 5 000 crédits. Les pages standard coûtent 1 crédit ; Amazon 5 ; Google et Bing 25 ; LinkedIn 30. Les crédits sont remis à zéro lors du renouvellement.

Firecrawl se concentre sur les workflows de scraping, d’exploration et de cartographie avec une sortie orientée Markdown pour les pipelines d’IA. Idéal pour les équipes LLM et RAG qui souhaitent disposer de points de terminaison Markdown et d’exploration/cartographie à l’échelle du site ; ne convient pas aux équipes qui ont principalement besoin d’API SERP ou d’enregistrements Amazon.

Formule Hobby : 19 $/mois facturés mensuellement (16 $/mois facturés annuellement) pour 5 000 crédits ; Formule Standard : 83 $/mois facturés annuellement pour 100 000 crédits ; Formule Growth : 333 $ ; Formule Scale : 599 $ ; 1 000 crédits gratuits par mois. Un crédit par page pour le scraping, l’exploration ou la cartographie ; la recherche coûte 2 crédits pour 10 résultats ; Interact coûte 2 crédits par minute de navigation ; les formats JSON, Question ou Highlight ajoutent 4 crédits par page. Un scraping ne renvoyant aucun résultat n’est pas facturé ; les pages 403 ou 404 coûtent 1 crédit. Ces règles relatives aux crédits entreront en vigueur le 4 septembre 2026. Comparez les extractions au format Markdown uniquement à celles au format JSON (+4 crédits) sur les mêmes URL.

L’API de web scraping de Decodo propose des forfaits de pages et d’explorations avec prise en charge du Markdown et, en option, des proxys JS ou premium. Idéal pour le Markdown ainsi que pour le scraping, la recherche, la cartographie et l’exploration à un prix d’entrée de gamme ; ne convient pas aux acheteurs qui ont besoin d’une matrice de crédits publique détaillée pour chaque combinaison de fonctionnalités.

Formule gratuite jusqu’à 10 000 pages ou 5 000 explorations ; 19 $/mois jusqu’à 38 000 pages ou 19 000 explorations ; 49 $ pour 122 000 pages ; 99 $ pour 330 000 ; 249 $ pour 1,2 million. La page des tarifs indique que vous ne payez que ce que vous utilisez et que le rendu JS et les proxys premium peuvent être activés en cas de besoin.

ZenRows est une plateforme fonctionnant par crédits qui regroupe les opérations de récupération, d’extraction, de traitement par lots et de sessions de navigation sur un seul solde, y compris la sortie au format Markdown. Idéal pour un forfait d’entrée de gamme et l’utilisation du format Markdown sans avoir à jongler entre différents produits ; ne convient pas aux forfaits Google publiés spécifiques aux SERP.

Formule « Build » : 16 $/mois pour 45 000 crédits (tarification mensuelle sur la page des tarifs) ; « Launch » : 58 $/250 000 ; « Growth » : 166 $/1,2 million ; « Scale » : 458 $/5 millions ; 5 000 crédits gratuits/mois. 1 crédit pour une page standard ; 5 pour JS ; 10 pour les proxys premium ; 25 pour JS + premium. Les requêtes ayant échoué ne sont jamais facturées ; les codes 404 et 410 sont considérés comme des requêtes réussies. Les recharges avec report de crédits sont indiquées dans les formules payantes.

Scrapingdog propose des formules de crédits pour les API générales, SERP et e-commerce, avec remboursement des requêtes ayant échoué. Idéal pour des niveaux tarifaires simples et une facturation explicite du type « les requêtes ayant échoué ne sont jamais facturées » ; ne convient pas si l’API « browser action » hébergée sert d’interface principale.

Lite : 40 $/mois pour 200 000 crédits ; Standard : 90 $/1 million ; Pro : 200 $/3 millions ; Premium : 350 $/6 millions ; 100 crédits gratuits. Une requête standard coûte 1 crédit ; le rendu JavaScript 5 ; le proxy premium 10 ; JS + premium 25.

Scrape.do propose des formules basées sur le nombre de crédits API réussis et précise que les fonctionnalités sont débloquées quelle que soit la formule choisie. Idéal pour les capacités résidentielles et de navigateur, tout en ne payant que pour le contenu valide et réussi ; ne convient pas aux acheteurs qui ont besoin d’un tableau public des crédits par fonctionnalité avant d’estimer les coûts.

Formule Hobby : 29 $/mois pour 250 000 crédits de requêtes réussies ; Pro : 99 $/1,25 million ; Business : 249 $/3,5 millions ; Advanced : 699 $/10 millions ; 1 000 crédits de requêtes réussies offerts. La page des tarifs indique que seules les réponses réussies avec un contenu valide vous sont facturées. Définissez vous-même les critères de « contenu valide » et comparez les succès facturés aux codes HTTP 200 bruts.

Apify est une plateforme permettant d’exécuter des scrapers prédéfinis ou personnalisés (« Actors ») avec une facturation à l’unité de calcul, plutôt qu’un simple point de terminaison de scraping. Idéal pour une place de marché de scrapers ou pour héberger votre propre code de scraping ; ne convient pas à une API avec une seule URL d’entrée et une sortie HTML sans sélection d’Actor.

Formule Starter : 19 $/mois plus facturation à l’utilisation ; Scale : 199 $ ; Business : 999 $ ; 5 $ d’utilisation gratuite de la plateforme par mois. Les unités de calcul coûtent respectivement 0,20 $, 0,16 $ et 0,13 $ selon la formule ; les « Store Actors » fixent leurs propres prix.

Le coût réel correspond au prix par crédit × le nombre de crédits utilisés par une requête sur votre cible ÷ la part de données exploitables, plus les échecs facturés. Le rendu, les proxys premium et les domaines difficiles multiplient le prix de base ; sur les forfaits à crédits, une requête peut utiliser entre 1 et 75 crédits.

Les fournisseurs facturent une même « requête » différemment :

Une formule qui semble moins chère au 1 000 crédits peut s'avérer plus coûteuse par page utilisable une fois que les règles de rendu et de domaine s'appliquent.

cost per usable page = (plan price ÷ included credits) × credits per request × (billed attempts ÷ usable results)

Trois modèles de facturation apparaissent sur les pages de tarification publiques :

1. Facturation des pages réussies uniquement : Bright Data Web Unlocker, Scrapingdog, ZenRows, Scrape.do et Zyte proposent une facturation basée sur les pages réussies.
2. Certaines pages d'erreur sont facturées : Firecrawl facture 1 crédit pour les pages 403 ou 404 ; un scraping sans résultat n'est pas facturé.
3. Facturation de chaque requête : la documentation de l’API navigateur de WebScrapingAPI précise que le produit facture 100 % des requêtes, qu’elles aboutissent ou échouent.

Méfiez-vous du piège des « faux succès » : une page de blocage avec un code HTTP 200 qui consomme tout de même des crédits. Les tentatives répétées multiplient ce coût ; utilisez des délais d’expiration, des tentatives de réessai et un recul avec jitter, et considérez le code HTTP 429 « Too Many Requests » comme un signal pour ralentir plutôt que de marteler la même URL.

Exemple concret avec les prix catalogue : l’offre ScrapingBee Freelance à 49 $ pour 250 000 crédits revient à 0,196 $ pour 1 000 crédits. Les requêtes avec rendu à 5 crédits coûtent environ 0,98 $ pour 1 000 tentatives ; un proxy premium avec rendu à 25 crédits coûte environ 4,90 $ pour 1 000 tentatives, avant application du taux d’utilisation et des règles relatives aux requêtes échouées.

def cost_per_1k_usable(
    plan_price: float,
    included_credits: int,
    credits_per_request: float,
    usable_rate: float,
    billed_rate: float,
) -> float:
    """Dollars per 1,000 usable pages for a credit-based plan."""
    price_per_credit = plan_price / included_credits
    cost_per_attempt = price_per_credit * credits_per_request * billed_rate
    return (cost_per_attempt / usable_rate) * 1000


# Example plan: replace with your own plan's price and included credits
plan_price, included = 100.0, 1_000_000
scenarios = [
    ("Static (1 credit)", 1, 0.95, 1.0),
    ("Rendered (5 credits)", 5, 0.90, 1.0),
    ("Rendered + premium (25 credits)", 25, 0.80, 1.0),
]
for name, credits, usable, billed in scenarios:
    cost = cost_per_1k_usable(plan_price, included, credits, usable, billed)
    print(f"{name}: ${cost:.2f} per 1,000 usable pages")

Les limites de concurrence augmentent avec le niveau du forfait. Les crédits peuvent être réinitialisés chaque mois (ScraperAPI) ou permettre des recharges avec report (ZenRows répertorie les recharges ; Firecrawl répertorie le report). Le ciblage géographique peut être limité selon le forfait (les forfaits Hobby et Startup de ScraperAPI ne couvrent que les États-Unis et l’UE). Le temps de développement nécessaire à l’analyse, à la surveillance et à la validation des données dépasse souvent le montant de la facture de l’API sur les cibles difficiles.

Sélectionnez entre 50 et 200 URL réelles par type de cible, testez-les avec chaque API en utilisant des paramètres identiques, validez le contenu (et pas seulement le code d’état), puis enregistrez le taux de réussite des pages exploitables, les percentiles de latence, les crédits utilisés et le coût par page exploitable. Répétez l’opération un deuxième jour avant de prendre votre décision.

1. Créez une liste de cibles. Colonnes du fichier CSV : url, target_type, must_contain (un marqueur de texte ou une classe CSS écrite sous la forme .price, qu’une page exploitable doit contenir).
2. Conservez les clés dans les variables d’environnement. Lisez WSA_API_KEY (ainsi que les clés des autres fournisseurs) à partir des variables d’environnement. Si WebScrapingAPI figure sur votre liste de présélection, notre guide pour effectuer votre première requête avec WebScrapingAPI vous aidera à vous lancer.
3. Limitez la concurrence à la limite de chaque forfait.
4. Vérifiez le contenu. Exigez un statut HTTP 200, la présence du marqueur et l’absence de toutes les chaînes de blocage courantes (captcha, access denied, verify you are human).
5. Enregistrez les crédits. Privilégiez les en-têtes du fournisseur ou les champs d’enveloppe lorsqu’ils sont disponibles (WebScrapingAPI renvoie WSA-Call-Credit-Usage et cost dans l’enveloppe JSON).
6. Résumez le taux d’utilisation, la latence p50/p95, les crédits utilisés et le coût pour 1 000 pages utilisables.
7. Répétez l'opération un autre jour avant de faire votre choix.

import csv
import os
import time
from concurrent.futures import ThreadPoolExecutor, as_completed
from html.parser import HTMLParser
from urllib.parse import urlencode

import requests

BLOCK_MARKERS = ("captcha", "access denied", "verify you are human")
MAX_WORKERS = 4


def adapter_wsa(url: str, render_js: int = 0) -> requests.Response:
    api_key = os.environ["WSA_API_KEY"]
    params = {"api_key": api_key, "url": url, "render_js": render_js}
    return requests.get(
        "https://api.webscrapingapi.com/v2?" + urlencode(params),
        timeout=30,
    )


def adapter_plain(url: str, **_kwargs) -> requests.Response:
    """Local stand-in so you can verify the harness without a provider key."""
    return requests.get(url, timeout=30, headers={"User-Agent": "wsa-harness/1.0"})


class ClassCollector(HTMLParser):
    """Collects every class name used on any element of the page."""

    def __init__(self) -> None:
        super().__init__()
        self.classes: set[str] = set()

    def handle_starttag(self, tag, attrs) -> None:
        for name, value in attrs:
            if name == "class" and value:
                self.classes.update(value.split())


def has_css_class(body: str, css_class: str) -> bool:
    collector = ClassCollector()
    collector.feed(body)
    return css_class in collector.classes


def is_usable(status: int, body: str, must_contain: str) -> bool:
    if status != 200:
        return False
    lower = body.lower()
    if any(marker in lower for marker in BLOCK_MARKERS):
        return False
    if must_contain.startswith("."):
        return has_css_class(body, must_contain[1:])
    return must_contain.lower() in lower


def run_row(row: dict, adapter) -> dict:
    started = time.perf_counter()
    response = adapter(row["url"])
    body = response.text or ""
    return {
        "url": row["url"],
        "status": response.status_code,
        "latency_s": time.perf_counter() - started,
        "credits": response.headers.get("WSA-Call-Credit-Usage"),
        "usable": is_usable(response.status_code, body, row["must_contain"]),
    }


def main(path: str = "targets.csv") -> None:
    with open(path, newline="", encoding="utf-8") as handle:
        rows = list(csv.DictReader(handle))
    adapter = adapter_wsa if os.environ.get("WSA_API_KEY") else adapter_plain
    results = []
    with ThreadPoolExecutor(max_workers=MAX_WORKERS) as pool:
        futures = [pool.submit(run_row, row, adapter) for row in rows]
        for future in as_completed(futures):
            results.append(future.result())
    usable = sum(1 for item in results if item["usable"])
    print(f"usable={usable}/{len(results)}")
    for item in results:
        print(item)


if __name__ == "__main__":
    main()

Ajoutez d’autres fournisseurs de la même manière : une fonction d’adaptateur par fournisseur, créée à partir de la documentation de ce dernier. Les quotas gratuits pour un premier essai comprennent les 5 000 requêtes Scraper API de WebScrapingAPI, les 1 000 crédits/mois de Firecrawl, les 5 000 crédits/mois de ZenRows, les 1 000 crédits de ScrapingBee, les 1 000 crédits validés de Scrape.do et les 5 000 requêtes Unlocker par mois de Bright Data.

Développez-le lorsque les cibles sont peu nombreuses, ouvertes et stables, et que vous disposez de personnel pour gérer les proxys, les navigateurs et les analyseurs syntaxiques. Achetez-le lorsque les cibles sont protégées, variées ou stratégiques pour l’entreprise, ou lorsque le temps de développement coûte plus cher que l’API. De nombreuses équipes combinent les deux : leur propre robot d’indexation, associé à une API pour les pages difficiles.

Nous analysons les avantages et les inconvénients d'une API de web scraping, responsabilité par responsabilité.

Utilisez des proxys lorsque votre propre client ou navigateur doit contrôler les requêtes, les sessions, les tentatives de reconnexion et l'analyse. Utilisez une API lorsque vous souhaitez que le fournisseur se charge du routage, du rendu et de la gestion des blocages, puis vous renvoie une réponse. Les proxys sont facturés au trafic (Go) ; les API, à la requête.

La différence de tarification est clairement indiquée sur les pages publiées par WebScrapingAPI : les proxys résidentiels sont facturés à la consommation à partir de 8,50 $/Go, tandis que les forfaits de l’API de scraping sont comptabilisés en appels API, à partir de 19 $/mois pour 7 000 requêtes. Si vous optez pour les proxys, notre guide sur le choix entre les proxys de centre de données, résidentiels et FAI explique les avantages et les inconvénients de chaque option.

Achetez des données lorsque vous avez besoin des mêmes champs provenant des mêmes sources selon un calendrier précis, lorsque la maintenance des parseurs ne fait pas partie de votre cœur de métier, ou lorsque vous avez besoin d’un historique. Les options vont des ensembles de données prêts à l’emploi aux flux programmés, en passant par un service de scraping entièrement géré avec des schémas et des modalités de livraison convenus.

WebScrapingAPI propose Data Marketplace, Data Feeds, Web Archive et Managed Data (forfaits à partir de 299 $ par mois). Bright Data et Oxylabs commercialisent également des ensembles de données en complément de leurs API. L’achat de données est souvent la solution la plus adaptée lorsque vous privilégiez la livraison plutôt que l’exploitation de scrapers.

L’utilisation d’une API ne change pas la situation juridique. Ce qui importe, c’est le type de données que vous collectez et la manière dont vous les utilisez. Limitez-vous aux données publiques, respectez les conditions d’utilisation des sites et le fichier robots.txt, évitez les données à caractère personnel sauf si vous disposez d’une base légale, et demandez un avis juridique adapté à votre juridiction. L’API est un outil ; la responsabilité vous incombe.

Pour un aperçu pratique du fichier robots.txt, consultez l’introduction de Google au fichier robots.txt. Cette section ne constitue pas un avis juridique.

Il n’existe pas d’API de web scraping idéale. Le choix approprié dépend de la tâche à accomplir : pages statiques, applications à forte utilisation de JavaScript, sites protégés, résultats de recherche, données de commerce électronique ou Markdown pour les modèles de langage de grande envergure (LLM). Sélectionnez-en deux ou trois, comparez le coût par page récupérée avec succès, puis testez-les sur vos propres URL.

Il s’agit d’un service hébergé qui récupère une page ou un résultat de recherche via une seule requête HTTP. Le fournisseur gère les proxys, les tentatives de reconnexion, les navigateurs et la gestion des blocages, puis renvoie du code HTML, des données JSON ou des champs sélectionnés. Vous payez à la requête ou par crédit, sans avoir à gérer d’infrastructure.

La plupart des formules d’entrée de gamme présentées dans ce guide coûtent entre 16 et 49 dollars par mois ; plusieurs proposent un paiement à l’utilisation, et la plupart offrent un quota gratuit. Le nombre de crédits par requête augmente pour le rendu, les proxys premium et les domaines difficiles, et c’est la facturation des requêtes échouées qui détermine le coût réel. Comparez le coût par page exploitable, et non le prix de la formule.

Les cibles difficiles nécessitent des proxys résidentiels ou premium, un véritable navigateur, davantage de tentatives et la gestion des CAPTCHA. Les fournisseurs répercutent ces coûts sous forme de multiplicateurs de crédits ou de paliers tarifaires par site ; une requête peut coûter plusieurs fois, voire des dizaines de fois, plus cher qu’une requête de base.

Cela dépend du fournisseur et du produit. Beaucoup ne facturent que les requêtes réussies, certains facturent certaines pages d’erreur, et d’autres (en particulier les produits avec navigateur hébergé) facturent chaque requête. Une page bloquée renvoyant un code HTTP 200 peut également être facturée comme une requête réussie, à moins que le fournisseur ne la détecte.

Aucune des deux solutions n’est meilleure en général. Les proxys conviennent aux équipes qui souhaitent garder le contrôle via leur propre client et sont facturés au trafic ; une API gère pour vous le routage, le rendu et la gestion des blocages, et facture à la requête. De nombreuses équipes utilisent les deux.

Développez-le vous-même lorsque les cibles sont peu nombreuses, non protégées et stables, et que vous disposez d’ingénieurs pour gérer les proxys, les navigateurs et les analyseurs syntaxiques. Utilisez une API lorsque les cibles sont protégées ou variées, lorsque vous avez besoin de données rapidement, ou lorsque les coûts de maintenance dépassent ceux liés à l’utilisation de l’API. Les solutions hybrides sont courantes.

Choisissez une API qui exécute le JavaScript à la demande et, si le contenu n’apparaît qu’après des clics ou un défilement, une API dotée d’un navigateur hébergé capable de gérer les temps d’attente et les actions. L’exécution du JavaScript coûte souvent plusieurs fois plus cher qu’une requête de base ; désactivez-la donc pour les pages qui n’en ont pas besoin.

Pour les grandes places de marché telles qu’Amazon, une API dédiée aux enregistrements qui renvoie des champs analysés (produit, prix et avis) est généralement plus efficace que le scraping de code HTML brut. Pour les boutiques de niche, utilisez une API de scraping générale avec rendu et géolocalisation, complétée par vos propres règles d’extraction.

Firecrawl, Decodo et ZenRows documentent la sortie au format Markdown. D’autres, notamment WebScrapingAPI, renvoient du code HTML, du JSON ou des champs sélectionnés que vous pouvez convertir vous-même. Optez pour du JSON structuré lorsque vous avez besoin de champs précis, tels que les prix.

L’utilisation d’une API ne change en rien la situation juridique. Ne collectez que des données accessibles au public, respectez les conditions d’utilisation du site et le fichier robots.txt, évitez de collecter des données à caractère personnel sans fondement juridique et demandez un avis juridique adapté à votre juridiction.

Utilisez le quota gratuit de 50 à 200 de vos propres URL par type de cible avec des paramètres identiques. Vérifiez que le contenu dont vous avez besoin est bien présent, enregistrez le taux de réussite, la latence et les crédits utilisés, divisez le coût par le nombre de pages exploitables, puis répétez l’opération un autre jour avant de faire votre choix.

Choisissez votre URL la plus difficile, testez le harnais sur deux ou trois API présélectionnées (y compris notre version d’essai de l’API Scraper avec 5 000 requêtes), puis comparez le coût par page exploitable le jour même. Optez pour le fournisseur qui s’avère le plus performant sur vos cibles.