Tutoriel Python Nodriver : extraction de données de navigateur en mode furtif, du premier script à la mise en production

• Nodriver communique directement avec le CDP ; il n’élimine pas en soi les risques liés à l’adresse IP, au protocole TLS ou au comportement.
• Fixez la version. À partir de la version 0.50.3 avec Chrome 154 (06/10/2026), select renvoie None en cas d’échec, wait_for lance une exception et xpath a échoué avec DOM.enable manquant.
• Préférez uc.loop() à asyncio.run pour un arrêt propre ; browser.stop() est en mode synchrone.
• Pour les tâches nécessitant une grande discrétion, privilégiez Chrome en mode « headless » sous Xvfb : le mode « headless » peut toujours afficher HeadlessChrome dans l’en-tête UA.
• C’est en production que les scrapers tombent en panne : conteneurs, concurrence limitée, tentatives de réessai, vérifications de l’adresse IP de sortie, validation des résultats.
• Mettez en correspondance les temps d’attente/actions avec les paramètres de l’API du navigateur (wait_for_css, wait_until, js_instructions, …) lorsque l’auto-hébergement ne suffit plus.

Parcours Selenium classique :

Your script  →  WebDriver protocol  →  chromedriver  →  Chrome

Parcours Nodriver :

Your script  →  Chrome DevTools Protocol (websockets)  →  Chrome

En supprimant le binaire du pilote, on élimine les marqueurs d’automatisation spécifiques à WebDriver ainsi qu’une catégorie entière d’échecs liés aux divergences de version. Cela ne rend pas votre adresse IP résidentielle, votre pile TLS unique, ni le timing de vos clics « humain ».

Nodriver est le successeur asynchrone et axé sur le CDP issu de la même lignée d’auteurs que undetected-chromedriver. Le modèle passe de « patcher le pilote » à « ne jamais utiliser le pilote ». Navigateurs de la famille Chromium uniquement ; API asynchrone uniquement.

Vérifié lors de la préparation de la publication le 06/10/2026 :

• Licence : AGPL-3.0 sur le paquet PyPI que nous avons installé. Cela a de l’importance pour les services en ligne qui modifient et exécutent le code. Ceci ne constitue pas un avis juridique : demandez à un avocat de lire l’AGPL si vous proposez un SaaS basé sur un fork.
• Formate de l’API : asynchrone uniquement ; navigateurs de la famille Chromium.
• Maintenance : la dernière version PyPI vérifiée pour ce guide est la 0.50.3 (13/05/2026). Vérifiez à nouveau le nombre d’étoiles, les tickets et les commits le jour de la publication avant de vous engager sur plusieurs années avec cette plateforme.
• Couverture des tests / classificateur alpha : PyPI indique toujours « Statut de développement :: 3 - Alpha ». Prévoyez des dysfonctionnements lorsque Chrome évoluera.
• Fork : Zendriver et d’autres forks de CDP existent si vous avez besoin d’une approche de maintenance différente — consultez la matrice des outils plus loin.

Vous avez besoin d’une prise en charge multi-navigateurs (Firefox/WebKit), d’API de synchronisation ou d’une licence permissive pour un produit commercial sans analyse AGPL ? Nodriver n’est peut-être pas la base qu’il vous faut.

python3 -m venv venv
source venv/bin/activate
pip install 'nodriver==0.50.3'

Liste de contrôle d’installation :

1. Python ≥ 3.9.
2. Une installation locale de Chrome/Chromium (à vérifier avec google-chrome --version).
3. les dépendances d'exécution sont récupérées automatiquement : websockets>=14 , mss, deprecated.
4. Ne nommez pas votre script nodriver.py (cela masquerait le paquet).
5. Test de fonctionnement : ouvrez une page publique et attendez qu'un sélecteur soit détecté (script ci-dessous).

Sandbox pour cet article : quotes.toscrape.com — une cible de démonstration différente de la vitrine utilisée dans plusieurs tutoriels concurrents.

# 01_first_scraper.py — verified 2026-10-06 on nodriver 0.50.3
import nodriver as uc

async def main():
    browser = None
    try:
        browser = await uc.start(headless=True)
        tab = await browser.get("https://quotes.toscrape.com/")
        await tab.select("div.quote", timeout=15)  # wait for state, not time
        quotes = await tab.select_all("div.quote")
        for q in quotes:
            text_el = await q.query_selector("span.text")
            author_el = await q.query_selector("small.author")
            print((text_el.text or "").strip(), "—", (author_el.text or "").strip())
    finally:
        if browser is not None:
            browser.stop()  # sync on 0.50.3 — do not await

if __name__ == "__main__":
    # Package README recommends uc.loop(); see event-loop notes below
    uc.loop().run_until_complete(main())

def attr_get(el, name: str):
    if el is None:
        return None
    attrs = el.attrs  # ContraDict in nodriver 0.50.3
    if attrs is None:
        return None
    try:
        return attrs.get(name)
    except Exception:
        try:
            return attrs[name]
        except Exception:
            return None

# Observed: element.text and element.text_all both return usable strings

Échec sur Chrome 154 + nodriver 0.50.3 (06/10/2026) lors de l'appel de DOM.enable. Ne déployez pas de scrapers dépendant d'XPath sur cette combinaison sans une nouvelle vérification.

Attendre un sélecteur, du texte ou une condition d’inactivité du réseau. Corrigé sleep est destiné à un débogage visuel ponctuel — et non aux scrapers définitifs. Préférez select / wait_for à tab.sleep dans les chemins de production.

Lorsque vous cliquez sur « Suivant », les anciens identifiants d’éléments peuvent se détacher. Interrogez à nouveau le contrôle à chaque tentative ; attendez un changement d’URL ou un nouveau sélecteur de contenu.

# Pagination retry pattern for quotes.toscrape.com-style next links
async def click_next_with_retry(tab, max_attempts=3) -> bool:
    for _ in range(max_attempts):
        next_link = await tab.select("li.next > a", timeout=5)
        if next_link is None:
            return False
        before = tab.url
        try:
            await next_link.click()
        except Exception:
            continue
        for _ in range(20):
            await tab.sleep(0.25)
            await tab.select("div.quote", timeout=2)
            if tab.url != before:
                return True
        if tab.url != before:
            return True
    return False

Pages 1→2→3 : progression normale ; les auteurs ont changé comme prévu.

Pour les pages ne comportant pas de contrôle de lien « Suivant », faites défiler jusqu’à ce qu’une condition d’arrêt soit atteinte : un marqueur de fin, un nombre maximal de résultats ou un nombre maximal de boucles.

async def scroll_until_plateau(tab, max_rounds=20):
    history = []
    plateau = 0
    for round_i in range(1, max_rounds + 1):
        items = await tab.select_all("div.item")
        count = len(items)
        end = await tab.query_selector("#end-marker")
        history.append(count)
        if end is not None:
            return {"reason": "end_marker", "count": count}
        if len(history) >= 2 and history[-1] == history[-2]:
            plateau += 1
        else:
            plateau = 0
        if plateau >= 2:
            return {"reason": "count_plateau", "count": count}
        await tab.evaluate("window.scrollTo(0, document.body.scrollHeight)")
        await tab.sleep(0.4)
    return {"reason": "max_rounds", "count": history[-1] if history else 0}

Arrêt à end_marker 40 éléments après 4 cycles.

• Nouvel onglet/nouvelle fenêtre : browser.get(url, new_tab=True) / new_window=True (API du package).
• tab.evaluate(expr) pour les sondes de défilement/DOM — privilégiez les sélecteurs lorsque c’est possible.
• Cookies : traitez les fichiers JAR comme des informations confidentielles ; masquez-les dans les journaux (remarque de sécurité, ce n’est pas un tutoriel approfondi sur les cookies).
• Captures d’écran : await tab.save_screenshot(...) ont fonctionné lors de notre test de diagnostic.

Faites correspondre l’agent utilisateur à la version de Chrome que vous lancez réellement. Une rotation aléatoire qui ne correspond pas à Chrome/154 (ou tout autre navigateur que vous utilisez) est un indice facile à repérer. Privilégiez une identité de bureau stable par profil de travailleur.

Uniquement sur les pages de diagnostic publiques (bot.sannysoft.com; areyouheadless renvoie une erreur 502 pour les deux modes) :

Le 154.0.0.0 chaînes de caractères intégrées correspondent à la forme abrégée de l'agent utilisateur de Chrome ; il ne s'agit pas d'une faute de frappe par rapport à la 154.0.8037.57 . Nodriver peut effacer navigator.webdriver dans les deux modes, tandis que le mode « headless » continue de s’identifier via la chaîne d’agent utilisateur. Cela suffit à lui seul pour de nombreuses vérifications simples.

Sur les serveurs Linux sans écran physique :

# pattern
xvfb-run -a python your_scraper.py
# or export DISPLAY to a running Xvfb and start(headless=False)

Utilisez le mode « headless » pour les sandbox internes et l’intégration continue (CI). Utilisez le mode « headed » avec Xvfb lorsque la cible analyse les chaînes d’agent utilisateur du mode « headless ».

Ne vous fiez pas aux configurations de drapeaux Chrome proposées par d’autres blogs. Avant d’automatiser les pages d’authentification derrière un proxy, vérifiez sur votre version de Chrome que l’adresse IP de sortie du navigateur correspond bien à celle du proxy — et non à celle de votre hôte.

# Guard pattern — wire to your proxy stack; always assert exit IP before scraping
async def assert_exit_ip(tab, expected_subnet_prefix: str | None = None):
    tab2 = await tab.browser.get("https://httpbin.org/ip")  # or your IP echo
    await tab2.select("body", timeout=15)
    body = (await tab2.get_content()) if hasattr(tab2, "get_content") else None
    # parse JSON IP; compare to expected proxy IP; fail closed
    return body

Interrompez la tâche si l’adresse IP de sortie observée correspond à celle de votre hôte de centre de données. Effectuez cette vérification en production même lorsque le proxy « semble configuré ».

Lorsque le problème réside dans la réputation de l’adresse IP ou l’affinité avec un pays — et non dans l’automatisation du DOM —, acheminez le trafic via des proxys résidentiels ou transférez le travail du navigateur vers une requête via l’API du navigateur avec country set.

La plupart des tutoriels s’arrêtent avant cette étape. C’est là que les scrapers échouent.

# Outline only — adapt paths and package names for your base image
FROM python:3.13-slim-bookworm
RUN apt-get update && apt-get install -y --no-install-recommends \
    wget gnupg ca-certificates fonts-liberation xvfb \
    && install Google Chrome / Chromium per your distro docs \
    && useradd -m scraper
WORKDIR /app
COPY requirements.txt .
RUN pip install --no-cache-dir -r requirements.txt
USER scraper
ENV DISPLAY=:99
CMD ["sh", "-c", "Xvfb :99 -screen 0 1920x1080x24 & python worker.py"]

Remarques : exécutez en tant qu’utilisateur non root ; comprenez les indicateurs de sandbox de Chrome dans les conteneurs restreints ; conservez les profils sur un volume accessible en écriture si vous réutilisez des cookies durement acquis ; et masquez ces cookies dans les journaux.

Concurrence limitée par un asyncio.Semaphore (ou des travailleurs en file d’attente). Mesurez la consommation de mémoire par navigateur sur des pages simulant des conditions de production, sur votre matériel.

• Délai d’expiration par navigation avec wait_for / select budgets.
• Classez les erreurs : délai d’expiration, page vide, page de vérification, plantage de Chrome.
• Redémarrez le processus du navigateur après des erreurs de protocole répétées — et pas seulement l’onglet.
• Limiter les tentatives de reconnexion grâce à un recul aléatoire.

• Métriques : succès / blocage / délai d’expiration / vide par hôte.
• Capture d’écran en cas d’échec vers un stockage d’objets.
• Masquage des journaux : identifiant/mot de passe du proxy, Cookie en-têtes, les sauvegardes de stockage.

Un « succès » de type HTTP affiché dans le navigateur ne constitue pas du code HTML exploitable. Détectez les titres de défi, les coques d’application vides et les sélecteurs obligatoires manquants avant d’écrire dans l’entrepôt. Associez cette approche à la logique de validation de votre pile logicielle de scraping globale (pour éviter d’être bloqué).

Périmètre (06/10/2026) : pages publiques d’empreintes digitales/de diagnostic uniquement. Aucune cible commerciale Cloudflare ou DataDome (conformément à la politique éditoriale de cet article).

Considérez toute affirmation du type « nodriver contourne X » sans test daté et bien défini comme du marketing. Pour les cibles renforcées, consultez également les conseils sur la manière de contourner Cloudflare.

Versions vérifiées via l'index PyPI le 06/10/2026. Le niveau de discrétion est qualitatif, il ne s'agit pas d'un score.

Choix en fonction des contraintes : licence, moteur de navigateur, besoins de synchronisation et responsable de la disponibilité.

• Problèmes d’affichage / Xvfb / GPU sur les machines virtuelles cloud
• Mémoire vive et CPU par session Chrome simultanée
• Proxys résidentiels ou mobiles
• Temps d’ingénierie pour les mises à jour de Chrome et les sélecteurs défectueux
• Gestion des blocages et astreinte
• Stockage des captures d’écran et masquage des données personnelles
• Vérification de la conformité à l’AGPL

Optez pour l’auto-hébergement lorsque vous avez besoin de longues sessions interactives, d’extensions personnalisées ou d’une intégration étroite avec vos réseaux internes. Achetez ce service si vous souhaitez vous décharger des SLA de requêtes/réponses, de la géolocalisation et de la maintenance des navigateurs.

L’API du navigateur est un appel REST vers https://api.webscrapingapi.com/v1— et non un socket CDP actif (confirmation du produit). Noms des paramètres vérifiés dans les paramètres de l’API le 06/10/2026 :

Documentation : requête GET, rendu JavaScript.

Si vous avez uniquement besoin d'un instantané HTML rendu sans script d'interaction en plusieurs étapes, commencez par l'API Scraper et le rendu JavaScript. Passez à l'API Browser lorsque vous avez besoin d'actions ordonnées, d'attentes de sélecteur, de captures d'écran ou de règles d'extraction dans une seule requête. Comparez les options dans la section « API d'accès Web ».

D'après les erreurs que nous avons reproduites le 06/10/2026 :

N'effectuez le scraping que sur les pages publiques éligibles, respectez les fichiers robots.txt, les conditions d'utilisation et la législation en vigueur, limitez au maximum la collecte de données personnelles et sécurisez vos identifiants. Consultez la page « Utilisation responsable des données Web ». Pour en savoir plus sur le mode « headless » en général, consultez la page « Navigateur Python en mode headless ».

Une bibliothèque Python asynchrone qui contrôle Chromium via CDP sans Selenium ni chromedriver. Ce guide utilise la version 0.50.3 (vérifiée le 06/10/2026).

Selenium utilise WebDriver + un binaire de pilote. Undetected-chromedriver applique des correctifs à ce chemin d’accès. Nodriver contourne WebDriver et communique avec le CDP de manière asynchrone.

Il supprime certains signaux d’automatisation, mais ne masque pas les fuites d’adresse IP, de TLS, de comportement ou d’agent utilisateur en mode headless. Lors de nos tests, navigator.webdriver n'a False, mais le mode « headless » restait visible HeadlessChrome dans l’UA.

Oui, pour le scraping fonctionnel sur notre sandbox. Pour les cibles sensibles à la discrétion, privilégiez le mode « headed » + Xvfb compte tenu de la différence d’UA que nous avons mesurée.

Configurez le proxy pour votre version de Chrome, puis vérifiez toujours l’adresse IP de sortie avant de lancer la tâche.

Ne généralisez pas à partir des pages de diagnostic pour les produits de bots commerciaux. Si vous utilisez verify_cf la version 0.50.3, vérifiez-le sur vos propres cibles avant de vous y fier.

Faites votre choix en fonction de la licence, du moteur de navigateur, des besoins en synchrone/asynchrone et de la responsabilité des opérations — consultez le tableau ci-dessus. Playwright s’impose pour la prise en charge de plusieurs moteurs ; nodriver/zendriver sont optimisés pour une approche furtive CDP sous licence AGPL ; l’API de navigateur hébergée est la solution idéale lorsque vous ne souhaitez pas utiliser de flottes Chrome.

Installez Chrome, exécutez-le en mode « headed » sous Xvfb (ou acceptez les compromis liés au mode « headless »), en tant qu’utilisateur non root, avec des workers limités. Utilisez le modèle de Dockerfile comme point de départ et validez l’image dans votre environnement.

Testez-le sur votre matériel et avec vos pages cibles. Ne vous fiez pas aux affirmations concernant la concurrence sans disposer de vos propres chiffres.

Le paquet que nous avons installé est sous licence AGPL-3.0. Faites-le examiner par un conseiller juridique avant de l’intégrer à un service réseau. Ceci ne constitue pas un avis juridique.

Lorsque vous souhaitez des attentes/actions/données géographiques REST sans avoir à faire fonctionner Chrome, ou lorsque les coûts liés au proxy et à la maintenance sont prépondérants. Convertissez vos attentes nodriver en wait_for_css / js_instructions et comparez une requête.

Choisissez une page déjà gérée par votre script nodriver et envoyez-la via une seule requête API de navigateur avec wait_for_css (et js_instructions si vous faites défiler la page ou cliquez). Comparez le temps de développement, les modes de défaillance et le format des résultats. Pour les volumes importants, les données géographiques ou la livraison gérée, contactez l’équipe WebScrapingAPI.