Les meilleurs navigateurs anti-détection pour un Web Scraping sûr et efficace

Mihnea-Octavian Manolache le 23 février 2023

La détection est un problème majeur dans le secteur du "web scraping". C'est un véritable jeu du chat et de la souris entre les scrapeurs et les systèmes anti-bots. L'utilisation d'un navigateur anti-détection est devenue une obligation pour tous ceux qui cherchent à récupérer des données. Mais les navigateurs anti-détection ne se limitent pas au scraping web. Ils sont utilisés pour gérer plusieurs comptes de médias sociaux, pour le commerce électronique, etc. Même les utilisateurs soucieux de protéger leur vie privée peuvent tirer profit d'un navigateur anti-détection.

L'article d'aujourd'hui couvrira exactement ce domaine. Nous allons discuter des navigateurs anti-détection, de leurs cas d'utilisation, de leur efficacité et du fournisseur à choisir en 2023. Je vais également vous présenter le browser fingerprinting. Alors préparez-vous, il y a beaucoup à dire aujourd'hui.

Qu'est-ce qu'un navigateur anti-détection ?

La définition d'un navigateur anti-détection est en partie donnée par le nom lui-même. Chaque navigateur ordinaire (Chrome ou Firefox, par exemple) possède sa propre identité en ligne. Nous appelons cela une empreinte digitale. La manière dont votre navigateur est identifié est très complexe. Elle est liée à des éléments tels que

• Votre adresse IP
• L'agent utilisateur que vous envoyez avec vos demandes
• Propriétés de vos navigateurs

Le dernier point est, à mon avis, le plus important. En effet, n'importe qui sur Internet peut créer un script relativement simple pour obtenir certaines propriétés d'un navigateur. Et ce qui est le plus important, c'est que la combinaison de ces valeurs génère presque toujours une configuration système unique. En pratique, il est possible de générer un hachage des valeurs combinées de ces propriétés et de créer une empreinte digitale. Prenons l'exemple de FingerprintJS ou CreepJS.

De plus, la détection n'est pas limitée à la fenêtre. J'ai même créé cet outil qui peut détecter des évasions telles que celles implémentées avec `puppeteer-extra-plugin-stealth` en comparant les valeurs recueillies à partir de la fenêtre et des travailleurs. Mais c'est une discussion plus complexe. Pour l'instant, il semble que le meilleur moyen de ne pas être détecté en ligne soit d'utiliser un navigateur anti-détection.

Et nous revenons au sujet. Les navigateurs antidétection sont des applications basées sur des navigateurs connus qui ont été modifiés pour accepter des valeurs personnalisées pour les propriétés dont nous avons parlé précédemment. Comme des projets comme Chromium ou Mozilla sont open source, n'importe qui peut les forker et créer sa propre version d'un navigateur. Et c'est exactement ce qui se passe avec les navigateurs anti-détection.

Vous aussi, vous pouvez cloner Chromium par exemple et le modifier pour qu'il serve des valeurs aléatoires pour diverses propriétés du navigateur. Mais dans la pratique, cela nécessite beaucoup de connaissances et de ressources. C'est pourquoi il existe des fournisseurs connus, que nous aborderons dans un instant. Mais d'abord :

Quelle est l'utilité d'un navigateur anti-détection ?

Il existe de nombreux cas d'utilisation des navigateurs anti-détection. Cependant, certains secteurs d'activité dépendent plus que d'autres de ces navigateurs. C'est pourquoi je vais préciser quels sont les cas d'utilisation des navigateurs anti-détection et pourquoi les utiliser. Sachant que son principal atout est l'anonymat, voici les cas d'utilisation les plus courants d'un navigateur web anti-détection :

• Agences de marketing: Les spécialistes du marketing d'affiliation ou les agences de médias sociaux doivent généralement gérer plusieurs comptes de médias sociaux. Dans la pratique, les plateformes de médias sociaux interdisent l'accès à ces activités. Idéalement, de leur point de vue, un appareil ne devrait gérer qu'un seul compte. En multiplier le nombre pourrait conduire à des abus. Étant donné que les navigateurs anti-détection créent plusieurs identités, vous pouvez facilement les utiliser pour gérer ce type d'activité.
• Vendeurs de commerce électronique: Les vendeurs d'Amazon ou les expéditeurs directs ont pour pratique courante (mais tacite) d'utiliser plusieurs comptes pour vendre leurs produits. Ils augmentent ainsi leur portée et, implicitement, leurs ventes. Là encore, les grandes plateformes de commerce électronique n'autorisent généralement pas de telles pratiques. Là encore, les navigateurs anti-détection peuvent entrer en jeu.
• Raclage de sites web: Au cours des dernières années, le "web scraping" est devenu un véritable défi. Il est plus facile aujourd'hui qu'il y a quelques années de prendre l'empreinte digitale d'un pilote web (navigateur automatisé). Et comme vous l'avez probablement déjà deviné, presque tous les sites web essaient d'éviter les bots. Les web scrapers entrant dans cette catégorie, les sites web tentent généralement d'en bloquer l'accès.

Quelle est l'efficacité des navigateurs anti-détection dans la pratique ?

Selon le fournisseur, les navigateurs anti-détection peuvent être très efficaces. En travaillant sur le mode furtif de l'API Web Scraping, j'ai eu l'occasion de jouer avec différentes techniques d'évasion. L'une d'entre elles consistait à tester un navigateur anti-détection. Cela peut paraître surprenant, mais nous avons pu identifier des navigateurs automatisés pour Puppeteer et Selenium patchés, mais pas pour les navigateurs anti-détection.

Pour plus d'efficacité, nous avons découvert lors de nos tests que les valeurs utilisées pour générer des empreintes digitales personnalisées sont également importantes pour la détection des moteurs de recherche sur le web. Par exemple, les valeurs aléatoires sont à proscrire. Lors de la génération d'une empreinte digitale, essayez plutôt de.. :

• Utiliser de vrais agents d'utilisateurs
• Utiliser des plates-formes d'appareils correspondant à l'agent utilisateur
• Ajouter des tableaux de plugins de navigateurs réels

Et ce n'est qu'un exemple parmi d'autres. L'essentiel est d'utiliser des informations réelles et concordantes. De plus, si vous choisissez un vendeur, essayez de vous en tenir à ses recommandations.

Principaux navigateurs anti-détection en 2023

Dans un article connexe, j'ai dit que le meilleur navigateur anti-détection est celui que vous construisez vous-même. Mais honnêtement, construire un navigateur, même si vous avez un projet open source comme point de départ, demande beaucoup d'efforts. Par conséquent, si vous n'avez pas les ressources nécessaires pour mettre en place une équipe, il est préférable d'opter pour l'un de ces fournisseurs :

#1 : GoLogin

GoLogin est un nouveau venu sur la scène des navigateurs anti-détection. Cela ne le rend pas moins efficace. Ce que j'ai remarqué en premier lieu, ce sont les canaux d'assistance. Ils sont disponibles non seulement par e-mail ou par chat, mais aussi via WhatsApp, Telegram et Facebook Messenger. La deuxième mention honorable à propos de GoLogin est son support proxy. Leur navigateur est équipé de proxies par défaut. La troisième est liée à l'accès. GoLogin dispose d'une application de bureau, d'une application mobile et d'une application web que vous pouvez utiliser. Vous pouvez accéder à leur outil à partir du nuage, ce qui est assez impressionnant.

Le navigateur lui-même est basé sur Google Chrome. Il a été modifié pour générer de nouvelles empreintes digitales pour chaque profil. L'inconvénient est qu'au lieu d'usurper toutes les valeurs, ils ajoutent du bruit à certaines d'entre elles. Les tests indiquent que cela peut conduire à un plus grand nombre de captchas, ce qui prouve que les systèmes anti-bots peuvent encore détecter certaines activités automatisées.

En ce qui concerne le prix, GoLogin commence à 49 USD par mois et va jusqu'à 199 USD. L'entreprise propose également un niveau personnalisable. Il va jusqu'à 1999 USD par mois pour 10.000 profils cloud et d'autres avantages. Vous bénéficiez également d'une réduction de 50 % si vous payez annuellement. Vous pouvez consulter leur page de tarification pour plus d'informations. Pour conclure :

#2 : Multilogin

Selon son site Web, Multilogin offre une "personnalisation complète de l'empreinte digitale". Cela signifie que vous avez un accès complet aux propriétés du navigateur et que vous pouvez les modifier de nombreuses façons. De plus, il s'agit de l'un des rares fournisseurs à ne pas désactiver les fonctionnalités du navigateur. La désactivation des fonctions du navigateur (telles que les travailleurs de service) n'est pas un signe immédiat d'un navigateur automatisé. Cependant, les utilisateurs réguliers désactivent rarement, voire jamais, ces fonctions. Cela peut constituer un signal d'alarme pour les détecteurs de robots.

Revenons à Multilogin. L'entreprise s'est inspirée de Chrome et de Firefox pour créer ses propres versions personnalisables. Leur interface graphique vous permet de générer un profil rapide (avec une empreinte digitale associée) ou d'usurper certaines valeurs vous-même. Le seul inconvénient de Multilogin est son prix. Il commence à 99 USD par mois et peut aller jusqu'à 399 USD par mois. C'est le cas au moment où j'écris ces lignes. Pour une mise à jour des prix, consultez leur page de tarification. Pour conclure, voici quelques informations comprimées :

#3 : AdsPower

Tout comme Multilogin, AdsPower propose deux navigateurs anti-détection. L'un est basé sur Chromium et s'appelle Sun Browser. Le second est basé sur Firefox et s'appelle Flower Browser. Les deux ont la capacité supplémentaire de gérer l'empreinte digitale du navigateur. Ce qui est intéressant avec ce navigateur anti-détection, c'est qu'il possède des fonctions d'automatisation intégrées. Peu ou pas de programmation est nécessaire pour automatiser les tâches en utilisant l 'automatisation des processus robotiques d'AdsPower.

L'entreprise a démarré en 2019 à Hong Kong et s'est rapidement développée pour devenir l'un des principaux concurrents de Multilogin. Une partie de leur succès réside dans les capacités étonnantes que les navigateurs offrent. L'autre partie, je pense, est motivée par les prix bas. AdsPower a même un niveau gratuit qui vous donne accès à deux profils et leur plan pro est seulement 50 USD par mois. Personnellement, je trouve que c'est la solution la plus attrayante. Sur ce, nous allons conclure :

#4 : X-Browser

Avec X-Browser, le navigateur anti-détection en lui-même est gratuit. Et cela peut être une caractéristique très attrayante. Le navigateur est proposé par smartproxy et peut être téléchargé gratuitement. L'inconvénient est que vous devez payer pour les proxys. Cependant, il n'y a pas d'inconvénient à cela. En effet, quelle que soit l'option choisie, vous avez besoin de proxys pour masquer votre IP et éviter d'être bloqué.

Limiter X-Browser à ses propres proxys peut être à la fois une bonne et une mauvaise chose. Pour une fois, l'utilisateur peut faire confiance à smartproxy pour offrir une solution optimisée pour ses proxys. D'un autre côté, vous ne pouvez utiliser que des proxies smartproxy. Être lié à un seul fournisseur signifie être lié à la qualité de son service. Et si vous souhaitez développer votre activité, je pense que vous avez besoin de plus de flexibilité.

Puisque vous ne payez que pour les proxies, les prix sont plutôt décents avec X-Browser. Leurs proxys pour centres de données varient entre 10 et 45 USD par mois. Les proxies résidentiels peuvent être un peu plus chers, mais tout dépend de la quantité que vous utilisez. Consultez les prix ici. Alors, terminons par X-Browser :

#5 : Kameleo

Kameleo est un véritable caméléon. Il prend en charge tous les principaux navigateurs web (Chrome, Safari, Firefox et Edge) et peut être utilisé avec les principaux cadres d'automatisation (Puppeteer, Selenium et Playwright). Kamelele propose également la personnalisation des empreintes digitales pour les appareils mobiles. Selon leur site web, Kameleo Mobile peut être utilisé pour usurper votre empreinte digitale sur n'importe quel appareil Android.

Contrairement à ses concurrents, le service de Kameleo n'est pas centré sur les navigateurs, mais sur les profils de navigateurs. En d'autres termes, ils ne modifient pas nécessairement un navigateur open-source pour créer leur propre version.

Nous avons fait quelques expériences avec leur plateforme et le principal inconvénient que nous avons trouvé est le support client. Il peut être très lent. En dehors de cela, le prix est bon : 59 à 199 USD payés mensuellement. Voilà, c'est fini :

#N°6 : Incognito

Incognito est un autre navigateur anti-détection avec une version gratuite. Contrairement à AdsPower, il offre l'accès à 10 profils de navigateur gratuits. Leur navigateur est basé sur Chromium et offre à peu près les mêmes fonctionnalités que le reste des navigateurs anti-détection. Le produit comporte également une API qui vous permet d'interagir avec le navigateur sans tête. En dehors du généreux volet gratuit, le prix varie de 29,99 à 149,99 USD par mois. Je dirais que c'est un prix juste pour ce qu'ils offrent. Pour conclure :

#7 : Sphère de Linken

Linken Sphere est un navigateur anti-détection basé sur Chromium et proposé par le groupe russe Tenebris. Il a été lancé en 2017, ce qui en fait l'une des solutions les plus anciennes du marché. Son principal inconvénient est qu'il semble assez louche. Ils n'acceptent que les paiements en bitcoins pour le moment et le support est centré sur leur canal Telegram. De plus, il est connu pour être utilisé dans des activités illégales, telles que le piratage ou la fraude. En dehors de cela, il fait plutôt bien son travail. Et avec cela, je vais conclure pour de bon :

Conclusions

L'empreinte digitale du navigateur peut rendre le web scraping extrêmement difficile. Si vous voulez passer inaperçu, vous devez couvrir de nombreux aspects. Les proxys, les résolveurs de captcha et un navigateur furtif sans tête ne sont que quelques-uns des "ingrédients" d'un scraper web fiable. L'addition de tous ces éléments peut engendrer des coûts de développement et de maintenance très élevés. L'alternative est d'utiliser un service de web scraping tiers bien établi. C'est exactement ce qu'offre l'API Web Scraping. Et j'irais même jusqu'à dire que c'est pour une fraction du coût.