Les meilleurs navigateurs anti-détection pour un web scraping sûr et efficace

La définition d'un navigateur anti-détection est en partie donnée par son nom même. Chaque navigateur classique (comme Chrome ou Firefox) possède sa propre identité en ligne. C'est ce que l'on appelle une empreinte digitale. La manière dont votre navigateur est identifié est très complexe. Elle dépend de facteurs tels que :

• Votre adresse IP
• L'agent utilisateur que vous envoyez avec vos requêtes
• Les propriétés de votre navigateur

Je dirais que ce dernier point est le plus important. En effet, n’importe qui sur Internet peut créer un script relativement simple pour obtenir certaines propriétés d’un navigateur. Et le plus important, c’est que presque à chaque fois, la combinaison de ces valeurs génère une configuration système unique. En pratique, on peut générer un hachage des valeurs combinées et converties en chaîne de caractères de ces propriétés et créer une empreinte digitale. Prenez par exemple FingerprintJS ou CreepJS.

De plus, la détection ne se limite pas à la fenêtre. J'ai même créé cet outil capable de détecter des techniques d'évasion telles que celles implémentées avec `puppeteer-extra-plugin-stealth` en comparant les valeurs recueillies depuis la fenêtre et les workers. Mais c'est un sujet plus complexe. Pour l'instant, il semble que la meilleure façon de rester indétectable en ligne soit d'utiliser un navigateur anti-détection.

Et nous revenons à notre sujet. Les navigateurs anti-détection sont des applications basées sur des navigateurs connus qui ont été modifiés pour accepter des valeurs personnalisées pour les propriétés dont nous avons parlé plus tôt. Comme les projets tels que Chromium ou Mozilla sont open source, n’importe qui peut les forker et créer sa propre version d’un navigateur. Et c’est exactement ce qui se passe avec les navigateurs anti-détection également.

Vous pouvez vous aussi cloner Chromium, par exemple, et le modifier pour qu'il renvoie des valeurs aléatoires pour diverses propriétés du navigateur. Mais dans la pratique, cela nécessite beaucoup de connaissances et de ressources. C'est pourquoi il existe certains fournisseurs connus, dont nous parlerons dans un instant. Mais d'abord :

Il existe de nombreux cas d'utilisation pour les navigateurs anti-détection. Cependant, certains secteurs s'appuient davantage sur ces navigateurs que d'autres. C'est pourquoi je vais préciser quels sont les cas d'utilisation des navigateurs anti-détection et pourquoi on les utilise. Sachant que leur plus grande force réside dans l'anonymat, voici les cas d'utilisation les plus courants d'un navigateur web anti-détection :

• Agences de marketing : Les spécialistes du marketing d'affiliation ou les agences de réseaux sociaux doivent généralement gérer plusieurs comptes sur les réseaux sociaux. En pratique, les plateformes de réseaux sociaux interdisent l'accès à ce type d'activités. Idéalement, de leur point de vue, un appareil ne devrait gérer qu'un seul compte. En gérer plusieurs pourrait être considéré comme un abus. Étant donné que les navigateurs anti-détection permettent de créer plusieurs identités, vous pouvez facilement les utiliser pour gérer ce type d'activité.
• Vendeurs en ligne : Il existe une pratique courante (mais tacite) chez les vendeurs Amazon ou les drop-shippers consistant à utiliser plusieurs comptes pour vendre leurs produits. Cela augmente leur portée et, par conséquent, leurs ventes. Là encore, les grandes plateformes de commerce électronique n’autorisent généralement pas de telles pratiques. Et là encore, les navigateurs anti-détection peuvent entrer en jeu.
• Web scraping : Ces dernières années, le web scraping est devenu un véritable défi. L'empreinte digitale d'un pilote web (navigateur automatisé) est plus facile à détecter aujourd'hui qu'il y a quelques années. Et comme vous l'avez sans doute déjà deviné, presque tous les sites web tentent d'éviter les bots. Les outils de web scraping entrant dans cette catégorie, les sites web essaient généralement de bloquer leur accès.

Selon le fournisseur, les navigateurs anti-détection peuvent être assez efficaces. En travaillant sur le mode furtif des API de web scraping, j’ai pu tester diverses techniques d’évasion. L’une d’entre elles consistait à tester des navigateurs anti-détection. Cela peut paraître surprenant, mais nous avons réussi à identifier les navigateurs automatisés pour Puppeteer et Selenium patchés, mais pas pour les navigateurs anti-détection.

Pour renforcer l'efficacité, nous avons découvert lors de nos tests que les valeurs utilisées pour générer des empreintes personnalisées sont également importantes pour détecter les pilotes Web. Par exemple, les valeurs aléatoires sont à proscrire. Au lieu de cela, lorsque vous générez une empreinte, essayez de :

• Utiliser de véritables agents utilisateurs
• Utiliser des plateformes d'appareils correspondant à l'agent utilisateur
• Ajouter des tableaux de plugins de navigateur réels

Et ce ne sont là que quelques exemples. L'essentiel est d'utiliser des informations réelles et cohérentes. De plus, si vous choisissez un fournisseur, essayez de suivre ses recommandations.

Dans un article connexe, j'ai dit que le meilleur navigateur anti-détection est celui que vous créez vous-même. Mais honnêtement, créer un navigateur, même en s'appuyant sur un projet open source, demande beaucoup d'efforts. Donc, si vous n'avez pas les ressources nécessaires pour constituer une équipe, vous feriez mieux de vous tourner vers l'un de ces fournisseurs :

GoLogin est un nouveau venu sur le marché des navigateurs anti-détection. Cela ne le rend toutefois pas moins efficace. Ce qui m’a d’abord frappé, ce sont les canaux d’assistance. Ils sont disponibles non seulement par e-mail ou chat, mais aussi via WhatsApp, Telegram et Facebook Messenger. Le deuxième point fort de GoLogin est la prise en charge des proxys. Leur navigateur intègre des proxys par défaut. Et le troisième concerne l’accès. GoLogin propose une application de bureau, une application mobile et une application web. Vous pouvez accéder à leur outil depuis le cloud, ce qui est assez impressionnant.

Le navigateur lui-même est basé sur Google Chrome. Il a été modifié pour générer de nouvelles empreintes pour chaque profil. Un inconvénient est qu’au lieu de falsifier toutes les valeurs, ils ajoutent également du bruit à certaines. Et des tests indiquent que cela peut entraîner davantage de captchas, ce qui signifie que les systèmes anti-bot peuvent encore détecter une certaine activité automatisée.

Côté prix, GoLogin propose des forfaits allant de 49 USD par mois à 199 USD. Ils offrent également une formule personnalisable. Celle-ci peut aller jusqu'à 1 999 USD par mois pour 10 000 profils cloud et d'autres avantages. Vous bénéficiez également d'une réduction de 50 % si vous payez à l'année. Vous pouvez consulter leur page de tarifs pour plus d'informations. En résumé :

Selon leur site web, Multilogin offre une « personnalisation complète de l'empreinte digitale ». Cela signifie que vous avez un accès complet aux propriétés du navigateur et que vous pouvez les modifier de nombreuses façons. De plus, c’est l’un des rares fournisseurs à ne pas désactiver les fonctionnalités du navigateur. La désactivation des fonctionnalités du navigateur (telles que les service workers) ne trahit pas immédiatement un navigateur automatisé. Cependant, les utilisateurs lambda désactivent rarement, voire jamais, ces fonctionnalités. Et cela peut déclencher une alerte chez les détecteurs de bots.

Revenons à Multilogin. Ce qu’ils ont fait, c’est créer des branches de Chrome et Firefox et développer leurs propres versions personnalisables. Leur interface graphique vous permet soit de générer un profil rapide (avec une empreinte associée), soit de falsifier vous-même certaines valeurs. Le seul inconvénient de Multilogin, selon moi, est son prix. Il commence à 99 USD par mois et peut aller jusqu'à 399 USD par mois. C'est le cas au moment où j'écris ces lignes. Pour connaître les prix actualisés, consultez leur page de tarifs. Pour conclure, voici quelques informations en bref :

Tout comme Multilogin, AdsPower propose deux navigateurs anti-détection. L’un est basé sur Chromium et s’appelle Sun Browser. Le second est basé sur Firefox et s’appelle Flower Browser. Tous deux offrent la possibilité de gérer l’empreinte digitale du navigateur. Ce qui est intéressant avec ce navigateur anti-détection, c’est qu’il intègre des fonctionnalités d’automatisation. Peu ou pas de programmation est nécessaire pour automatiser des tâches à l’aide de la Robotic Process Automation d’AdsPower.

L'entreprise a vu le jour en 2019 à Hong Kong et s'est rapidement développée pour devenir l'un des principaux concurrents de Multilogin. Une partie de son succès repose sur les capacités exceptionnelles de ses navigateurs. L'autre partie, je pense, est due à ses prix bas. AdsPower propose même une offre gratuite qui vous donne accès à deux profils, et son forfait pro ne coûte que 50 USD par mois. À titre personnel, je trouve que c'est la solution la plus intéressante. Sur ce, terminons :

Avec X-Browser, le navigateur anti-détection est gratuit en soi. Et cela peut être une fonctionnalité très attrayante. Le navigateur est proposé par Smartproxy et peut être téléchargé gratuitement. Le « hic », c'est que vous devez payer pour les proxys. Cependant, cela ne présente en réalité aucun inconvénient. En effet, quelle que soit l'option choisie, vous avez besoin de proxys pour masquer votre adresse IP et éviter d'être bloqué.

Le fait de lier X-Browser à ses propres proxys peut être à la fois un avantage et un inconvénient. D'une part, l'utilisateur peut être sûr que smartproxy proposera une solution optimisée pour ses proxys. D'autre part, vous ne pouvez utiliser que les proxys de smartproxy. Être lié à un seul fournisseur signifie être lié à la qualité de son service. Et si vous souhaitez développer votre activité, je pense que vous avez besoin de plus de flexibilité.

Comme vous ne payez que pour les proxys, les tarifs de X-Browser sont plutôt raisonnables. Leurs proxys de centre de données coûtent entre 10 et 45 USD par mois. Les proxys résidentiels peuvent être un peu chers, mais tout dépend de votre utilisation. Consultez les tarifs ici. Résumons donc X-Browser :

Kameleo est un véritable caméléon. Il prend en charge tous les principaux navigateurs web (Chrome, Safari, Firefox et Edge) et peut être utilisé avec les principaux frameworks d'automatisation (Puppeteer, Selenium et Playwright). De plus, ils proposent également la personnalisation des empreintes digitales pour les appareils mobiles. Selon leur site web, Kameleo Mobile peut être utilisé pour usurper votre empreinte digitale sur n'importe quel appareil Android.

Contrairement à ses concurrents, le service de Kameleo n’est pas centré sur les navigateurs, mais sur les profils de navigateur. Cela signifie qu’ils n’apportent pas nécessairement de modifications à un navigateur open source pour créer leur propre version.

Nous avons testé leur plateforme et le principal inconvénient que nous avons constaté concerne le service client. Il peut être très lent. En dehors de cela, les tarifs sont intéressants : de 59 à 199 USD par mois. Résumons donc tout cela :

Incognito est un autre navigateur anti-détection proposant une offre gratuite. Contrairement à AdsPower, il donne accès à 10 profils de navigateur gratuits. Son navigateur est basé sur Chromium et offre pratiquement les mêmes fonctionnalités que les autres navigateurs anti-détection. Le produit dispose également d'une API qui vous permet d'interagir avec le navigateur headless. Outre la formule gratuite généreuse, leurs tarifs varient de 29,99 à 149,99 USD par mois. Je dirais que c'est un prix raisonnable pour ce qu'ils offrent. Pour conclure :

Linken Sphere est un navigateur anti-détection basé sur Chromium et proposé par le groupe russe Tenebris. Il a été lancé en 2017, ce qui en fait l'une des solutions les plus anciennes du marché. Son principal inconvénient est qu'il semble assez louche. Pour l'instant, ils n'acceptent que les paiements en bitcoins et assurent le support principalement via leur chaîne Telegram. De plus, il est connu pour être utilisé dans le cadre d'activités illégales, telles que le piratage ou la fraude. Mis à part cela, il fait plutôt bien son travail. Et sur ce, je vais conclure définitivement :

Le fingerprinting de navigateur peut rendre le web scraping extrêmement difficile. Si vous voulez passer inaperçu, vous devez prendre en compte de nombreux aspects. Les proxys, les solveurs de captcha et un navigateur headless furtif ne sont que quelques-uns des « ingrédients » d’un web scraper fiable. Tout cela peut entraîner des coûts de développement et de maintenance très élevés. L’alternative consiste à utiliser un service de web scraping tiers bien établi. Et c'est exactement ce qu'offre Web Scraping API. J'irais même jusqu'à dire que tout cela ne coûte qu'une fraction du prix.