Le guide du débutant pour l'utilisation des proxys pour le Web Scraping

Raluca Penciuc le 27 avril 2021

Bien que les racleurs de sites web n'aient pas intrinsèquement besoin de proxies pour fonctionner, vous constaterez que vous ne pourrez pas aller bien loin sans eux.

Quelles que soient les précautions que vous prenez et la façon dont vous limitez ou rendez aléatoire le nombre de demandes, vous finirez tôt ou tard par être bloqué. Et pensez-y : en ralentissant vos demandes, vous perdez encore plus de temps. Ne serait-il pas préférable d'obtenir quelques serveurs mandataires, de les parcourir et de terminer votre projet avant la mort thermique de l'univers ?

C'est du moins ce que nous pensons.

Quoi qu'il en soit, tous les proxys ne sont pas identiques. Les prix diffèrent, la vitesse diffère, et même les fonctionnalités diffèrent. Dans cet article, nous allons examiner ces différences et apprendre à choisir les bons proxys pour n'importe quel projet. Alors, on y va ?

Proxies - le pain et le beurre du web scraping

Commençons par une définition. Lorsque vous accédez à quelque chose sur l'internet (par exemple, des sites web ou des applications), votre adresse IP, un identifiant unique sur l'internet, est visible. Les proxys sont des intermédiaires entre vous et le serveur souhaité. Ils masquent votre IP (ainsi que d'autres identifiants) au site web en soumettant la leur.

En résumé, les proxys vous aident à dissimuler votre empreinte numérique. Ensuite, pourquoi est-ce nécessaire pour le web scraping ?

Le plus souvent, vous voudrez extraire des données de plusieurs pages d'un même site web. Les scrapers modernes peuvent le faire en un clin d'œil, mais les vrais humains ne le peuvent pas. Les sites web espèrent être visités par des êtres humains, et non par des robots, de sorte que lorsqu'ils détectent des robots, ils peuvent les bloquer.

Les sites web plus avancés disposent de mesures de sécurité supplémentaires pour décourager les robots. Ils peuvent interdire à titre préventif les adresses IP de proxy connues, rendre leur code HTML plus difficile à comprendre ou utiliser des fonctions CAPTCHA complexes.

Avec ces bloqueurs connus, l'obtention des données que vous souhaitez est une question d'utilisation des bons proxys de la bonne manière. Il existe de nombreuses façons de cataloguer les proxys en fonction de leur anonymat ou de leur origine, mais nous ne parlerons que des deux types les plus importants pour le web scraping : les proxys de centre de données et les proxys résidentiels.

Proxy de centre de données

Alors qu'une IP normale est connectée à un fournisseur d'accès à Internet, comme n'importe quel internaute, les proxys des centres de données sont stockés en masse sur un serveur en nuage hébergé par un tiers.

En termes simples, un grand serveur héberge des milliers de proxys de centre de données. En outre, l'infrastructure au niveau de l'entreprise rend les proxies de centre de données à la fois stables et rapides, du moins les proxies payants.

Il se peut que vous trouviez des proxys de centre de données dont l'utilisation est gratuite pour tout le monde. Si, dans certains cas, ils peuvent fonctionner comme annoncé, vous risquez aussi de vous exposer aux pirates informatiques, donc soyez prudent. De plus, comme ils sont gratuits pour tout le monde, qui sait ce que les autres ont fait des adresses IP, il se peut qu'elles soient déjà interdites sur de nombreux sites web. Comme le dit le vieil adage, on en a pour son argent.

L'abondance est une bonne chose, mais cela signifie également que toutes ces adresses IP partagent un sous-réseau, ce qui est moins agréable. La raison en est simple : elles ont quelque chose en commun, ce qui permet aux sites web de les détecter facilement une fois qu'ils en ont trouvé une.

Avantages du proxy de centre de données

Tout d'abord, il s'agit du prix. Bien que les coûts varient d'un fournisseur de services à l'autre, la règle générale est que vous trouverez des proxys de centre de données à des prix plus intéressants que des proxys résidentiels, sur lesquels nous reviendrons bientôt.

Comme nous l'avons dit lors de la présentation du type de proxy, ils sont construits sur de bonnes bases technologiques, de sorte que vous pouvez vous attendre à une excellente stabilité et à certaines des meilleures vitesses qu'un proxy puisse offrir. La différence entre 0,5 seconde et 0,9 seconde peut sembler minime, mais elle est importante lorsque vous effectuez des milliers de requêtes par jour.

Un autre avantage de s'appuyer sur des serveurs haut de gamme est que vos requêtes sont acheminées par défaut via les proxys les plus proches, ce qui améliore encore la vitesse. L'internet est peut-être rapide, mais si vous êtes à Los Angeles et que la page que vous recherchez est également hébergée aux États-Unis, il est préférable de passer par un proxy hébergé sur la côte ouest, et non en Côte d'Ivoire.

Inconvénients du proxy de centre de données

Comme ils ne sont pas hébergés par un fournisseur d'accès à Internet, les proxys de centres de données ne partagent pas d'IP réelles, en quelque sorte. Le problème est qu'ils partagent un sous-réseau, un élément commun qui permet aux sites web de les détecter facilement une fois qu'ils en ont trouvé un.

Si les proxys de centres de données sont axés sur la vitesse, ils perdent quelques points lorsqu'il s'agit d'imiter les utilisateurs réels. Cela peut poser un problème, car vous êtes plus susceptible de rencontrer des blocages lors de l'extraction de données. Un grand nombre de serveurs mandataires peut résoudre ce problème, ou du moins l'atténuer, mais n'oubliez pas qu'un plus grand nombre de serveurs mandataires entraîne une augmentation des coûts.

Quand utiliser les proxys de centre de données ?

Ces types d'IP conviennent parfaitement aux sites web ordinaires. Si vous n'êtes pas confronté à des contre-mesures sérieuses de scraping, les proxies sont une solution rentable pour extraire des données sans risquer de voir votre propre IP bloquée.

Si vous scrapez régulièrement les mêmes pages et que vous savez que les proxys de centre de données conviennent, vous pouvez automatiser le processus et être sûr d'obtenir les données nécessaires sans vous ruiner.

Procurations résidentielles

Ces types d'IP sont ceux que les humains et les ordinateurs associent le plus aux utilisateurs réguliers de l'internet. Le proxy est hébergé par un FAI et dispose d'un emplacement réel. En ce sens, il est le meilleur moyen de masquer votre véritable IP, ce qui est après tout l'objectif des proxys.

Bien que le fournisseur de services proxy n'ait pas à maintenir un grand serveur hébergeant d'innombrables IP, il doit trouver et incorporer de nombreux proxys résidentiels, tous situés dans des endroits différents. C'est en fait une bonne chose pour vous, l'utilisateur, car cela signifie généralement que vous aurez accès à un grand nombre d'options de géolocalisation différentes pour contourner les restrictions de contenu régionales.

Avantages de la procuration résidentielle

Tout d'abord, les IP résidentielles sont les meilleures pour ne pas être détectées et donc bloquées. Pour certains, c'est le facteur le plus important. Avec un pool décent de proxies résidentiels, vous serez en mesure de récupérer à peu près n'importe quoi. Assurez-vous simplement que vous le faites de manière éthique !

Un autre point en leur faveur est le fait que la plupart des fournisseurs de services disposent de proxys répartis dans de nombreux pays, ce qui signifie que vous n'avez pas à vous soucier des restrictions géographiques. Il est également plus probable que vous disposiez d'un proxy proche de l'endroit où la page web est hébergée, de sorte que les requêtes ne prennent pas beaucoup de temps.

Contrairement aux IP des centres de données qui peuvent être bloquées en masse, toutes les IP résidentielles sont uniques. Vous avez beaucoup moins de chances de vous retrouver bloqué dès le départ, car il n'y a aucun moyen de relier une IP résidentielle à une autre, même si vous utilisez les deux.

Inconvénients de la procuration résidentielle

En raison de la difficulté de créer un grand pool de proxies résidentiels et de leur efficacité, vous les trouverez très probablement plus chers que les IP des centres de données. La différence n'est peut-être pas très importante mais, une fois de plus, elle s'additionne lorsque vous effectuez de nombreuses requêtes chaque jour.

Étant donné que vous travaillerez avec des adresses IP provenant de différents endroits et fournisseurs de services Internet, la vitesse peut varier d'un proxy à l'autre et d'une demande à l'autre. Il est donc essentiel de trouver le bon fournisseur d'accès qui offre les services les plus fiables et les plus rapides.

Quand utiliser les procurations résidentielles

Ce type d'IP est considéré par beaucoup comme la meilleure option pour le web scraping. Il a son prix, mais les IP résidentielles fonctionnent sur pratiquement toutes les pages web.

Des sites comme Google, Amazon ou les plateformes de médias sociaux prennent les bots très au sérieux, et il est donc très probable que les IP des centres de données ne suffisent pas. C'est à ce moment-là qu'il faut sortir les IP résidentielles, qui ont beaucoup plus de chances de vous fournir les données dont vous avez besoin.

Passer au niveau supérieur - Rotation des proxies

Avec un proxy, vous n'avez pas à vous soucier du blocage de votre IP réelle, mais vous pouvez être limité dans le nombre de requêtes que vous pouvez envoyer si vous n'utilisez qu'un seul proxy.

L'étape logique suivante consiste à envoyer des requêtes à partir de différents serveurs mandataires, de sorte que le site web voit différents utilisateurs accéder à ses pages. Intelligent, n'est-ce pas ? Mais le problème, c'est qu'il faut changer manuellement d'adresse IP, de sorte que le temps gagné en envoyant des requêtes plus rapidement est perdu en liant les paramètres de la requête.

Cependant, les web scrapers ont pour vocation d'automatiser les tâches fastidieuses, alors pourquoi ne pas automatiser le processus de changement de proxies ? Nous aimerions vous présenter le concept de proxies rotatifs.

L'idée des proxys rotatifs est que le fournisseur de services utilise une fonction qui fait que chaque fois que vous envoyez une requête à une page web, elle passe par une IP différente à chaque fois. C'est la même chose que de changer manuellement de proxy, mais sans les inconvénients, ce qui signifie que vous pouvez envoyer des milliers de requêtes sans délai et sans craindre d'être bloqué.

Dans certains cas, vous voudrez conserver la même IP pour des sessions consécutives, si vous devez vous connecter au site web, par exemple. Dans ce cas, il vous suffit de définir des sessions collantes dans lesquelles vous utilisez toujours la même IP pour les pages spécifiées.

En bref, les proxies rotatifs sont la cerise sur le gâteau d'un bon pool de proxy qui vous permet d'obtenir toutes les données dont vous avez besoin en temps voulu et sans être bloqué.

Alors, où puis-je me les procurer ?

Il existe de nombreux fournisseurs de services proxy. La plupart d'entre eux sont plus orientés vers la navigation anonyme, puisque c'est en quelque sorte le but des proxys. Mais d'autres sont plus orientés vers le web scraping. En fait, certains produits d'extraction de données, dont WebScrapingAPI, sont livrés avec leur propre pool de proxys rotatifs pour la commodité des utilisateurs.

À ce stade, vous êtes prêt à trouver un prestataire de services qui peut vous aider dans vos projets, alors allez-y et examinez les options qui s'offrent à vous ! Voici une bonne liste de produits pour commencer.