Les 7 meilleures listes de Proxy gratuits pour le Web Scraping

Robert Munceanu le 16 août 2021

Dans le domaine du web scraping, soit vous utilisez des proxys, soit vous faites un mauvais travail d'extraction de données. Bien sûr, vous n'aurez peut-être pas besoin d'un proxy de backconnect avec des milliers d'adresses IP de centres de données et de résidences, mais vous aurez au moins besoin de quelques proxys de base.

Le gros problème pour les scrappeurs amateurs ou débutants est que les IP coûtent généralement de l'argent. Heureusement, il existe des proxys gratuits. En fait, il existe un grand nombre d'options parmi lesquelles choisir. Nous avons exploré certaines d'entre elles et choisi les 7 meilleures afin que vous n'ayez que la qualité, du moins en ce qui concerne les proxies gratuits.

En fait, avant d'aborder la liste, il convient d'examiner quelques détails. Les proxys gratuits sont excellents parce que vous ne devez pas investir d'argent, mais ils ne sont pas parfaits.

Les avantages et les inconvénients des serveurs mandataires gratuits

Tout d'abord, ils sont gratuits. C'est un peu évident, mais c'est un avantage significatif. Pensez-y, vous pouvez prendre n'importe quel guide sur notre blog, coder votre scraper et l'utiliser avec les proxys.

Il y a beaucoup à dire sur les avantages des proxys dans le web scraping, et nous ne les aborderons pas dans cet article. Mais si vous voulez en savoir plus, consultez cet article sur les proxys rotatifs, dans lequel nous expliquons à quel point un pool d'adresses IP peut faire la différence.

Malheureusement, c'est à peu près le seul avantage que les proxys gratuits ont sur les autres. Passons maintenant aux inconvénients.

Comme ces adresses IP sont librement accessibles, tout le monde les connaît. Il est donc probable que les sites web connaissent déjà ces adresses et les ont déjà bloquées. Soit quelqu'un a déjà essayé d'accéder au site web qui vous intéresse et a fait bannir l'IP, soit le webmaster a trouvé le fournisseur de proxy gratuit, a copié toutes les IP et les a ajoutées à une liste noire. Ce n'est pas toujours le cas, mais cela arrive souvent.

Les IP gratuites sont souvent lentes et manquent d'anonymat. L'entretien des proxys coûte de l'argent, vous ne pouvez donc pas sérieusement vous attendre à obtenir gratuitement des adresses IP de qualité supérieure. Comme le dit l'adage, on en a pour son argent.

Les proxys gratuits peuvent vous exposer à des pirates informatiques. Comme je viens de le dire, il est un peu inhabituel que quelqu'un propose des adresses gratuites pour rien. L'une des raisons pour lesquelles quelqu'un peut faire cela est de surveiller et de copier les informations qui passent par le proxy. Il peut ensuite utiliser ces informations à des fins malveillantes. Là encore, il ne s'agit pas d'une garantie, mais vous devez rester sur vos gardes.

1. WebScrapingAPI

Ce qui différencie WebScrapingAPI des autres fournisseurs de cette liste, c'est que l'API n'utilise que des proxies premium. Cela inclut des IP résidentielles et de centre de données, avec de nombreuses options de géolocalisation (7 pour le centre de données, 40 pour le résidentiel et plus de 200 pour les plans personnalisés). Bien qu'il existe des plans payants, allant de 20 à 200 dollars, tout nouvel utilisateur bénéficie d'une période d'essai gratuite de deux semaines, au cours de laquelle il peut utiliser toutes les fonctionnalités de l'API.

La rotation des mandataires est gérée automatiquement par l'API, de sorte que, sauf indication contraire de votre part, toutes les demandes passeront par des IP différentes. En outre, vous pouvez envoyer jusqu'à 10 requêtes simultanées, ce qui signifie que vous pouvez utiliser le pool de serveurs mandataires au maximum, en extrayant des données à des vitesses fulgurantes.

Naturellement, WebScrapingAPI n'offre pas seulement des proxies mais aussi un accès au scraper. Ainsi, vous bénéficiez de toutes les fonctionnalités d'un outil d'extraction de données haut de gamme sans avoir à écrire une ligne de code.

Une fois l'essai gratuit terminé, vous n'avez toujours pas à dépenser un dollar, sauf si vous le souhaitez, car vous serez rétrogradé à l'offre gratuite, avec 1 000 appels API par mois, aussi longtemps que vous le souhaitez.

2. ProxyScan

ProxyScan est une collection d'outils utiles regroupés sur un seul site web. Le premier et le plus important est la liste des serveurs mandataires. Ils prétendent avoir plus de 12.000 proxies au total. Bien qu'il s'agisse d'un chiffre impressionnant, d'après ce que j'ai pu en déduire, il pourrait être un peu plus bas, peut-être parce que les proxies gratuits apparaissent et disparaissent constamment, de sorte que le nombre peut varier.

Parmi ces proxys, presque tous sont des SOCKS 4 ou 5, et un peu plus de 100 sont des HTTP/S. En outre, presque tous sont anonymes ou élites, les seuls qui importent vraiment dans le cadre du web scraping.

En ce qui concerne la géolocalisation, ProxyScan offre des IP dans plus de 100 pays. Même si tous ces pays ne disposent pas d'un grand nombre de proxies, la couverture est tout de même bonne. Vous pouvez également vérifier le temps de disponibilité et le ping de chaque IP, ce qui facilite la sélection des meilleures IP.

3. Liste de procuration

L'idée générale derrière Proxy-list semble être la quantité plutôt que la qualité. Au total, ils ont plus de 17.000 proxies, dont la plupart sont des SOCKS 4. Je dis que l'accent est moins mis sur la qualité parce que vous n'obtenez aucune information sur le temps de disponibilité de l'IP ou sur le ping. Le site web met à jour ses listes toutes les deux heures et élimine les IP qui ne répondent pas.

Lorsque vous consultez leurs listes, vous obtenez l'IP, le port, le niveau d'anonymat et le pays. Par rapport à d'autres fournisseurs de cette liste, ces informations sont quelque peu insuffisantes.

Vous pouvez filtrer les résultats par anonymat (transparent, anonyme ou élite) et par pays. J'ai remarqué que certains des pays que vous pouvez sélectionner dans le filtre n'ont pas de proxies disponibles sur le site web. Il ne faut donc pas s'attendre à trouver des IP de n'importe quelle région. Ceci étant dit, il y a encore beaucoup d'options.

En plus de parcourir leurs nombreuses pages, vous pouvez également télécharger des listes en texte brut ou directement dans le presse-papiers. Bien que le processus soit beaucoup plus rapide de cette manière, le fichier txt ne contient que les adresses IP, de sorte que si vous souhaitez également enregistrer les ports ou les pays d'origine, vous devrez les obtenir directement sur le site. Comme on peut s'y attendre, je vous suggère de gratter les pages plutôt que d'obtenir les données manuellement.

4. Proxy gratuit

Bien que Free Proxy ne soit pas le plus beau des sites web, il dispose d'un grand nombre d'IP, de leurs détails et de toutes les fonctionnalités de filtrage dont vous avez besoin.

Le nombre total d'adresses IP dépasse 23 000, dont la plupart sont des SOCKS4/5. Ces adresses IP proviennent de 160 pays au total. La plupart des IP proviennent d'Asie, mais vous n'aurez aucun mal à trouver des proxies dans n'importe quel coin du monde.

Si vous consultez leurs listes, vous verrez une multitude d'informations, notamment la vitesse, le temps de disponibilité, la réponse et le temps écoulé depuis la dernière vérification. Ce dernier détail est en fait l'un des points faibles de ce fournisseur - de nombreuses IP sont vérifiées assez rarement, et il y a de fortes chances de tomber sur de nombreuses IP mortes, surtout si plusieurs jours se sont écoulés depuis leur dernier ping.

Pour naviguer, vous pouvez filtrer par pays, anonymat et protocole. Ensuite, vous pouvez également classer la liste obtenue par vitesse, temps de fonctionnement, réponse et "dernière vérification". Il ne devrait donc pas vous falloir longtemps pour trouver ce que vous cherchez. Il existe également un bouton appelé "Export IP:Port" qui vous permet de copier rapidement l'adresse complète afin de l'ajouter à votre scraper.

5. Spys.one

Comme le fournisseur précédent, Spys.one propose un large éventail d'IP provenant du monde entier. Au total, ils semblent avoir plus de 26 000 proxies, ce qui dépasse Free Proxy. Mais de nombreuses IP n'ont pas été vérifiées depuis des semaines, voire des mois, et il se peut donc qu'elles ne fonctionnent plus.

En ce qui concerne la navigation, vous pouvez choisir à peu près n'importe quel critère pour filtrer la liste. Vous pouvez même sélectionner par ville, même si de nombreux mandataires n'ont pas de ville spécifiée. N'utilisez donc cette option que si elle est cruciale pour votre cas d'utilisation. Sinon, vous risquez de passer à côté de possibilités intéressantes.

Bien que le fournisseur semble disposer d'un grand nombre d'adresses IP, je ne peux pas dire que j'aime beaucoup l'interface utilisateur, de sorte que l'obtention de toutes ces adresses IP pourrait s'avérer plus compliquée qu'on ne le pense.

6. Génode

Contrairement à la plupart des autres sites web de cette liste, Genode ne gagne pas d'argent grâce aux revenus publicitaires, mais en louant des proxies résidentiels premium. Mais en plus de cela, ils maintiennent également une liste de proxy gratuits que n'importe quel visiteur peut utiliser.

Leur liste contient près de 5.000 proxies répartis dans un nombre impressionnant de pays. Pour naviguer dans cette liste, vous pouvez choisir le pays, le niveau d'anonymat, le protocole proxy, l'organisation, la vitesse, le temps de fonctionnement et la date de la dernière vérification. En fait, vous filtrez en fonction de tous les facteurs de différenciation qu'ils présentent.

Lorsque vous vérifiez la vitesse, vous obtenez un délai réel (en millisecondes) et une barre qui compare la vitesse de cette IP particulière à celle des autres IP de la liste. En outre, si le temps de réponse est anormalement élevé, le chiffre apparaît en rouge, ce qui signifie qu'il est probablement trop lent pour être utilisé correctement.

Ce genre de petits détails peut avoir un impact sur vos résultats globaux, donc Genode mérite une place sur la liste même si le pool de proxy lui-même est un peu petit comparé à l'autre site web que j'ai présenté.

7. Listes de procurations gratuites

Bien que je ne puisse pas dire que Free Proxy Lists soit le plus beau site Web, il va sans aucun doute à l'essentiel en vous présentant une liste exhaustive d'adresses IP.

Il est louable que la plateforme dispose de proxies provenant de 78 pays différents, un nombre que vous n'obtiendrez peut-être pas auprès de fournisseurs de services payants. Malheureusement, beaucoup de ces pays ont moins de 10 IP chacun. Dans de nombreux cas, il n'y a qu'un seul proxy de la région.

Au total, ils disposent de plus de 600 IP, qui utilisent toutes le protocole HTTP ou HTTPS, de sorte que vous n'aurez pas de chance si vous avez besoin de SOCKS.

Passer d'une page à l'autre à la recherche du bon proxy peut vite devenir ennuyeux, mais le site web vous permet de filtrer les résultats par pays, par port, par protocole, par anonymat et par temps de fonctionnement. Vous pouvez également voir leurs vitesses de réponse et de transfert représentées par des barres de chargement colorées. Bien qu'elles ne soient pas très explicites, ces barres peuvent vous aider à choisir les IP les plus rapides.

Choisissez judicieusement vos proxys

Bien que je comprenne l'attrait des serveurs mandataires gratuits et que je vous recommande au moins de les essayer, n'oubliez pas que votre temps est aussi une ressource. En fait, il peut être plus précieux que l'argent.

Permettez-moi d'élaborer : passer en revue des milliers de proxies gratuits peut réduire les coûts puisque vous ne jouez pas pour des proxies premium, mais cela nécessitera une attention constante de votre part. L'IP cessera souvent de fonctionner ou sera bloquée, et vous devrez alors trouver une nouvelle liste et l'ajouter à votre script. Au fur et à mesure que de nouvelles IP gratuites apparaîtront, vous devrez les ajouter car les anciennes finiront tôt ou tard par tomber en panne.

Par essence, les proxys gratuits permettent d'économiser de l'argent mais nécessitent un travail répétitif. Je recommande à tout amateur de scraping de construire au moins un scraper et de l'utiliser avec des proxys gratuits, car c'est une excellente expérience d'apprentissage. Mais après cela, il se peut que vous souhaitiez simplement obtenir des données précises dans les délais impartis, avec peu ou pas d'intervention humaine.

C'est l'idée qui sous-tend WebScrapingAPI. Nous avons construit une API REST pour faire le plus gros du travail à votre place afin que vous puissiez vous concentrer sur l'utilisation des données dans toute leur étendue. Si vous ne l'avez pas encore fait, commencez votre essai gratuit de WebScrapingAPI pour mettre la main sur un scraper de premier ordre avec des proxies hermétiques !