Commencer à utiliser Web Stealth Proxy comme un pro : Guide de démarrage rapide

Mihai Maxim le 20 février 2023

Web Stealth Proxy est une solution proxy alimentée par ML qui contourne les systèmes anti-bots sophistiqués et vous permet de gratter n'importe quel site web. Avec Web Stealth Proxy, tout ce que vous avez à faire est d'envoyer une requête. Notre système se charge du reste. Grâce à ses technologies et techniques avancées, Web Stealth Proxy est capable de garder une longueur d'avance sur les blocs et de s'adapter à des restrictions de sites en constante évolution. Cela signifie que vous pouvez être sûr que votre processus de scraping restera fluide et ininterrompu, ce qui vous permettra d'extraire les données dont vous avez besoin pour réussir.

Êtes-vous prêt à passer au niveau supérieur en matière de web scraping ? Ce guide de démarrage rapide contient tout ce dont vous avez besoin pour démarrer avec Web Stealth Proxy.

Qu'est-ce que Web Stealth Proxy a à offrir ?

Gratte-papier sans blocage - notre algorithme intelligent de rotation des adresses IP garantit que votre adresse IP n'est pas bloquée ou limitée.

Scrapez comme un véritable utilisateur - donnez à vos requêtes de scraping un aspect organique à l'aide de proxies, d'empreintes dynamiques et de cookies personnalisés.

Extraction de données localisées partout dans le monde - collecte de données localisées sans blocage grâce aux 195 pays et aux plus de 100 millions d'adresses IP uniques de Web Stealth Proxy.

Assistance en direct 24/7 - obtenez une assistance professionnelle de notre équipe d'assistance à la clientèle à tout moment

Intégration transparente - intégrez facilement Web Stealth Proxy dans votre code existant grâce à un système de proxy à entrée unique.

Caractéristiques techniques

Gestion de proxy basée sur le ML - sélectionne le meilleur pool de proxy possible pour votre site web cible.

Empreinte digitale dynamique - sélectionne automatiquement les bons en-têtes, cookies, attributs de navigateur et proxies pour imiter le comportement d'un utilisateur authentique et masquer l'identité de votre robot.

Fonctionnalité de rappel automatique - sélectionne de nouveaux paramètres et renvoie la demande en cas d'échec.

Rendu JavaScript - nos navigateurs sans tête chargent le contenu complet de la page web et vous permettent d'explorer facilement des sites web dynamiques.

Contrôle de session: passez d'une IP à l'autre pour chaque demande ou conservez la même IP jusqu'à 5 minutes.

Informations sur les achats et les abonnements

Web Stealth Proxy vous permet de planifier facilement vos projets de scraping. Nous proposons cinq plans différents basés sur le nombre de requêtes réussies effectuées par l'intermédiaire du proxy.

Essai gratuit - 10 000 demandes

Démarrage - 250 000 demandes

Croissance - 500 000 demandes

Entreprises - 1 000 000 de demandes

Pro - 2 000 000 de demandes

De plus amples informations sur chaque plan sont disponibles ici.

Utilisation de Web Stealth Proxy

Effectuer des requêtes avec Web Stealth Proxy est facile, surtout si vous avez déjà utilisé des proxys ordinaires pour le web scraping. Veuillez noter que vous devrez désactiver la vérification des certificats SSL (commutateur -k dans cURL, verify=false dans Python, etc.)

Web Stealth Proxy est disponible via :

HTTPS à stealthproxy.webscrapingapi.com:8000
HTTP à stealthproxy.webscrapingapi.com:80

Vos identifiants Web Stealth Proxy sont stockés dans la section Start Here de la page du service Web Stealth Proxy.

Voici un exemple de requête simple utilisant cURL :

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR_PROXY_USERNAME>:<YOUR_PROXY_PASSWORD>" \

-X GET "https://httpbin.org/get" 

Vous ne devez spécifier aucun paramètre. Notre système ajoutera tous les en-têtes standard, sélectionnera le proxy le plus rapide et vous transmettra la réponse. Pour utiliser des fonctionnalités plus avancées, telles que le choix d'un emplacement de proxy spécifique ou l'utilisation de la même IP pour plusieurs demandes, vous pouvez inclure des en-têtes supplémentaires dans votre demande.

Vous trouverez d'autres exemples de code dans notre documentation.

Paramètres de géolocalisation

Web Stealth Proxy vous permet d'envoyer la demande à partir de différents pays, en ajoutant l'en-tête X-WSA-Geo-Location à votre demande.

Voici comment envoyer une requête à partir d'une adresse IP située en Allemagne :

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET "https://httpbin.org/get" \

--header "X-WSA-Geo-Location: de"

Vous trouverez ici la liste complète de toutes les géolocalisations prises en charge.

Contrôle de la session

Vous pouvez créer et utiliser une nouvelle session afin de récupérer plusieurs pages d'un même site web et réutiliser le même proxy (adresse IP) pour chaque demande. Pour utiliser la même adresse IP, il suffit d'ajouter l'en-tête X-WSA-Session-ID avec la valeur entière de votre choix. Cette valeur sera utilisée pour identifier la nouvelle session créée par vous :

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET  "https://httpbin.org/get" \

--header "X-WSA-Session: 1234" 

Vos sessions expireront 5 minutes après la dernière utilisation.

D'autres exemples de code dans d'autres langues sont disponibles ici.

En-têtes personnalisés

Les en-têtes HTTP personnalisés sont utiles lorsque vous souhaitez fournir des informations supplémentaires à votre requête. Si votre requête nécessite le passage d'en-têtes HTTP personnalisés, il vous suffit d'ajouter WSA- au nom de votre en-tête et de l'ajouter à votre requête :

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET  "https://httpbin.org/get" \

--header "WSA-random-header: random" \

--header "WSA-User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64)"

Suivez ce lien pour trouver des exemples de code dans d'autres langues.

Cookies personnalisés

Vous pouvez également définir des cookies personnalisés pour le site web cible. Les cookies personnalisés sont traités de la même manière que les en-têtes personnalisés. Pour ajouter votre propre cookie à la requête, il vous suffit de transmettre le nom et la valeur de l'en-tête personnalisé WSA-Cookie lorsque vous envoyez votre requête :

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET "https://httpbin.org/get" \

--header "WSA-Cookie: SID=abcd"

D'autres exemples de code dans différentes langues sont disponibles ici.

Rendus et captures d'écran en JavaScript

Web Stealth Proxy utilise des navigateurs sans tête pour rendre le contenu complet de n'importe quelle page web et vous renvoyer le code HTML résultant. Ajoutez l'option X-WSA-Render : screenshot pour recevoir une capture d'écran de la page. La requête renverra un objet JSON contenant l'image cryptée base64 :

curl -k -x "http://stealthproxy.webscrapingapi.com:80" \

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X GET "https://httpbin.org/get" \

--header "X-WSA-Render: screenshot"

Cliquez ici pour trouver des exemples de code dans d'autres langages de programmation.

Demandes POST

Avez-vous besoin d'envoyer des données au site Web ciblé ? Web Stealth Proxy prend en charge les requêtes POST et PUT.

curl -k -x "http://stealthproxy.webscrapingapi.com:80"\

-U "<YOUR-PROXY-USERNAME>:<YOUR-PROXY-PASSWORD>" \

-X POST "https://httpbin.org/get" \

--data '{"foo":"bar"}'

Vous trouverez ici d'autres exemples de code pour différents langages de programmation.

Utilisation et statistiques

Vous pouvez consulter votre consommation de crédit à tout moment en visitant la section Statistiques de la page du service Web Stealth Proxy :

Vous ne recevrez qu'un seul crédit par demande acceptée. Une demande est considérée comme réussie si elle renvoie un code de statut 200.

Conclusion

Web Stealth Proxy est idéal pour les tâches de web scraping. Au lieu de gérer manuellement les CAPTCHA, les blocages et autres restrictions, Web Stealth Proxy s'occupe du processus de déblocage pour vous avec un taux de réussite élevé (généralement 100 %).

Si vous avez d'autres questions sur le Web Stealth Proxy ou si vous avez besoin d'aide pour l'utiliser, notre équipe d'assistance est là pour vous aider. Contactez-nous à tout moment par chat en direct ou par e-mail, et nous serons heureux de vous fournir les conseils dont vous avez besoin.