Proxys de centre de données
Collectez de grands volumes via des proxys de datacenter lorsque vos sites cibles acceptent ce trafic. Gardez le contrôle du client, de l’extraction et du stockage.
Pour l'acheteur
Un candidat fort à l'évaluation
Gardez le client HTTP, le navigateur ou le crawler tout en évaluant une route d'origine du centre de données pour une charge de travail stable et répétitive.
Le représentant targets accepte le trafic des centres de données.
La demande est suffisamment comprise pour couvrir la capacité.
Votre équipe possède des retries, des analyses, du stockage et de la qualité.
Validation avant l'échelle
Test des pages publiques éligibles représentatives, des critères de réussite, la gestion des réponses et le comportement de demande conservateur avant de s'engager dans une allocation.
Examiner les termes de la source et l'utilisation prévue.
Mesurer le target les réponses que votre collectionneur reçoit.
Concentrez-vous sur l'offre actuelle et sur la charge de travail.
Choisissez une autre voie si nécessaire.
Évaluer Residential ou Proxys FAI lorsque la catégorie d'identité compte, ou une API d'accès Web lorsque votre équipe ne veut pas posséder le client de récupération sortant.
Contrôles fournis
Définissez pays, session et authentification pour votre outil de collecte. Confirmez les lieux et paramètres de connexion disponibles avec votre forfait.
Partagez les exigences de base, de vitres de pointe et de continuité afin que le modèle de capacité et d'allocation proposés correspondent à votre charge de travail.
Utilisez uniquement le point final et la méthode d'authentification spécifiques au compte fournis lors du provisioning.
Utilisez le protocole pris en charge pour votre compte, puis vérifiez que la configuration fournie correspond bien à votre client proxy-conscient.
Traitez l'identité d'origine du centre de données comme la catégorie connue. Utilisez les options géographiques et le comportement de sélection disponibles pour votre itinéraire fourni.
Capacité et continuité
Votre collecteur définit la concurrence, le délai d’expiration et le comportement de reprise. Alignez l’allocation provisionnée ainsi que la rotation, la persistance et le comportement de session sur ces exigences.
Collector brief
Provisioned route
Test de référence
Exécuter une demande représentative définie contre les publications admissibles target.
Test de pointe
Exercer la forme de la demande sans contourner les limites du collecteur.
Test de voie d'échec
Vérifiez le temps d'arrêt, réessayez, recommencez et arrêtez votre comportement.
Intégration des développeurs
Les données de connexion spécifiques au compte sont stockées dans des variables de l'environnement de côté serveur protégées. WebScrapingAPI point de fin.
01 Provision avant connexion
Évaluer les paramètres représentatifs target et les points de terminaison de la fourniture, l'authentification, le protocole, la géographie, l'allocation et les prix avant de déployer la configuration du client.
test -n "$WSA_DATACENTER_PROXY_URL" || exit 1
curl --fail --show-error \
--proxy "$WSA_DATACENTER_PROXY_URL" \
"https://example.com/public-page"import { ProxyAgent, fetch } from "undici";
const proxyUrl = process.env.WSA_DATACENTER_PROXY_URL;
if (!proxyUrl) throw new Error("Missing proxy configuration");
const response = await fetch("https://example.com/public-page", {
dispatcher: new ProxyAgent(proxyUrl),
});
if (!response.ok) throw new Error("Target response was not successful");
console.log(await response.text());import os
import requests
proxy_url = os.environ["WSA_DATACENTER_PROXY_URL"]
response = requests.get(
"https://example.com/public-page",
proxies={"http": proxy_url, "https": proxy_url},
timeout=30,
)
response.raise_for_status()
print(response.text)<?php
$proxyUrl = getenv("WSA_DATACENTER_PROXY_URL");
if (!$proxyUrl) throw new RuntimeException("Missing proxy configuration");
$client = curl_init("https://example.com/public-page");
curl_setopt_array($client, [
CURLOPT_PROXY => $proxyUrl,
CURLOPT_RETURNTRANSFER => true,
CURLOPT_TIMEOUT => 30,
]);
$body = curl_exec($client);
if ($body === false) throw new RuntimeException(curl_error($client));
curl_close($client);
echo $body;package main
import (
"io"
"log"
"net/http"
"net/url"
"os"
"time"
)
func main() {
proxyURL, err := url.Parse(os.Getenv("WSA_DATACENTER_PROXY_URL"))
if err != nil { log.Fatal(err) }
client := &http.Client{
Transport: &http.Transport{Proxy: http.ProxyURL(proxyURL)},
Timeout: 30 * time.Second,
}
response, err := client.Get("https://example.com/public-page")
if err != nil { log.Fatal(err) }
defer response.Body.Close()
body, err := io.ReadAll(response.Body)
if err != nil { log.Fatal(err) }
log.Print(string(body))
}import java.net.*;
import java.net.http.*;
public class DatacenterProxyExample {
public static void main(String[] args) throws Exception {
var host = System.getenv("WSA_DATACENTER_PROXY_HOST");
var port = System.getenv("WSA_DATACENTER_PROXY_PORT");
var username = System.getenv("WSA_DATACENTER_PROXY_USERNAME");
var password = System.getenv("WSA_DATACENTER_PROXY_PASSWORD");
if (host == null || port == null || username == null || password == null) {
throw new IllegalStateException("Missing provisioned Datacenter Proxy values");
}
var address = new InetSocketAddress(host, Integer.parseInt(port));
var client = HttpClient.newBuilder()
.proxy(ProxySelector.of(address))
.authenticator(new Authenticator() {
protected PasswordAuthentication getPasswordAuthentication() {
return new PasswordAuthentication(
username,
password.toCharArray()
);
}
})
.build();
var request = HttpRequest.newBuilder()
.uri(URI.create("https://example.com/public-page"))
.GET()
.build();
System.out.println(client.send(
request, HttpResponse.BodyHandlers.ofString()
).body());
}
}using System.Net;
var proxyHost = Environment.GetEnvironmentVariable("WSA_DATACENTER_PROXY_HOST")
?? throw new InvalidOperationException("Missing WSA_DATACENTER_PROXY_HOST");
var proxyPort = Environment.GetEnvironmentVariable("WSA_DATACENTER_PROXY_PORT")
?? throw new InvalidOperationException("Missing WSA_DATACENTER_PROXY_PORT");
var proxyUser = Environment.GetEnvironmentVariable("WSA_DATACENTER_PROXY_USERNAME")
?? throw new InvalidOperationException("Missing WSA_DATACENTER_PROXY_USERNAME");
var proxyPassword = Environment.GetEnvironmentVariable("WSA_DATACENTER_PROXY_PASSWORD")
?? throw new InvalidOperationException("Missing WSA_DATACENTER_PROXY_PASSWORD");
var proxyUri = new Uri("http://" + proxyHost + ":" + proxyPort);
var proxy = new WebProxy(proxyUri) {
Credentials = new NetworkCredential(proxyUser, proxyPassword)
};
using var client = new HttpClient(new HttpClientHandler { Proxy = proxy }) {
Timeout = TimeSpan.FromSeconds(30)
};
Console.WriteLine(await client.GetStringAsync(
"https://example.com/public-page"
));import { chromium } from "playwright";
const server = process.env.WSA_DATACENTER_PROXY_SERVER;
const username = process.env.WSA_DATACENTER_PROXY_USERNAME;
const password = process.env.WSA_DATACENTER_PROXY_PASSWORD;
if (!server || !username || !password) {
throw new Error("Missing provisioned Datacenter Proxy values");
}
const browser = await chromium.launch({
proxy: {
server,
username,
password,
},
});
const page = await browser.newPage();
await page.goto("https://example.com/public-page");
console.log(await page.title());
await browser.close();Ne pas exposer les points d'extrémité ou les informations d'identification dans le code fourni par le navigateur, les référentiels publics, les captures d'écran, les analyses ou les journaux du côté client.
Propriété opérationnelle
Votre client gère requêtes, nouvelles tentatives, extraction et stockage. Nous fournissons la connexion proxy et la configuration convenue pour votre compte.
WebScrapingAPI
WebScrapingAPI exploite la route d'origine du centre de données fournie et les contrôles de connexion spécifiques au compte.
Votre équipe
Votre équipe possède target sélection, politique de demande, logique client, concurrences, temps de sortie, retries, analyse, stockage et qualité en aval.
Qualifier
Choisissez les numéros publics admissibles target et validez l'acceptation par le centre de données.
Les dispositions
Définir la connexion, l'allocation, la géographie et la portée des prix.
Rassemblement
Votre client envoie des demandes par la route prévue.
Opérer
Votre équipe gère les retests, l'analyse, le stockage et les contrôles de qualité.
Utilisez le service uniquement pour les pages Web publiques admissibles. Accord de service, puis appliquer des politiques de demande et de conservation conservatrices.
Cas d'utilisation
Choix de représentant
Décision | Centre de données | Résidence | Département d'accès |
|---|---|---|---|
Identification du réseau | Les adresses IP d'origine du centre de données | Les propriétés résidentielles réelles | Les adresses IP associées aux FAI |
Lentille d'achat | Convient à des performances économiques et prévisibles pour les centres de données admissibles target | Évaluer quand le flux de travail a besoin d'identité résidentielle | Évaluer quand le flux de travail a besoin d'une identité associée au FAI |
Target acceptation | Réprésentant de validation target s avant l'échelle | Réprésentant de validation target s avant l'échelle | Réprésentant de validation target s avant l'échelle |
Les contrôles | Prévu pour l'offre | Examen des détails du produit dédié | Prévu pour l'offre |
Propriété du client | Collecteur, retries, analyse et stockage | Collecteur, retries, analyse et stockage | Collecteur, retries, analyse et stockage |
Faites glisser horizontalement pour comparer les trois catégories de proxy.
Choisissez Proxys de centre de données lorsque
votre équipe exploite la pile de collecte complète, les questions de capacité prévisible et le public représentatif admissible targets accepte une route d'origine du centre de données.
Prix et approvisionnement
Vérifie de l'état
Les actions représentatives des actifs publics admissibles targets, demande de référence, fenêtres de pointe, besoins en continuité et gestion des réponses attendues.
Appétit de fourniture
L'offre proposée devrait préciser la limite technique et les prix.
FAQ
Proxys de centre de données Les demandes de route de votre client proxy-conscient via des adresses IP d'origine du centre de données. Elles peuvent s'adapter à une collecte économique et prévisible de haute production auprès des services publics admissibles target qui acceptent le trafic du centre de données, tandis que votre équipe maintient le contrôle du collecteur et du flux de travail de réponse.
N°. Le trafic d'origine du centre de données n'est pas accepté par chaque target. Évaluer les target publics éligibles, respecter les termes de la source et les politiques de demande, et choisir un autre chemin d'accès lorsque la catégorie ne convient pas.
Utilisez le point de terminaison, la méthode d'authentification et le protocole supporté WebScrapingAPI fournis par le compte lors de la mise en service et gardez chaque valeur de connexion côté serveur.
Les contrôles de géographie et de sélection disponibles dépendent de l'allocation fournie.
Le modèle d'allocation et tout comportement de rotation, de persistance ou de session dépendent de la route prévue.
Le prix dépend de la forme de la charge de travail, target Les besoins de travail, de capacité, de géographie et d'allocation sont représentatifs. WebScrapingAPI Il peut prendre la bonne route.
Apportez une charge de travail représentative
Partagez sites cibles, pays, trafic et besoins de session. Nous vous aidons à choisir le type de proxy et la capacité pour votre collecte.