Exemples directs de HTTP

WebScrapingAPI exemples d'intégration pour les appels REST du côté du serveur.

Copiez une requête Scraper API dans votre langage. Chaque exemple lit une clé API côté serveur, encode l’URL, définit un délai d’expiration et vérifie la réponse.

Choisissez une langue Documentation de demande ouverte

Utilisez du code côté serveur pour envoyer une requête REST authentifiée et lire la réponse de l’API choisie.

Points d'entrée linguistique

Utilisez le client HTTP déjà dans votre backend.

Chaque exemple appelle directement le point final REST, de sorte que vous pouvez commencer par un outillage de langage familier. Le répertoire SDK.

Résistance à la déformation coquille

curl --get --fail-with-body --max-time 120 \
  "https://api.webscrapingapi.com/v2" \
  --data-urlencode "api_key=$WSA_API_KEY" \
  --data-urlencode "url=https://example.com/public-page" \
  --data-urlencode "json_response=1"

curl --get --fail-with-body --max-time 120 \
  "https://api.webscrapingapi.com/v2" \
  --data-urlencode "api_key=$WSA_API_KEY" \
  --data-urlencode "url=https://example.com/public-page" \
  --data-urlencode "json_response=1"

NodeJS fetch · Node 18+

const apiKey = process.env.WSA_API_KEY;
if (!apiKey) {
  throw new Error("WSA_API_KEY is required");
}
const params = new URLSearchParams({
  api_key: apiKey,
  url: "https://example.com/public-page",
  json_response: "1",
});

const response = await fetch(
  "https://api.webscrapingapi.com/v2?" + params,
  { signal: AbortSignal.timeout(120_000) }
);
if (!response.ok) {
  throw new Error("API status " + response.status);
}
console.log(await response.json());

const apiKey = process.env.WSA_API_KEY;
if (!apiKey) {
  throw new Error("WSA_API_KEY is required");
}
const params = new URLSearchParams({
  api_key: apiKey,
  url: "https://example.com/public-page",
  json_response: "1",
});

const response = await fetch(
  "https://api.webscrapingapi.com/v2?" + params,
  { signal: AbortSignal.timeout(120_000) }
);
if (!response.ok) {
  throw new Error("API status " + response.status);
}
console.log(await response.json());

Python requests

import os
import requests

response = requests.get(
    "https://api.webscrapingapi.com/v2",
    params={
        "api_key": os.environ["WSA_API_KEY"],
        "url": "https://example.com/public-page",
        "json_response": 1,
    },
    timeout=120,
)
response.raise_for_status()
print(response.json())

import os
import requests

response = requests.get(
    "https://api.webscrapingapi.com/v2",
    params={
        "api_key": os.environ["WSA_API_KEY"],
        "url": "https://example.com/public-page",
        "json_response": 1,
    },
    timeout=120,
)
response.raise_for_status()
print(response.json())

PHP cURL · PHP 8+

<?php
$apiKey = getenv("WSA_API_KEY");
if ($apiKey === false || $apiKey === "") {
    throw new RuntimeException("WSA_API_KEY is required");
}
$query = http_build_query([
    "api_key" => $apiKey,
    "url" => "https://example.com/public-page",
    "json_response" => 1,
]);
$client = curl_init(
    "https://api.webscrapingapi.com/v2?" . $query
);
curl_setopt_array($client, [
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_TIMEOUT => 120,
]);
$body = curl_exec($client);
$status = curl_getinfo($client, CURLINFO_RESPONSE_CODE);
$error = curl_error($client);
curl_close($client);
if ($body === false || $status >= 400) {
    throw new RuntimeException(
        $error ?: "API request failed with status " . $status
    );
}
echo $body;

<?php
$apiKey = getenv("WSA_API_KEY");
if ($apiKey === false || $apiKey === "") {
    throw new RuntimeException("WSA_API_KEY is required");
}
$query = http_build_query([
    "api_key" => $apiKey,
    "url" => "https://example.com/public-page",
    "json_response" => 1,
]);
$client = curl_init(
    "https://api.webscrapingapi.com/v2?" . $query
);
curl_setopt_array($client, [
    CURLOPT_RETURNTRANSFER => true,
    CURLOPT_TIMEOUT => 120,
]);
$body = curl_exec($client);
$status = curl_getinfo($client, CURLINFO_RESPONSE_CODE);
$error = curl_error($client);
curl_close($client);
if ($body === false || $status >= 400) {
    throw new RuntimeException(
        $error ?: "API request failed with status " . $status
    );
}
echo $body;

Golang bibliothèque standard net/http ·

package main

import (
    "fmt"
    "io"
    "net/http"
    "net/url"
    "os"
    "time"
)

func main() {
    key := os.Getenv("WSA_API_KEY")
    if key == "" { panic("WSA_API_KEY is required") }
    params := url.Values{}
    params.Add("api_key", key)
    params.Add("url", "https://example.com/public-page")
    params.Add("json_response", "1")
    client := &http.Client{Timeout: 120 * time.Second}
    response, err := client.Get(
        "https://api.webscrapingapi.com/v2?" + params.Encode(),
    )
    if err != nil { panic(err) }
    defer response.Body.Close()
    if response.StatusCode >= 400 { panic(response.Status) }
    body, err := io.ReadAll(response.Body)
    if err != nil { panic(err) }
    fmt.Println(string(body))
}

package main

import (
    "fmt"
    "io"
    "net/http"
    "net/url"
    "os"
    "time"
)

func main() {
    key := os.Getenv("WSA_API_KEY")
    if key == "" { panic("WSA_API_KEY is required") }
    params := url.Values{}
    params.Add("api_key", key)
    params.Add("url", "https://example.com/public-page")
    params.Add("json_response", "1")
    client := &http.Client{Timeout: 120 * time.Second}
    response, err := client.Get(
        "https://api.webscrapingapi.com/v2?" + params.Encode(),
    )
    if err != nil { panic(err) }
    defer response.Body.Close()
    if response.StatusCode >= 400 { panic(response.Status) }
    body, err := io.ReadAll(response.Body)
    if err != nil { panic(err) }
    fmt.Println(string(body))
}

Java HttpClient · Java 11+

import java.net.URI;
import java.net.URLEncoder;
import java.net.http.*;
import java.nio.charset.StandardCharsets;
import java.time.Duration;

String apiKey = System.getenv("WSA_API_KEY");
if (apiKey == null || apiKey.isBlank()) {
    throw new IllegalStateException("WSA_API_KEY is required");
}
String key = URLEncoder.encode(
    apiKey, StandardCharsets.UTF_8
);
String target = URLEncoder.encode(
    "https://example.com/public-page",
    StandardCharsets.UTF_8
);
var request = HttpRequest.newBuilder()
    .uri(URI.create("https://api.webscrapingapi.com/v2"
        + "?api_key=" + key + "&url=" + target
        + "&json_response=1"))
    .timeout(Duration.ofSeconds(120)).GET().build();
var response = HttpClient.newHttpClient().send(
    request, HttpResponse.BodyHandlers.ofString()
);
if (response.statusCode() >= 400) {
    throw new RuntimeException("API status " + response.statusCode());
}
System.out.println(response.body());

import java.net.URI;
import java.net.URLEncoder;
import java.net.http.*;
import java.nio.charset.StandardCharsets;
import java.time.Duration;

String apiKey = System.getenv("WSA_API_KEY");
if (apiKey == null || apiKey.isBlank()) {
    throw new IllegalStateException("WSA_API_KEY is required");
}
String key = URLEncoder.encode(
    apiKey, StandardCharsets.UTF_8
);
String target = URLEncoder.encode(
    "https://example.com/public-page",
    StandardCharsets.UTF_8
);
var request = HttpRequest.newBuilder()
    .uri(URI.create("https://api.webscrapingapi.com/v2"
        + "?api_key=" + key + "&url=" + target
        + "&json_response=1"))
    .timeout(Duration.ofSeconds(120)).GET().build();
var response = HttpClient.newHttpClient().send(
    request, HttpResponse.BodyHandlers.ofString()
);
if (response.statusCode() >= 400) {
    throw new RuntimeException("API status " + response.statusCode());
}
System.out.println(response.body());

.NET HttpClient · .NET 6+

using System.Net;

var apiKey = Environment.GetEnvironmentVariable("WSA_API_KEY");
if (string.IsNullOrWhiteSpace(apiKey)) {
    throw new InvalidOperationException("WSA_API_KEY is required");
}
var key = WebUtility.UrlEncode(apiKey);
var target = WebUtility.UrlEncode(
    "https://example.com/public-page"
);
var requestUrl =
    "https://api.webscrapingapi.com/v2?api_key=" + key
    + "&url=" + target + "&json_response=1";
using var client = new HttpClient {
    Timeout = TimeSpan.FromSeconds(120)
};
var response = await client.GetAsync(requestUrl);
response.EnsureSuccessStatusCode();
Console.WriteLine(
    await response.Content.ReadAsStringAsync()
);

using System.Net;

var apiKey = Environment.GetEnvironmentVariable("WSA_API_KEY");
if (string.IsNullOrWhiteSpace(apiKey)) {
    throw new InvalidOperationException("WSA_API_KEY is required");
}
var key = WebUtility.UrlEncode(apiKey);
var target = WebUtility.UrlEncode(
    "https://example.com/public-page"
);
var requestUrl =
    "https://api.webscrapingapi.com/v2?api_key=" + key
    + "&url=" + target + "&json_response=1";
using var client = new HttpClient {
    Timeout = TimeSpan.FromSeconds(120)
};
var response = await client.GetAsync(requestUrl);
response.EnsureSuccessStatusCode();
Console.WriteLine(
    await response.Content.ReadAsStringAsync()
);

Ruby Net:: HTTP · bibliothèque standard

require "net/http"
require "uri"

uri = URI("https://api.webscrapingapi.com/v2")
uri.query = URI.encode_www_form(
  api_key: ENV.fetch("WSA_API_KEY"),
  url: "https://example.com/public-page",
  json_response: 1
)
http = Net::HTTP.new(uri.host, uri.port)
http.use_ssl = true
http.open_timeout = 10
http.read_timeout = 120
response = http.get(uri.request_uri)
unless response.is_a?(Net::HTTPSuccess)
  raise "API status #{response.code}"
end
puts response.body

require "net/http"
require "uri"

uri = URI("https://api.webscrapingapi.com/v2")
uri.query = URI.encode_www_form(
  api_key: ENV.fetch("WSA_API_KEY"),
  url: "https://example.com/public-page",
  json_response: 1
)
http = Net::HTTP.new(uri.host, uri.port)
http.use_ssl = true
http.open_timeout = 10
http.read_timeout = 120
response = http.get(uri.request_uri)
unless response.is_a?(Net::HTTPSuccess)
  raise "API status #{response.code}"
end
puts response.body

Révision des outils et des délivrances

Les destinations de livraison sont déterminées lors de l'évaluation.

Reliez les réponses de l’API à votre application ou convenez d’un format de fichier et d’une destination pour les jeux de données et les flux.

Catégorie d'évaluation

Révision de la demande des postitaires

Modélisez la demande HTTP documentée dans votre espace de travail et examinez la gestion secrète, les variables, les réponses attendues et les conventions de collecte avec votre équipe.

Catégorie d'évaluation

Réponse HTTP directe

Confirmer le format de réponse, la gestion de l'état, l'analyse, les retries limitées et le stockage pour les produits qui renvoient les données à la demande.

Catégorie d'évaluation

Livraison de fichiers et de transferts

Pour récurrents Flux de données ou une Données gérées livraison, le format de fichier, l'emballage, la méthode de transfert, la cadence, le nommage, le cryptage et les contrôles d'acceptation.

Catégorie d'évaluation

Entreposage d'objets ou livraison en entrepôt

Pour les données préparées de la Place de marché de données ou programmé Flux de données, évaluer la destination, les informations d'identification, la partition, l'évolution du schéma, le comportement de mise à jour et la propriété d'exploitation.

Ressources pour les développeurs

Continuez avec la ressource construite pour votre prochaine étape.

Utilisez la documentation pour le comportement de la demande, le répertoire SDK pour les paquets publiés, l'état de l'état du service et le tableau de bord du compte pour votre accès.

Browse all developer product paths

DocumentsConfiguration, paramètres, exemples et réponses publiésOpen Directory des KDDDes emballages et des référentiels produits spécifiques libérésReview StatutCondition actuelle des services API énumérésCheck CompteAccès à votre compte et tableau de bordSign in Conseils techniquesSélection de produits, conception de demande et planification de livraisonDiscuss Accès Web agentiqueChoisissez le bon chemin API pour la recherche et la récupération Web axées sur les agentsExplore

Exécutez votre première demande

Connectez votre backend à API de scraping.

Choisissez un exemple de langue, remplacez le target, et vérifier la réponse retournée. API de scraping Le guide explique le modèle d'accès et les contrôles de demande disponibles.

Commencez à construire gratuitement Découvrez API de scraping