Entité stable
Identification du produit
Marque, modèle, titre canonique, catégories, identifiants, descriptions, attributs et médias.
- ASIN / SKU / GTIN / MPN
- Brand & model
- Category & attributes
Produits, prix et avis
Extraction de données de produits, de prix et d'avis
Collectez les produits, prix, promotions, stocks, vendeurs et avis pour analyser le commerce. Choisissez des API structurées, des jeux de données ou des flux récurrents.
Modèle de référence commerciale
Reliez les produits, les offres, les vendeurs et les avis.
Séparer l'identité des observations qui changent selon le vendeur, l'emplacement, la page et l'heure.
Configuration
Variante
Taille, couleur, capacité, unité, emballage, style ou autre configuration défini par la source d'un produit.
- Variant identifier
- Option labels
- Parent relationship
Observation limitée dans le temps
Offre
Prix affiché, prix de liste, promotion, condition, disponibilité, expédition, prise en charge et contexte de réalisation.
- Value & currency
- Seller & condition
- Observed context
Entité de marché
Vendeur
L'identité du commerçant public et le contexte de la boutique sont maintenus séparés du produit et lui offrent des fournitures.
- Seller ID & name
- Storefront URL
- Public rating context
Réponse du public
Révision
Réserver les notations, les répartitions, les comptes et les champs de niveau d'examen où le point final ou la portée sélectionnés les soutiennent.
- Rating & count
- Review text & date
- Source-level availability
Couverture de la source
Vérifiez les sources et la couverture des champs.
Examinez la source, le type de page, le marché et les champs nécessaires avant de choisir une API ou une collecte personnalisée.
Documenté
Point final du commerce structuré
La documentation actuelle répertorie les API de marché et de détaillants avec des contrats de demande et de réponse spécifiques à la source.
- Amazon
- eBay
- Walmart
- Best Buy
- Home Depot
- Lowe's
- Nordstrom
- Target
- Wayfair
Le pilote d'abord
Sources de commerce public admissibles supplémentaires
Les sources de détaillants, de marché, de marque, de comparaison et d'examen sont évaluées avec des pages représentatives avant un engagement récurrent.
- Required page families and discovery inputs
- Country, postal, language, and device context
- Field presence, optional modules, and failure states
- Cadence, volume, retention, and delivery fit
Pas standard
Surfaces de clients privés ou transactionnels
Les données relatives aux comptes privés, au panier, aux billets de paiement ou aux clients ne sont pas couvertes par les services publics.
- Authenticated customer accounts
- Orders and transaction records
- Personalized checkout totals
- Internal retailer inventory systems
Champs et exemples de données
Consultez les champs d’un exemple de données.
Commencez par les champs dont votre système a besoin, puis cartographiez les valeurs de source, les modules optionnels, les identifiants et les états de qualité dans un schéma documenté.
Identification
product_id · source_product_id · brand · title · category · attributes · media
Variante
variant_id · parent_id · size · color · unit · pack_quantity · option_labels
Offre et prix
current_price · list_price · currency · promotion · condition · seller_id
Disponibilité et réalisation
availability_text · normalized_state · shipping · pickup · delivery_window
Rating et avis
rating · rating_count · review_count · distribution · review_items
Provenance et qualité
source_url · observed_at · requested_context · collection_state · schema_version
{
"record_id": "obs_001",
"schema_version": "commerce.v1",
"product": {
"source_product_id": "DEMO-128",
"brand": "Example",
"title": "Wireless headphones",
"variant": { "color": "black" }
},
"offer": {
"current_price": 79.00,
"list_price": 99.00,
"currency": "USD",
"availability_text": "In stock"
},
"rating": {
"value": 4.6,
"count": 1248
},
"source_url": "https://retailer.example/p/001",
"observed_at": "YYYY-MM-DDThh:mm:ssZ",
"collection_state": "observed"
}Identification et correspondance
Normalement sans effacer la source.
Gardez l'observation originale, puis ajoutez une couche d'identité contractée uniquement lorsque la comparaison est expliquable et testable.
- 01Identification du produitSony · WH-1000XM5
- 02VarianteCouleur : noir
- 03Offrez une observationLe vendeur, le prix, la disponibilité, l’URL et observed_at restent propres à la source
RésultatPar règleProduit et variante noire liés · fiche source conservée
Fraîcheur et histoire
La fraîcheur est un contrat de terrain, pas un badge.
Indiquez quand la collecte doit être exécutée, quel timestamp un enregistrement porte et quelles modifications doivent devenir l'histoire plutôt que des valeurs écrasées.
Au moment de la requête
Appelez un point d'extrémité documenté.
La réponse représente la page soutenue et le contexte demandé lorsque la demande est traitée.Les produits de la chaîne
Envoyez votre travail, puis récupérez une photo.
Les points d'extrémité du détaillant sélectionné renvoient un identifiant instantané pendant que des enregistrements structurés sont préparés.Les programmes
Récupérer un ensemble de sources convenu.
La cadence peut varier en fonction de la source, de la famille de pages, du niveau de produit et de la volatilité des champs.Longitude
Réserver les observations et les événements de changement.
L'histoire commence par la collecte, à moins qu'une source historique distincte ne soit validée.Qualité et absence
Faites en sorte que chaque non-valeur s'explique.
La qualité n'est pas un pourcentage de précision, mais un ensemble de contrôles convenus et d'états observables attachés au champ, au dossier, à la source et à la livraison.
ÉtatLe sensAction en aval
The supported field or object was returned in the requested context.
Use with timestamp and sourceThe page was collected, but the selected module or field was not displayed.
Keep distinct from zeroThe page or object was not available in the requested public context.
Do not infer inventoryThe collection event did not produce a usable page or supported response.
Retry or escalate by contractA value did not meet the agreed structure, type, or parsing rule.
Quarantine with reasonIdentity cues were incomplete, conflicting, or below the agreed threshold.
Keep source record availableOptions de livraison
Choisissez comment recevoir vos données.
Utilisez une API dans votre application, recevez des données récurrentes ou confiez-nous la collecte.
Proxys
Conservez vos collecteurs et utilisez notre réseau de proxies.
Utilisez des proxies résidentiels, datacenter ou ISP avec les collecteurs que votre équipe exploite déjà.
FonctionnalitéDétails
Vous recevezAccès proxy pour vos propres requêtes
Nous prenons en chargeRéseau proxy et accès
Votre rôleCollecte, extraction, stockage et analyse
Idéal pour · Équipes disposant déjà de collecteurs.
Pour voir le numéro Infrastructure de proxysQuelles équipes construisent
Mettez ces données à profit.
Utilisez les champs et exemples ci-dessous pour préparer votre analyse, votre produit ou votre suivi.
Pilot représentatif
Testez un échantillon dans votre propre processus.
Un pilote utile prouve les combinaisons de source et de champ les plus difficiles, pas seulement les pages de produit les plus propres.
- 01
Brève
Nommez les objets et les contextes.
Sources, types de pages, identifiants, marchés, emplacements, appareils, champs, cadence et exclusions. - 02
Pratique de l'échantillon
Rassemblez des pages représentatives.
Inclure des variantes, des promotions, plusieurs vendeurs, des modules manquants, des pages non disponibles et des différences de révision. - 03
Contrat
Approuver les schémas et les états de qualité.
Définitions de champs, cartographie de source, règles de correspondance, codes de raison, historique, acceptation et format de livraison. - 04
Retour
Choisissez le modèle d'exploitation.
Utilisez la portée validée pour attribuer l'accès, l'extraction, la maintenance, la qualité, la livraison et la propriété de la décision.
Questions courantes
Questions avant de commencer
Quelles données relatives aux produits et au commerce peuvent être fournies par WebScrapingAPI ?
Collectez les produits, prix, promotions, stocks, vendeurs et avis pour analyser le commerce. Choisissez des API structurées, des jeux de données ou des flux récurrents.
Quelles sources commerciales sont documentées aujourd'hui?
Explorez les API de commerce pour Amazon, Walmart, eBay et d’autres enseignes prises en charge. Chaque page source présente les types de pages et champs à vérifier dans un échantillon.
Les avis et les évaluations peuvent-ils être fournis?
Les évaluations, les comptes de critiques, les distributions de notes ou les extraits de critiques sont documentés pour les points d'examen sélectionnés du produit et peuvent également être évalués dans un programme de données de scope. Les champs de critiques varient selon la source et le type de page, et un résumé de la note ne doit pas être présenté comme une couverture complète de critiques à moins que cette couverture ne soit vérifiée.
Comment le produit, la variante, l'offre, le vendeur et les dossiers d'évaluation sont-ils liés?
Le modèle de données maintient l'identité du produit stable séparée des variantes de source, des offres liées au temps, du contexte du vendeur et des observations d'examen. Chaque objet peut conserver son URL source, l'identificateur de source, le contexte demandé, le temps d'observation et l'état de collecte afin que les équipes en aval puissent rejoindre les enregistrements sans effacer leur origine.
Le même produit peut-il être associé à différentes sources?
Le rapprochement peut être inclus dans un flux ou un programme géré. L’échantillon confirme les identifiants, règles de comparaison et la représentation des correspondances incertaines ou contradictoires.
Combien de données sur les produits et les prix peuvent-elles être fraîches?
Les API collectent les données à l’appel. Les flux et Managed Data suivent un calendrier convenu, en séparant les horodatages de la source et de la collecte lorsqu’ils sont disponibles.
Les prix, les vendeurs et les disponibilités peuvent-ils être modifiés?
L’historique commence au début du suivi. La couverture antérieure dépend des données sources ou instantanés d’archives disponibles. Vérifiez les dates et les lacunes dans un échantillon.
Comment sont représentés les champs manquants et les collections ratées?
L’échantillon distingue les champs manquants, pages indisponibles, requêtes échouées et valeurs à vérifier. Convenez du traitement de chaque état avant la livraison récurrente.
Qui maintient la collecte quand une page de commerce change ?
Votre équipe maintient les collecteurs avec les proxies et les parseurs personnalisés avec les API d’accès aux pages. Nous maintenons l’extraction Data API prise en charge et la collecte incluse dans les flux ou Managed Data.
Quelles limites s'appliquent à l'utilisation responsable et aux données?
Le champ d'application est limité aux pages Web publiques admissibles et aux champs publics convenus. Les données de compte privé, panier, paiement, commande et clientèle ne sont pas des champs d'application standard. Les clients restent responsables de l'utilisation légale, de la conservation, des contrôles d'accès et des prix, de la commercialisation, de l'application ou d'autres décisions prises avec les données fournies.
Produits, prix et avis
Commencez par un point final ou un résumé de données représentatif.
Utilisez une API de commerce documentée dans votre propre flux de travail, ou montrez-nous les sources, les champs, le contexte et la fenêtre de rafraîchissement que votre équipe doit fournir.