Apprendre à récupérer les fiches produits de Google Shopping avec Node.js

Andrei Ogiolan le 23 février 2023

Dans cet article, nous allons voir comment utiliser notre API SERP avec Node.js afin de récupérer sur le web les spécifications des produits de Google Shopping. Nous couvrirons tous les aspects, de la mise en place de l'environnement de développement à l'extraction des données pertinentes, en passant par l'analyse des problèmes potentiels. À la fin de cet article, vous disposerez des connaissances et des outils nécessaires pour extraire vous-même les spécifications des produits de Google Shopping. Mais avant de plonger dans les détails techniques, commençons par comprendre ce qu'est Google Shopping.

Google Shopping est une plateforme qui permet aux utilisateurs de rechercher et de comparer les produits de différents détaillants en ligne. Il affiche une large gamme de produits et leurs prix, ce qui en fait un outil pratique pour les consommateurs qui souhaitent trouver la meilleure affaire. En utilisant des techniques de web scraping, nous pouvons extraire des données précieuses de Google Shopping, telles que les spécifications des produits, afin d'obtenir des informations et de prendre des décisions en connaissance de cause.

Pourquoi utiliser un scraper professionnel plutôt que de construire son propre scraper ?

De nombreuses personnes sont tentées de créer leur propre solution de scraping lorsqu'il s'agit de scraping web. Cependant, l'utilisation d'un scraper professionnel est souvent une meilleure option. Les scrapeurs professionnels sont construits et maintenus par des développeurs expérimentés qui comprennent les complexités du web scraping. Ils sont conçus pour relever les défis liés au scraping, tels que les CAPTCHA, les blocages d'IP et les modifications apportées au site web. Ils sont également dotés de fonctionnalités intégrées telles que la planification, l'exportation de données et la gestion des erreurs.

Un autre aspect important est que les fournisseurs de scrapers professionnels respectent les politiques de scraping des sites web qu'ils scrappent et qu'ils peuvent fournir une utilisation légale des données, ce qu'il est important de garder à l'esprit lorsqu'on scrappe des données.

L'utilisation d'un scraper professionnel permet d'économiser du temps, des efforts et de l'argent. De plus, les scrapeurs professionnels sont équipés de nombreuses fonctionnalités qui vous permettent de scraper à grande échelle, de planifier vos tâches de scraping, et même de scraper derrière un proxy et un VPN pour éviter les blocages d'IP. En résumé, l'utilisation d'un scraper professionnel peut vous faire gagner du temps et des efforts, et vous fournir des données plus précises et plus fiables, ce qui en fait un choix judicieux pour tous vos besoins en matière de web scraping.

Enfin, dans notre cas particulier, Google Shopping modifie souvent ses classes CSS, ce qui vous oblige à effectuer de nombreuses mises à jour manuelles, ce qui peut prendre du temps, surtout lorsque vous construisez un scraper plus complexe. Heureusement, un scraper professionnel comme le nôtre peut prendre en charge ce problème et vous n'avez plus besoin de faire ces mises à jour pour recevoir correctement les données en retour.

Qu'est-ce que les spécifications des produits Google Shopping ?

Les spécifications des produits Google Shopping font référence aux détails techniques et aux informations relatives à un produit répertorié sur Google Shopping. Il s'agit notamment du nom du produit, du prix, de la marque, de l'image, de la description, etc. Ces spécifications peuvent fournir des informations précieuses sur les fonctionnalités et les caractéristiques d'un produit, qui peuvent être utilisées pour prendre des décisions éclairées concernant l'achat ou la vente de ce produit. Par exemple, en comparant les caractéristiques de produits similaires, les consommateurs peuvent choisir en connaissance de cause le produit qui répond le mieux à leurs besoins.

L'extraction des spécifications des produits de Google Shopping peut s'avérer utile dans de nombreux cas. Par exemple, les entreprises de commerce électronique peuvent utiliser ces données pour analyser la concurrence et prendre des décisions stratégiques sur les prix, les offres de produits et les campagnes de marketing. Les détaillants peuvent également utiliser ces informations pour identifier les lacunes dans leur gamme de produits et prendre des décisions éclairées sur les produits à stocker. En outre, les chercheurs et les analystes peuvent utiliser ces données pour étudier le comportement des consommateurs et les tendances du marché.

À quoi ressemble notre objectif ?

Mise en place

Avant de commencer à récupérer les spécifications des produits Google Shopping à l'aide de notre API, il est essentiel de disposer des bons outils. La principale exigence est Node.js, un moteur d'exécution JavaScript qui permet l'exécution de JavaScript sur le côté serveur, qui peut être téléchargé à partir de leur site officiel.

En outre, une CLÉ API est nécessaire, qui peut être obtenue en créant un compte ici et en activant le service SERP.

Après avoir configuré Node.js et obtenu une CLÉ d'API, l'étape suivante consiste à créer un fichier de script Node.js. Pour ce faire, exécutez la commande suivante :

$ touch scraper.js 

Et maintenant, collez la ligne suivante dans votre fichier :

console.log("Hello World !")

Puis exécutez la commande suivante :

$ node scraper.js

Si vous voyez le message "Hello World !" affiché sur le terminal, cela signifie que Node.js a été installé avec succès et que vous êtes maintenant prêt à passer à la section de scraping proprement dite.

Commençons par récupérer les spécifications des produits de Google Shopping.

Une fois l'environnement mis en place, vous êtes prêt à commencer à récupérer les spécifications des produits Google Shopping à l'aide de notre API. Il s'agit d'un processus simple et à part ce qui a été discuté ci-dessus, tout ce que vous avez à faire est d'obtenir l'ID du produit qui vous intéresse.

Conseil: voici comment obtenir l'identifiant d'un produit dans Google Shopping :

Après avoir configuré Node.js, une clé API et un identifiant de produit, vous êtes maintenant prêt à commencer le scraping. Pour commencer, créez un fichier js, ou utilisez celui que vous avez créé dans la section précédente, et importez le module `https` de Node.js qui vous permet d'envoyer des requêtes à notre API. Cela peut être fait comme suit :

const https = require("https") ;

Ensuite, vous devez spécifier votre clé API et la propriété product_id du produit qui vous intéresse :

const API_KEY = "YOUR-API-KEY-HERE" // Vous pouvez en obtenir une en vous enregistrant ici

const PRODUCT_ID = "11607214845071611155"

Ensuite, vous devez transmettre ces informations dans un objet d'options afin que notre API sache quel est le produit que vous cherchez à récupérer :

const options = {

 "method": "GET",

 "hostname": "serpapi.webscrapingapi.com",

 "port": null,

 "path": `/v1?engine=google_product&api_key=${API_KEY}&product_id=${PRODUCT_ID}`,

 "headers": {}

};

Enfin, vous devez configurer un appel à notre API avec toutes ces informations :

const req = http.request(options, function (res) {

 const chunks = [];

 res.on("data", function (chunk) {

   chunks.push(chunk);

 });

 res.on("end", function () {

   const body = Buffer.concat(chunks);

   const results = JSON.parse(body.toString());

   const product_specs = results.specs_results;

   console.log(product_specs)

 });

});

req.end();

Il ne vous reste plus qu'à exécuter le script que vous avez créé et à attendre les résultats :

$ node scraper.js

Vous devriez maintenant recevoir vos résultats :

{

  display: {

    native_aspect_ratio: '16:9',

    screen_shape: 'Flat',

    led_backlighting_type: 'Direct-LED',

    display_technology: 'LCD',

    display_resolution: '1920 x 1080 pixels'

  }

}

Et c'est tout ! Vous avez réussi à récupérer les spécifications des produits Google Shopping à l'aide de notre API, et vous pouvez maintenant utiliser les données obtenues à des fins diverses telles que la comparaison des prix, l'étude de marché, l'optimisation du référencement, et bien plus encore. Pour obtenir des références supplémentaires et des exemples de code dans les six autres langages de programmation, vous pouvez consulter notre documentation sur l'API Google Product.

Limites de la spécification des produits Google

L'une des limites de l'utilisation des spécifications des produits de Google Shopping est que les données ne sont pas toujours complètes ou à jour. Il se peut que tous les détaillants et fabricants n'aient pas répertorié leurs produits sur Google Shopping ou qu'ils n'aient pas fourni toutes les informations nécessaires. En outre, certaines données peuvent être inexactes ou obsolètes. Cela peut entraîner des incohérences et des inexactitudes dans les données récupérées, ce qui peut avoir un impact négatif sur les résultats de toute analyse ou recherche effectuée à l'aide de ces données. En outre, Google travaille constamment à la détection et au blocage des tentatives de scraping, de sorte que le processus de scraping peut échouer ou devenir plus difficile avec le temps, mais l'utilisation d'un scrape professionnel comme le nôtre peut vous aider à surmonter ce problème.

Conclusion

En conclusion, le web scraping des spécifications des produits Google Shopping avec Node.js peut être un outil puissant pour les entreprises et les chercheurs qui cherchent à se faire une idée des produits et des tendances d'un marché particulier. En utilisant Node.js, une clé API et un identifiant de produit, il est possible de collecter facilement et rapidement une grande quantité de données sur les spécifications des produits de Google Shopping.