Comment scraper les vendeurs proches de Google Shopping avec Node.js

Andrei Ogiolan le 28 février 2023

Cet article vous guidera dans le processus d'utilisation de notre API avec Node.js pour extraire les vendeurs les plus proches de Google Shopping. Les étapes impliquées comprennent la mise en place de l'environnement de développement, l'extraction des données pertinentes et la discussion des problèmes que vous pourriez rencontrer. À la fin de ce tutoriel, vous aurez les connaissances et les outils nécessaires pour extraire les vendeurs proches de Google Shopping par vous-même. Avant d'entrer dans les détails techniques, il est important de comprendre ce qu'est Google Shopping.

Google Shopping est une plateforme qui permet aux consommateurs de rechercher et de comparer les produits de différents détaillants en ligne. La plateforme affiche une large gamme de produits ainsi que leurs prix, ce qui en fait un outil convivial pour trouver les meilleures offres. Grâce aux techniques de web scraping, nous pouvons extraire de Google Shopping des données précieuses telles que les vendeurs les plus proches, afin d'obtenir des informations et de prendre des décisions éclairées.

Pourquoi utiliser un scraper professionnel ?

Construire son propre scraper web peut être une tâche longue et complexe. Vous devez non seulement avoir de solides connaissances en programmation, mais aussi une connaissance approfondie des techniques et des technologies de récupération de données sur le web. Cette tâche peut s'avérer décourageante pour quelqu'un qui n'a pas d'expérience en la matière, et le temps et les ressources nécessaires à la création d'un scraper fonctionnel n'en valent peut-être pas la peine.

En revanche, l'utilisation d'un racleur professionnel comme le nôtre présente plusieurs avantages. Tout d'abord, les scrapeurs professionnels sont construits et entretenus par des experts dans le domaine, ce qui garantit qu'ils sont à jour avec les dernières technologies et techniques. Cela signifie qu'ils sont plus à même de gérer les complexités du web moderne, telles que les CAPTCHA et les pages web dynamiques. En outre, les scrapers professionnels sont souvent dotés de fonctions intégrées telles que la rotation automatique de l'IP, qui permet d'éviter que votre IP ne soit bloquée par le site web que vous scrapez.

Un autre avantage de l'utilisation d'un scraper professionnel est qu'il peut vous faire gagner beaucoup de temps et de ressources. Au lieu de passer des semaines, voire des mois, à construire votre propre scraper, n'hésitez pas à vous abonner à notre scraper en créant un compte ici et commencez à scraper immédiatement. Ceci est particulièrement bénéfique pour les entreprises qui ont besoin d'extraire des données rapidement afin de prendre des décisions éclairées, ou pour les particuliers qui veulent récupérer des données pour des projets personnels mais qui n'ont pas le temps ou les ressources nécessaires pour construire leur propre scraper.

Que sont les vendeurs de proximité de Google Shopping ?

Google Shopping Produits vendeurs à proximité est une fonctionnalité qui permet aux utilisateurs de trouver des magasins de détail à proximité qui vendent un produit spécifique. Cette fonctionnalité est disponible sur le site Web et l'application mobile de Google Shopping. Elle permet aux utilisateurs de rechercher des produits et d'obtenir une liste des vendeurs à proximité qui proposent ce produit. Ces informations comprennent le nom du magasin, la distance et l'adresse du magasin, ainsi que l'indication que le magasin est ouvert ou fermé.

La récupération des données de Google Shopping Product Nearby Sellers peut s'avérer utile pour les entreprises et les particuliers qui souhaitent se faire une idée des marchés locaux de la vente au détail. En récupérant ces données, les entreprises peuvent mieux comprendre la concurrence dans leur région et ajuster leurs prix et leurs stocks en conséquence. En outre, les entreprises peuvent utiliser ces données pour identifier de nouvelles opportunités de vente, par exemple en approchant des magasins qui ne vendent pas encore leurs produits. Pour les particuliers, le web scraping de Google Shopping Product Nearby Sellers peut être un outil utile pour trouver les meilleures offres sur les produits et identifier le magasin le plus proche de chez eux.

À quoi ressemble notre objectif ?

Mise en place

Pour récupérer les vendeurs proches dans Google Shopping à l'aide de notre API, vous devez disposer des outils appropriés. Tout d'abord, vous devez avoir installé Node.js. Il s'agit d'un moteur d'exécution JavaScript qui vous permet d'exécuter JavaScript côté serveur et qui peut être téléchargé sur le site officiel de Node.js.

En outre, vous aurez besoin d'une CLÉ API pour utiliser notre service, que vous pouvez obtenir en créant un compte ici et en activant le service SERP.

Après avoir obtenu Node.js et une CLÉ d'API, l'étape suivante consiste à créer un fichier de script Node.js en exécutant la commande suivante :

$ touch scraper.js 

Et maintenant, collez la ligne suivante dans votre fichier :

console.log("Hello World !")

Puis exécutez la commande suivante :

$ node scraper.js

Si vous voyez le message "Hello World !" affiché sur le terminal, cela signifie que Node.js a été installé avec succès et que vous êtes maintenant prêt à passer à la section de scraping proprement dite.

Commençons par récupérer les données de Google Shopping Nearby Sellers.

Une fois l'environnement mis en place, vous pouvez maintenant commencer à récupérer les vendeurs proches de Google Shopping à l'aide de notre API. Il s'agit d'un processus simple et à part ce qui a été discuté ci-dessus, tout ce que vous avez à faire est d'obtenir l'ID du produit qui vous intéresse.

Conseil: voici comment obtenir l'identifiant d'un produit dans Google Shopping :

Vous êtes maintenant prêt à commencer le scraping après avoir configuré Node.js, obtenu une clé API et un identifiant de produit. Pour ce faire, créez un nouveau fichier JavaScript ou utilisez celui créé précédemment et importez le module `https` intégré à Node.js, qui vous permet d'envoyer des requêtes à l'API, en utilisant le code suivant :

const https = require("https") ;

Ensuite, vous devez spécifier votre clé API et la propriété product_id du produit qui vous intéresse :

const API_KEY = "YOUR-API-KEY-HERE" // Vous pouvez en obtenir une en vous enregistrant ici

const PRODUCT_ID = "4887235756540435899"

Ensuite, vous devez transmettre ces informations dans un objet d'options afin que notre API sache quel est le produit que vous cherchez à récupérer :

const options = {

 "method": "GET",

 "hostname": "serpapi.webscrapingapi.com",

 "port": null,

 "path": `/v1?engine=google_product&api_key=${API_KEY}&product_id=${PRODUCT_ID}`,

 "headers": {}

};

Enfin, vous devez configurer un appel à notre API avec toutes ces informations :

const req = http.request(options, function (res) {

  const chunks = [];

  res.on("data", function (chunk) {

    chunks.push(chunk);

  });

  res.on("end", function () {

    const body = Buffer.concat(chunks);

    const results = JSON.parse(body.toString());

    const nearbySellers = results.sellers_results.online_sellers;

    console.log(nearbySellers)

  });

});

req.end();

Il ne vous reste plus qu'à exécuter le script que vous avez créé et à attendre les résultats :

$ node scraper.js

Vous devriez maintenant recevoir vos résultats :

[

  {

    position: 1,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIZg&usg=AOvVaw3ZevYyiKByTyo_THSF1qUJ',

    additional_details: '460.5 mi · In stock at EulessToday: 10:00 AM - 9:00 PM',

    base_price: '$399.99',

    additional_price: { shipping: 'See website' },

    total_price: '$399.99',

    trusted: true

  },

  {

    position: 2,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIcw&usg=AOvVaw1QiXFtHB6-CApj-HDvbNxl',

    additional_details: '462.6 mi · In stock at ArlingtonToday: 11:00 AM - 8:00 PM',

    base_price: '',

    trusted: false

  },

  {

    position: 3,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIdg&usg=AOvVaw0CxoqlJzdEZ93B-6U-Jmuf',

    additional_details: '557.6 mi · In stock at HoustonToday: 12:00 PM - 9:00 PM',

    base_price: '',

    trusted: false

  },

  {

    position: 4,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIeQ&usg=AOvVaw2BAlgtL85g1mvOonMQK14U',

    additional_details: '568.6 mi · In stock at PasadenaToday: 12:00 PM - 9:00 PM',

    base_price: '',

    trusted: false

  },

  {

    position: 5,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIfA&usg=AOvVaw3mi7jMt3aMSJde0sQb9yjR',

    additional_details: '591.2 mi · In stock at San AntonioToday: 12:00 PM - 9:00 PM',

    base_price: '',

    trusted: false

  },

... 

]

Vous avez maintenant réussi à récupérer les données de Google Product Nearby Sellers à l'aide de notre API. Vous pouvez utiliser les données obtenues à des fins diverses telles que la comparaison des prix, l'étude de marché, l'optimisation du référencement et bien plus encore. Pour plus d'informations et des exemples de code dans les six autres langages de programmation, n'hésitez pas à consulter notre documentation sur l'API Google Product.

Limites des vendeurs de Google Shopping à proximité

La collecte de données auprès des vendeurs proches de Google Shopping peut s'avérer utile pour obtenir des informations sur les détaillants locaux qui vendent un produit spécifique. Toutefois, cette méthode présente également certaines limites. L'une d'entre elles est que cette fonctionnalité ne renvoie pas toujours des résultats exacts ou à jour. Par exemple, un magasin répertorié comme vendant un produit peut avoir épuisé ses stocks ou cessé de le vendre. En outre, la fonction peut ne pas inclure tous les détaillants locaux qui vendent le produit, ce qui limite le choix de l'utilisateur. Enfin, la section "Vendeurs à proximité" de Google Shopping n'est disponible que pour certains produits et certaines catégories, de sorte que les utilisateurs risquent de ne pas pouvoir trouver de vendeurs locaux pour tous les produits qui les intéressent.

Conclusion

J'espère que cet article vous sera utile pour commencer à récupérer des informations sur les vendeurs proches de Google Shopping à l'aide de notre API en utilisant Node.js. Avec seulement Node.js, une clé API pour notre service et un identifiant de produit, vous pouvez collecter des informations sur les prix et la disponibilité en un rien de temps. Cela peut être particulièrement utile pour les entreprises qui cherchent à rester compétitives en matière de prix, ainsi que pour les consommateurs qui cherchent à trouver les meilleures offres.