Comment extraire les données des vendeurs à proximité sur Google Shopping à l'aide de Node.js

Développer votre propre outil de web scraping peut s'avérer une tâche longue et complexe. Non seulement vous devez posséder de solides connaissances en programmation, mais vous devez également avoir une compréhension approfondie des techniques et des technologies de web scraping. Cela peut être une tâche intimidante pour quelqu'un qui n'a pas d'expérience en la matière, et le temps et les ressources nécessaires pour créer un outil fonctionnel peuvent ne pas valoir l'investissement.

En revanche, l'utilisation d'un scraper professionnel comme le nôtre offre plusieurs avantages. Tout d'abord, les scrapers professionnels sont développés et maintenus par des experts du domaine, ce qui garantit qu'ils sont à la pointe des dernières technologies et techniques. Cela signifie qu'ils sont mieux à même de gérer les complexités du web moderne, telles que les CAPTCHA et les pages web dynamiques. De plus, les scrapers professionnels intègrent souvent des fonctionnalités telles que la rotation automatique d'adresses IP, ce qui peut aider à éviter que votre adresse IP ne soit bloquée par le site web que vous scrapez.

Un autre avantage de l'utilisation d'un scraper professionnel est qu'il peut vous faire gagner un temps et des ressources considérables. Au lieu de passer des semaines, voire des mois, à développer votre propre scraper, n'hésitez pas à vous abonner à notre service en créant un compte ici et commencez à scraper immédiatement. Cela est particulièrement avantageux pour les entreprises qui ont besoin d'extraire des données rapidement afin de prendre des décisions éclairées, ou pour les particuliers qui souhaitent scraper des données pour des projets personnels mais qui n'ont ni le temps ni les ressources nécessaires pour développer leur propre scraper.

La fonctionnalité « Vendeurs à proximité » de Google Shopping permet aux utilisateurs de trouver des magasins de détail à proximité qui proposent un produit spécifique. Disponible sur le site web et l'application mobile de Google Shopping, cette fonctionnalité permet aux utilisateurs de rechercher des produits et d'afficher une liste des vendeurs à proximité qui proposent ce produit. Ces informations comprennent le nom du magasin, la distance et l'adresse du magasin, ainsi que son statut d'ouverture ou de fermeture.

Le web scraping de la fonctionnalité « Vendeurs à proximité » de Google Shopping peut être utile aux entreprises et aux particuliers qui cherchent à mieux comprendre les marchés de détail locaux. En récupérant ces données, les entreprises peuvent mieux cerner la concurrence dans leur région et ajuster leurs prix et leurs stocks en conséquence. De plus, les entreprises peuvent utiliser ces données pour identifier de nouvelles opportunités commerciales, par exemple en contactant des magasins qui ne proposent pas encore leurs produits. Pour les particuliers, le web scraping des vendeurs à proximité sur Google Shopping peut être un outil utile pour trouver les meilleures offres sur les produits et identifier le magasin le plus proche de chez eux.

Pour extraire les vendeurs à proximité de Google Shopping à l'aide de notre API, vous devrez disposer des outils appropriés. Tout d'abord, vous devez avoir installé Node.js. Il s'agit d'un environnement d'exécution JavaScript qui vous permet d'exécuter du code JavaScript côté serveur et qui peut être téléchargé depuis le site web officiel de Node.js.

De plus, vous aurez besoin d'une clé API pour utiliser notre service. Vous pouvez l'obtenir en créant un compte ici et en activant le service SERP.

Une fois que vous disposez de Node.js et d'une clé API, l'étape suivante consiste à créer un fichier de script Node.js en exécutant la commande suivante :

$ touch scraper.js 

Collez ensuite la ligne suivante dans votre fichier :

console.log("Hello World!")

Puis exécutez la commande suivante :

$ node scraper.js

Si le message « Hello World ! » s'affiche sur le terminal, cela signifie que Node.js a été installé avec succès et que vous êtes désormais prêt à passer à la section consacrée au scraping proprement dit.

Une fois l'environnement configuré, vous pouvez commencer à extraire les données des vendeurs à proximité sur Google Shopping à l'aide de notre API. Il s'agit d'un processus simple et, outre ce qui a été évoqué ci-dessus, il vous suffit d'obtenir l'ID du produit qui vous intéresse.

Astuce : voici comment obtenir l'ID d'un produit sur Google Shopping :

Vous êtes désormais prêt à commencer le scraping après avoir configuré Node.js, obtenu une clé API et récupéré un ID de produit. Pour continuer, créez un nouveau fichier JavaScript ou utilisez celui créé précédemment, puis importez le module `https` intégré à Node.js, qui vous permet d'envoyer des requêtes à l'API, à l'aide du code suivant :

​​const https = require("https");

Ensuite, vous devez spécifier votre clé API et la propriété `product_id` du produit qui vous intéresse :

const API_KEY = "YOUR-API-KEY-HERE" // You can obtain one by registering here

const PRODUCT_ID = "4887235756540435899"

Ensuite, vous devez transmettre ces informations dans un objet options afin d'indiquer à notre API quel est le produit que vous souhaitez extraire :

const options = {

 "method": "GET",

 "hostname": "serpapi.webscrapingapi.com",

 "port": null,

 "path": `/v1?engine=google_product&api_key=${API_KEY}&product_id=${PRODUCT_ID}`,

 "headers": {}

};

Enfin, vous devez configurer un appel à notre API avec toutes ces informations :

const req = http.request(options, function (res) {

  const chunks = [];

  res.on("data", function (chunk) {

    chunks.push(chunk);

  });

  res.on("end", function () {

    const body = Buffer.concat(chunks);

    const results = JSON.parse(body.toString());

    const nearbySellers = results.sellers_results.online_sellers;

    console.log(nearbySellers)

  });

});

req.end();

Il ne vous reste plus qu'à exécuter le script que vous avez créé et à attendre les résultats :

​​$ node scraper.js

Vous devriez maintenant recevoir vos résultats :

[

  {

    position: 1,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIZg&usg=AOvVaw3ZevYyiKByTyo_THSF1qUJ',

    additional_details: '460.5 mi · In stock at EulessToday: 10:00 AM - 9:00 PM',

    base_price: '$399.99',

    additional_price: { shipping: 'See website' },

    total_price: '$399.99',

    trusted: true

  },

  {

    position: 2,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIcw&usg=AOvVaw1QiXFtHB6-CApj-HDvbNxl',

    additional_details: '462.6 mi · In stock at ArlingtonToday: 11:00 AM - 8:00 PM',

    base_price: '',

    trusted: false

  },

  {

    position: 3,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIdg&usg=AOvVaw0CxoqlJzdEZ93B-6U-Jmuf',

    additional_details: '557.6 mi · In stock at HoustonToday: 12:00 PM - 9:00 PM',

    base_price: '',

    trusted: false

  },

  {

    position: 4,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIeQ&usg=AOvVaw2BAlgtL85g1mvOonMQK14U',

    additional_details: '568.6 mi · In stock at PasadenaToday: 12:00 PM - 9:00 PM',

    base_price: '',

    trusted: false

  },

  {

    position: 5,

    name: 'Gamestop',

    link: 'https://www.google.com/url?q=https://www.gamestop.com/consoles-hardware/playstation-5/consoles/products/sony-playstation-5-digital-edition-console/225171.html%3Futm_source%3Dgoogle%26utm_medium%3Dfeeds%26utm_campaign%3Dunpaid_listings&sa=U&ved=0ahUKEwi27suDvtP8AhVkk2oFHXzfDeMQ2ykIfA&usg=AOvVaw3mi7jMt3aMSJde0sQb9yjR',

    additional_details: '591.2 mi · In stock at San AntonioToday: 12:00 PM - 9:00 PM',

    base_price: '',

    trusted: false

  },

... 

]

Vous avez maintenant réussi à extraire les vendeurs à proximité de Google Product à l'aide de notre API. Vous pouvez utiliser les données obtenues à diverses fins, telles que la comparaison des prix, l'étude de marché, l'optimisation SEO et bien plus encore. Pour plus d'informations et des exemples de code dans six autres langages de programmation, n'hésitez pas à consulter notre documentation sur l'API Google Product.

L'extraction de données de Google Shopping « Vendeurs à proximité » peut être un moyen utile de recueillir des informations sur les détaillants locaux qui proposent un produit spécifique. Cependant, cette fonctionnalité présente également certaines limites. L'une d'entre elles est qu'elle ne renvoie pas toujours des résultats précis ou à jour. Par exemple, un magasin répertorié comme vendant un produit peut être en rupture de stock ou avoir cessé de le proposer. De plus, cette fonctionnalité peut ne pas inclure tous les détaillants locaux proposant le produit, ce qui limite le choix des options pour l'utilisateur. Enfin, la section « Vendeurs à proximité » de Google Shopping n'est disponible que pour certains produits et catégories, de sorte que les utilisateurs ne pourront peut-être pas trouver de vendeurs locaux pour tous les produits qui les intéressent.

J'espère que cet article vous aura été utile pour vous lancer dans le scraping de la section « Vendeurs à proximité » de Google Shopping à l'aide de notre API et de Node.js. Il suffit d'avoir installé Node.js, d'avoir une clé API pour notre service et un identifiant de produit pour recueillir des informations sur les prix et la disponibilité en un clin d'œil. Cela peut s'avérer particulièrement utile pour les entreprises qui souhaitent rester compétitives en matière de prix, ainsi que pour les consommateurs à la recherche des meilleures offres.