Comment récupérer des avis sur Google Maps ?

Andrei Ogiolan le 21 avril 2023

Introduction

Google Maps est l'un des services de cartographie et de navigation les plus utilisés au monde. Il permet aux utilisateurs de trouver et d'explorer facilement des lieux, des entreprises et des centres d'intérêt. L'une des principales fonctionnalités de Google Maps est la possibilité de rechercher des lieux et d'afficher des informations détaillées à leur sujet, telles que leur emplacement, des commentaires, des photos, etc.

L'extraction de ces données de Google Maps peut être utile aux entreprises pour suivre et analyser les performances de leurs sites, aux chercheurs pour étudier les modèles de comportement des consommateurs et aux particuliers pour trouver et explorer de nouveaux lieux.

L'objectif de cet article est de fournir un guide étape par étape sur la façon de récupérer les avis de Google Maps avec notre API en utilisant Node.js. Nous couvrirons tous les aspects, de la mise en place de l'environnement de développement à l'extraction des données pertinentes, en passant par la discussion des problèmes potentiels. À la fin de cet article, vous aurez les connaissances et les outils dont vous avez besoin pour extraire les résultats de Google Maps par vous-même.

Pourquoi utiliser un racleur professionnel au lieu de construire le vôtre ?

L'utilisation d'un scraper professionnel peut être une meilleure option que la création de votre propre scraper, et ce pour plusieurs raisons. Tout d'abord, les scrappers professionnels sont conçus pour gérer une grande variété de tâches de scraping et sont optimisés pour la performance, la fiabilité et l'évolutivité. Ils sont conçus pour traiter de grandes quantités de données et peuvent prendre en charge différents types de sites web et de technologies web. Cela signifie que les scrapers professionnels peuvent souvent extraire des données plus rapidement et avec plus de précision qu'un scraper personnalisé.

En outre, les scrapers professionnels sont souvent dotés de fonctions intégrées telles que la résolution des CAPTCHA, la rotation des IP et la gestion des erreurs, qui peuvent rendre le processus de scraping plus efficace et moins sujet aux erreurs. Ils proposent également une assistance et une documentation qui peuvent s'avérer utiles en cas de problème.

Un autre aspect important est que les fournisseurs de scrapers professionnels respectent les politiques de scraping des sites web qu'ils scrappent et qu'ils peuvent fournir une utilisation légale des données, ce qu'il est important de garder à l'esprit lorsqu'on scrappe des données.

Enfin, dans notre cas particulier, afin de récupérer les avis de Google Maps, pour de meilleurs résultats, vous devez passer un paramètre data_id à votre URL Google. Ce paramètre ressemble généralement à ceci : 0x87c0ef253b04093f:0xafdfd6dc1d3a2b4e. Je sais que cela peut sembler intimidant au début car vous n'avez peut-être aucune idée de la façon d'obtenir la propriété data_id pour un lieu spécifique et vous avez raison, car Google cache cette information et elle n'est pas visible sur la page lorsque vous recherchez un lieu dans Google Maps. Mais, heureusement, l'utilisation d'un scraper professionnel comme le nôtre s'occupe de cela en trouvant ces données pour vous. Nous verrons dans les sections suivantes comment obtenir l'identifiant de données et comment récupérer les avis de Google Maps à l'aide de notre API.

Définir notre objectif

Qu'est-ce qu'un avis sur Google Maps ?

Les avis Google Maps sont les évaluations et les commentaires laissés par les utilisateurs sur Google Maps à propos d'un lieu spécifique. Ces avis contiennent des informations telles que le nom de l'utilisateur, la date à laquelle l'avis a été laissé, la note attribuée et le texte de l'avis.

L'extraction des avis sur Google Maps peut être utile aux entreprises qui souhaitent suivre et analyser les performances de leurs sites, aux chercheurs qui veulent étudier les modèles de comportement des consommateurs et aux particuliers qui souhaitent trouver et explorer de nouveaux lieux. En extrayant les données relatives aux avis, les entreprises peuvent identifier les points forts et les points faibles de leurs établissements et les améliorer en conséquence. Les chercheurs peuvent étudier le sentiment des avis et trouver des modèles de comportement des consommateurs. Les particuliers peuvent également utiliser ces informations pour décider où aller et quoi faire.

À quoi ressemble notre objectif ?

Mise en place

Avant de commencer à récupérer des avis sur Google Maps, il est important de disposer des outils nécessaires. La première exigence est Node.js, un moteur d'exécution JavaScript qui permet l'exécution de JavaScript côté serveur, qui peut être téléchargé à partir de leur site officiel. En outre, une CLÉ API est nécessaire, qui peut être obtenue en créant un compte ici et en activant le service SERP.

Après avoir configuré Node.js et obtenu une CLÉ d'API, l'étape suivante consiste à créer un fichier de script Node.js. Pour ce faire, exécutez la commande suivante :

$ touch scraper.js 

Et maintenant, collez la ligne suivante dans votre fichier :

console.log("Hello World !")

Puis exécutez la commande suivante :

$ node scraper.js

Si le message "Hello World !" s'affiche sur le terminal, cela signifie que Node.js a été installé avec succès et que vous êtes prêt à passer à l'étape finale. Cette dernière étape consiste à obtenir l'ID du lieu dont vous souhaitez recueillir les avis. C'est là que notre API est utile, elle est facile à utiliser et ne nécessite pas l'installation de bibliothèques supplémentaires.

Tout d'abord, dans un fichier js, vous devez importer le module Node.js `https` intégré afin de pouvoir envoyer des requêtes à notre API. Cela peut être fait comme suit :

const https = require("https") ;

Deuxièmement, vous devez spécifier votre clé API, un terme de recherche et les coordonnées du lieu qui vous intéresse :

const API_KEY = "<YOUR-API-KEY-HERE>" // You can get by creating an account - https://app.webscrapingapi.com/register

const query = "Waldo%20Pizza"

const coords = "@38.99313451901278,-94.59368586441806"

Conseil : c'est ainsi que vous obtenez les coordonnées d'un lieu sur Google Maps :

L'étape suivante consiste à inclure l'identifiant de lieu obtenu dans un objet d'options, pour indiquer à notre API les avis de lieux que vous souhaitez récupérer :

const options = {

  "method": "GET",

  "hostname": "serpapi.webscrapingapi.com",

  "port": null,

  "path": `/v1?engine=google_maps&api_key=${API_KEY}&type=search&q=${query}&ll=${coords}`,

  "headers": {}

};

Ensuite, vous devez mettre en place un appel à notre API avec toutes ces informations :

const req = https.request(options, function (res) {

 const chunks = [];

 res.on("data", function (chunk) {

   chunks.push(chunk);

 });

 res.on("end", function () {

   const body = Buffer.concat(chunks);

   const response = JSON.parse(body.toString());

   const data_id = response.place_results.data_id;

   if (data_id) {

       console.log(data_id);

   }

   else {

       console.log('We could not find a data_id property for your query. Please try using another query')

   }

 });

});

req.end();

Enfin, vous pouvez exécuter le script que vous venez de créer et attendre que les résultats soient renvoyés :

$ node scraper.js

Vous devriez obtenir la propriété data_id imprimée à l'écran :

$ ​​0x87c0ef253b04093f:0xafdfd6dc1d3a2b4es

Ceci conclut le processus de configuration, avec la propriété data_id, vous avez maintenant toutes les informations nécessaires pour créer un scraper pour les avis Google Maps en utilisant notre API avec Node.js.

Commençons par recueillir les avis de Google

Une fois l'environnement mis en place, vous êtes prêt à commencer à récupérer les avis de Google Maps avec notre API. Pour ce faire, vous devez configurer le paramètre data comme indiqué précédemment. Avec toutes les informations nécessaires disponibles, vous pouvez configurer le paramètre data_id comme suit :

const data_id = "0x87c0ef253b04093f:0xafdfd6dc1d3a2b4e" // le data_id que nous avons récupéré plus tôt

Il ne reste plus qu'à modifier l'objet "options" pour indiquer à notre API que vous souhaitez récupérer des avis sur Google Maps :

const options = {

  "method": "GET",

  "hostname": "serpapi.webscrapingapi.com",

  "port": null,

  "path": `/v1?engine=google_maps_reviews&api_key=${API_KEY}&data_id=${data_id}`, // there is no need in having a query anymore, data_id is enough to identify a place

  "headers": {}

};

C'est tout ce que vous avez à faire. Votre script devrait maintenant ressembler à ceci :

const http = require("https");

const API_KEY = "<YOUR-API-KEY-HERE>"

const data_id = "0x87c0ef253b04093f:0xafdfd6dc1d3a2b4e" // the data_id we retrieved earlier

const options = {

  "method": "GET",

  "hostname": "serpapi.webscrapingapi.com",

  "port": null,

  "path": `/v1?engine=google_maps_reviews&api_key=${API_KEY}&data_id=${data_id}`, // there is no need in having a query anymore, data_id is enough to identify a place

  "headers": {}

};

const req = http.request(options, function (res) {

  const chunks = [];

  res.on("data", function (chunk) {

    chunks.push(chunk);

  });

  res.on("end", function () {

    const body = Buffer.concat(chunks);

    const response = JSON.parse(body.toString())

    console.log(response);

  });

});

req.end();

Après avoir exécuté ce script, vous devriez recevoir une réponse similaire à celle-ci :

reviews: [

    {

      link: 'https://www.google.com/maps/reviews/data=!4m8!14m7!1m6!2m5!1sChZDSUhNMG9nS0VJQ0FnSUMyem9pOEdBEAE!2m1!1s0x0:0xafdfd6dc1d3a2b4e!3m1!1s2@1:CIHM0ogKEICAgIC2zoi8GA%7CCgwI1vuBkwYQiKeWyQE%7C?hl=en-US',

      date: '8 months ago',

      rating: 5,

      snippet: 'Wow, if you have dietary restrictions this is absolutely the place to go! Both for the variety of restrictions they cater to as well as the taste of the dishes.The good: great tasting food. Very conscious of dietary restrictions which include multiple types of vegan cheeses as well as gluten free. Decent drink selection.The meh: service is nice but a touch slow. Maybe understaffed? Prices are average for pizzas.The bad: noneFeatures: Did not see any masks on anyone inside. Unsure of cleaning practices so I cannot speak to that.Dine in: Yes\n' +

        'Takeout: Yes\n' +

        'Curbside pickup: YesWow, if you have dietary restrictions this is absolutely the place to go! Both for the variety of restrictions they cater to as well as the taste of the dishes. ...More',

      likes: 3,

      user: [Object],

      images: [Array]

    },

    {

      link: 'https://www.google.com/maps/reviews/data=!4m8!14m7!1m6!2m5!1sChZDSUhNMG9nS0VJQ0FnSURXOUxHSUl3EAE!2m1!1s0x0:0xafdfd6dc1d3a2b4e!3m1!1s2@1:CIHM0ogKEICAgIDW9LGIIw%7CCgwI3OnIkQYQwLGL1gM%7C?hl=en-US',

      date: '9 months ago',

      rating: 5,

      snippet: "We love Waldo Pizza! We have dairy allergies and Waldo offers a wide range of vegan cheeses as well as a ton of different toppings. The vegan dessert here is always excellent as well, super rich in flavor. Of course the traditional pizza, pasta and dessert are also amazing! It's great to have both options under one roof!Dine in: Yes\n" +

        'Outdoor seating: No ...More',

      likes: 1,

      user: [Object],

      images: [Array]

    }

    . . . 

]    

Et c'est tout ! Vous avez réussi à récupérer des avis sur Google Maps à l'aide de notre API et vous pouvez maintenant utiliser les données obtenues à des fins diverses telles que l'analyse de données, l'analyse commerciale, l'apprentissage automatique et bien plus encore. Pour plus de références et d'exemples de code dans d'autres 6 langages de programmation, vous pouvez consulter notre documentation sur les avis Google Maps.

Limites de Google Maps Reviews

Même si l'utilisation d'un scraper professionnel pour extraire des avis Google Maps peut s'avérer plus efficace et plus précis que la création de votre propre scraper, il convient de garder à l'esprit certaines limites. L'une d'entre elles est que certains scrapeurs professionnels peuvent avoir des limites d'utilisation, ce qui signifie que vous ne pouvez extraire qu'un certain nombre d'avis par jour ou par mois. Une autre limite est que certains scrapers professionnels ne peuvent pas contourner les blocs IP ou les CAPTCHA, ce qui peut rendre difficile l'extraction de grandes quantités de données sans rencontrer d'erreurs. Heureusement, chez WebScrapingAPI, nous avons des proxys résidentiels qui font tourner les adresses IP, ce qui vous permet d'être couvert et d'éliminer le souci d'être banni ou limité. Une chose que vous devez garder à l'esprit est que les avis de Google Maps sont généralement en langage naturel, ce qui peut les rendre difficiles à analyser et à interpréter sans l'utilisation de techniques de traitement du langage naturel.

Conclusion

En conclusion, le scraping des avis Google Maps peut être un outil précieux pour les entreprises, les chercheurs et les particuliers. Il permet de recueillir des données à grande échelle et de les analyser à diverses fins. Cependant, il est important de garder à l'esprit qu'il existe des limites au scraping d'avis Google Maps, notamment des limites d'utilisation, des CAPTCHA et des blocages d'IP, ainsi que le traitement du langage naturel. L'utilisation d'un scraper professionnel peut rendre le processus plus efficace et plus précis et vous permettre de vous débarrasser de certaines de ces limitations.Dans l'ensemble, le scraping d'avis Google Maps peut fournir des informations utiles, mais il est important de l'aborder avec prudence et précaution.