Comment utiliser WebScrapingAPI pour collecter des données Yelp

Étudier les prix des produits de vos concurrents, passer en revue leur gamme de produits et leurs catégories, ou analyser leur stratégie sur les réseaux sociaux sont trois des tactiques les plus utiles que vous pouvez utiliser pour améliorer votre activité.

Trouver et comparer les prix des produits n'est pas une tâche très difficile, mais elle prend du temps. L'utilisation d'un outil de web scraping peut vous aider à obtenir automatiquement des informations actualisées sur la stratégie de prix et les ventes flash de vos concurrents.

Le scraping des gammes de produits et des catégories de vos concurrents vous aide à mieux comprendre les tendances qui définissent le marché. Par exemple, si vous possédez un restaurant, vous pouvez découvrir qu’un plat spécifique, comme le burger végétalien, est en vogue dans votre ville, ce qui vous permet d’adapter votre menu pour générer davantage de ventes.

Les réseaux sociaux ne servent pas uniquement à renforcer le lien entre l'entreprise et le client. En analysant la stratégie de vos concurrents sur les réseaux sociaux, vous pouvez découvrir en quelques minutes ce qui fonctionne et ce qui ne fonctionne pas. Vous pouvez facilement trouver des réponses à des questions telles que « Combien de fois publient-ils par semaine ? » ou « Quels visuels maintiennent un niveau d'engagement élevé ? » simplement en effectuant un scraping.

Yelp est l’une des plateformes en ligne les plus populaires où les utilisateurs peuvent partager leurs expériences tout en aidant les autres à prendre des décisions éclairées concernant les entreprises locales. Si vous possédez une entreprise ou envisagez d’en créer une, obtenir des informations précieuses sur la concurrence peut considérablement améliorer vos chances de réussite. Des informations sur l’emplacement exact, les horaires d’ouverture, les services de livraison ou le type d’activité ne sont que quelques-unes de celles que vous pouvez trouver en parcourant Yelp.

Mieux encore, vous pouvez réduire le temps que vous passez à analyser la concurrence en utilisant un outil de web scraping et vous concentrer davantage sur le développement de votre entreprise. Cette stratégie s'avérera payante à long terme, car l'automatisation du processus de collecte de données peut devenir l'une des tâches les plus fastidieuses et chronophages.

Dans la section suivante, nous utiliserons Node.js et quelques bibliothèques telles que got et jsdom pour créer le script qui récupérera toutes les données d'une page Yelp et les mettra en forme de manière claire et compréhensible. Voyons comment toutes les informations présentées ci-dessus peuvent être converties en résultats concrets :

Supposons que nous souhaitions ouvrir un restaurant à New York. Nous voudrions créer une liste de concurrents comprenant des informations utiles telles que :

• Nombre d'avis
• Type de restaurant
• Tarifs
• Emplacement

L'URL que nous allons extraire est la suivante : https://www.yelp.ie/search?find_desc=restaurant&find_loc=New+York%2C+NY%2C+United+States&ns=1.

Vous pouvez effectuer le scraping en parallèle de la lecture de cet article si vous commencez votre essai gratuit avec 5 000 requêtes et un accès à toutes les fonctionnalités pour tester notre produit. Vous pouvez utiliser l'outil de scraping avec lequel vous vous sentez le plus à l'aise. Sachez simplement qu'à partir de maintenant, le tutoriel se concentrera sur la manière d'obtenir les résultats à l'aide de WebScrapingAPI.

Une fois votre compte gratuit créé, accédez à la page API Playground en cliquant sur le bouton « Use API Playground » sur la page Dashboard. La page devrait ressembler à ceci :

Comme son nom l'indique, c'est ici que nous pouvons tester l'outil de scraping avant de créer notre script. Copions l'URL indiquée ci-dessus dans le champ de saisie de l'URL (colonne de gauche), faisons défiler légèrement vers le bas, puis cliquons sur le bouton « Send API Request ». Cette action devrait renvoyer un résultat qui ressemble à ceci :

Créons maintenant le script qui va effectuer la majeure partie du travail à notre place.

Créez le dossier du projet, ouvrez une fenêtre de terminal et accédez-y. Comme nous l’avons déjà mentionné, nous utiliserons la bibliothèque « got » pour effectuer les requêtes et « jsdom » pour nos besoins d’analyse. Une fois que vous avez accédé au dossier du projet, exécutez les commandes suivantes dans le terminal :

npm init -y
npm install got jsdom

Le projet devrait désormais contenir les fichiers « package.json ». Créez un nouveau fichier nommé « index.js » et ouvrez-le à l'aide de votre IDE préféré. Si vous n'en avez pas installé, nous vous recommandons de télécharger Visual Studio Code, car il est considéré comme l'IDE le plus populaire à l'heure actuelle.

Définissons les paramètres, envoyons la requête et analysons le code HTML. Écrivez les lignes suivantes dans le fichier « index.js » nouvellement créé :

const {JSDOM} = require("jsdom")

const got = require("got")

(async () => {
const params = {
    api_key: "YOUR_API_KEY,”
    url:"https://www.yelp.ie/search?find_desc=restaurant&find_loc=New+York%2C+NY%2C+United+States&ns=1"
}

const response = await got('https://api.webscrapingapi.com/v1', {searchParams: params})


const {document} = new JSDOM(response.body).window

const competitors = document.querySelectorAll('.container__09f24__sxa9-')

console.log(competitors)

})()

Veillez à remplacer la chaîne « YOUR_API_KEY » par la clé API qui vous a été fournie par notre service. Vous la trouverez sur la page du tableau de bord.

En exécutant le script, nous envoyons une requête au service WebScrapingAPI pour récupérer le code HTML de la page Yelp. Nous collectons ensuite tous les éléments de la page contenant des informations sur nos concurrents et les affichons à l'écran à l'aide de la fonction « console.log ».

Revenons à la page Yelp et voyons comment sélectionner uniquement les informations dont nous avons besoin. Cliquez avec le bouton droit sur le nom du premier restaurant, puis cliquez sur « Inspecter ».

Une nouvelle fenêtre contenant le code source HTML s'affiche :

Recherchons toutes les informations dont nous avons besoin en identifiant les éléments HTML qui les contiennent. Sur l’image ci-dessus, nous voyons clairement que l’élément contenant le nom du restaurant possède une classe CSS « css-166la90 ». Pour récupérer tous les noms de nos concurrents, nous devons sélectionner tous les éléments de la page ayant cette classe. Nous procéderons de la même manière pour toutes les informations présentées précédemment, telles que le nombre d’avis, le type de restaurant, les tarifs et l’emplacement.

Nous allons maintenant extraire toutes les informations dont nous avons besoin de la réponse API obtenue. Nous allons récupérer et formater le nom du restaurant, la note des avis, le type de restaurant, la fourchette de prix et l'emplacement. Ajoutez les lignes de code suivantes au fichier « index.js ».

competitors.forEach((competitor) => {
    if (competitor) {
        const name = competitor.querySelector('.css-166la90')
        if (name) competitor.name = name.innerHTML

        const reviewScore = competitor.querySelector('.reviewCount__09f24__EUXPN')
        if (reviewScore) competitor.review_score = `${reviewScore.innerHTML}/100`

        const types = competitor.querySelectorAll('.css-1hx6l2b')
        if (types) {
            competitor.types = []
            for (type of types) competitor.types.push(type.innerText)
       }

       const priceRange = competitor.querySelector('.priceRange__09f24__2O6le')
       if (priceRange) competitor.price_range = priceRange.innerHTML

       const locationContainer = competitor.querySelector('.priceCategory__09f24__Ylk7h')
       if (locationContainer) {
	     let location = locationContainer.querySelector('.css-e81eai')
	     competitor.location = location
       }

       results.push(competitor)
    }
})

console.log(results)

Au final, nous disposerons d’un tableau d’objets, et chacun d’entre eux contiendra tous les concurrents présents sur la page ainsi que leurs données spécifiques.

Comme vous pouvez le constater, l'extraction des données de Yelp à l'aide de WebScrapingAPI est assez simple. Nous devons utiliser une API de scraping pour récupérer le contenu HTML, analyser la réponse, extraire les informations pertinentes de chaque élément de la page et ajouter le tout à une liste.

De nos jours, créer une nouvelle entreprise ne se résume pas à proposer un excellent produit. Les opportunités sont infinies, tout dépend de votre créativité. Voici quelques-unes des stratégies les plus efficaces auxquelles les chefs d'entreprise devraient prêter attention :

• se forger une présence en ligne exceptionnelle
• s'efforcer d'offrir le plus de valeur possible au prix le plus bas
• avoir une compréhension complète des avantages de la concurrence

Toutes ces stratégies peuvent s'avérer vitales pour votre entreprise. Il est rassurant de savoir que les outils de web scraping apportent une aide considérable pour relever ces défis. L'automatisation du processus de collecte de données est peut-être la mesure la plus simple pour améliorer votre activité.

Nous essayons de vous aider en créant les outils nécessaires à ce type de tâches. Merci d'avoir lu cet article jusqu'au bout et n'oubliez pas que l'API WebScraping propose un essai gratuit, à l'issue duquel les utilisateurs passent à la formule gratuite, ce qui vous permet de tester l'API à votre guise sans dépenser un centime.