Comment récupérer des prospects pour votre entreprise

Robert Munceanu le 24 avril 2021

Si vous avez un produit extraordinaire ou une idée révolutionnaire à partager avec le monde, ne serait-il pas dommage que les gens n'en connaissent pas l'existence ?

Bonjour et bienvenue dans l'article spécial d'aujourd'hui ! La génération de leads sera le plat de résistance de cet article, et nous découvrirons pourquoi l'utilisation d'un outil de web scraping peut nous aider à collecter des leads de manière efficace.

Si vous restez jusqu'à la fin, vous verrez un exemple rapide d'un scraper web en action et comment il aide les entreprises à trouver des clients potentiels. Sans plus attendre, aiguisons nos couteaux et commençons par l'apéritif !

Comment le web scraping peut vous aider à collecter des leads

La création d'un excellent vivier de prospects peut prendre un certain temps, car vous avez besoin d'un grand nombre de contacts pour développer votre entreprise, et la recherche manuelle sur chaque site web prend beaucoup de temps. Vous ne voulez pas non plus le numéro de téléphone de tout le monde, mais seulement de ceux qui intéressent votre entreprise.

Que pouvons-nous faire à ce sujet ?

Certaines personnes créent leur entreprise autour de ce thème, c'est-à-dire qu'elles collectent et vendent des prospects à d'autres entreprises. Cela semble être une solution rapide et facile, mais la qualité de leur vivier de prospects n'est peut-être pas à la hauteur de vos attentes. En outre, il ne fait aucun doute que cette option implique de dépenser de l'argent.

Alors, comment le faire soi-même de manière rapide et efficace ? C'est là qu'un outil de web scraping intervient pour vous sauver la mise. Vous pouvez ainsi sélectionner uniquement les prospects qui vous intéressent, par exemple en les séparant en fonction de leurs évaluations.

Un guide pas à pas pour générer des leads avec l'API de Web Scraping

Imaginons que nous soyons une nouvelle microbrasserie en ville et que nous souhaitions faire connaître nos produits. Pour atteindre cet objectif, nous devons contacter les restaurants ou les pubs locaux et leur demander s'ils sont intéressés par la vente de nos produits dans leur établissement.

C'est à vous de décider comment vous allez procéder. Nous vous aiderons à gratter, pas à parler !

Tout d'abord, il faut savoir où chercher les informations nécessaires, et l'internet est le meilleur moyen d'y parvenir. Il existe des sites web d'annuaires contenant des listes d'entreprises classées par créneau, localisation, activité et même taille. Dans cet exemple, nous utiliserons Yell.

Nous allons maintenant créer notre compte WebScrapingAPI et poursuivre l'exemple.

Créez votre compte WebScrapingAPI

Cette étape est facile, car la création d'un compte est assez simple, et ne vous inquiétez pas, c'est gratuit ! Après avoir confirmé votre inscription par e-mail, nous pouvons passer à l'étape suivante.

Utilisez votre clé d'accès

Après vous être connecté, vous serez redirigé vers le tableau de bord, où vous trouverez des informations qui vous aideront à gratter le web. Dans la section " playground", vous pouvez tester les résultats avec différents paramètres, et si vous souhaitez en savoir plus sur l'utilisation de l'API, vous pouvez consulter la documentation.

Pour l'instant, nous nous intéressons à la clé d'accès. Cette clé sera utilisée comme paramètre dans notre projet afin de s'authentifier auprès de l'API.

Mais si vous pensez que la clé d'accès a été compromise, vous pouvez réinitialiser la clé API à tout moment en appuyant sur le bouton ci-dessus.

Intégrer WebScrapingAPI dans votre projet

Dans cette étape, nous devons préparer notre projet pour le scraping. Vous pouvez utiliser l'IDE et le langage de programmation qui vous conviennent le mieux, mais pour cet exemple, nous allons utiliser WebStorm comme IDE, et le code sera écrit en NodeJS.

1. Installez les paquets suivants :

• got: utilisé pour effectuer des requêtes HTTP
• jsdom: utile pour l'analyse HTML
• csv-writer: pour stocker les données extraites dans un fichier csv

Pour installer les paquets ci-dessus, utilisez simplement la ligne de commande suivante dans le terminal de vos projets : npm install got jsdom csv-writer

2. Paramétrez vos demandes

Ici, nous allons spécifier l'URL du site web que nous voulons récupérer, dans notre cas, ce sera Yell, et bien sûr, la clé d'accès pour que WebScrapingAPI fonctionne.

const url = "https://www.yell.com/ucs/UcsSearchAction.do?keywords=restaurants%26location=United+Kingdom%26scrambleSeed=1024089043"
const params = {
   api_key: "XXXXX",
   url: url
}

3. Faire la demande

const response = await got('https://api.webscrapingapi.com/v1', {searchParams: params})

La requête sera envoyée à WebScrapingAPI avec les paramètres que nous avons définis plus tôt, et nous recevrons une réponse contenant le HTML brut de la page scrappée. Ensuite, nous devrons voir comment localiser l'information dont nous avons besoin dans le HTML.

4. Inspecter les éléments

Ici, nous devons parcourir le site web que nous souhaitons scraper et utiliser les outils du développeur afin de rechercher les éléments qui contiennent les informations de chaque entreprise, dans notre cas, chaque élément a la classe "businessCapsule--mainRow".

Dans les images présentées ci-dessus, nous avons approfondi l'élément business item pour observer que le nom de chaque entreprise se trouve dans la balise de classe "businessCapsule--name".

En répétant ce processus, nous trouverons le numéro de téléphone dans l'élément de la classe "business--telephoneNumber" et les notes moyenne et totale dans les éléments des classes "startRating--average" et "starRating--total" respectivement.

5. Analyse du code HTML

JSDOM nous aidera à analyser les informations fournies par WebScrapingAPI, puisqu'il renverra la page complète au format HTML.

const {document} = new JSDOM(response.body).window

6. Filtrage des résultats

Dans cette phase, nous allons parcourir tous les éléments ayant la classe "businessCapsule--mainRow" et extraire les informations des éléments dont nous avons parlé précédemment. Les données extraites seront ensuite ajoutées en tant qu'objet dans une liste.

const relatedElements = document.querySelectorAll('.businessCapsule--mainRow')
relatedElements.forEach(el => {
   const businessName = el.querySelector('.businessCapsule--name')
   const businessRatingAverage = el.querySelector('.starRating--average')
   const businessRatingTotal = el.querySelector('.starRating--total span')
   const businessContact = el.querySelector('.business--telephoneNumber')
   leads.push({
       businessName: businessName ? businessName.innerHTML : 'No business name',
       businessRatingAverage: businessRatingAverage ? businessRatingAverage.innerHTML : 'No ratings',
       businessRatingTotal: businessRatingTotal ? businessRatingTotal.innerHTML : 'No ratings',
       businessContact: businessContact ? businessContact.innerHTML : 'No phone number'
   })
})

7. Stocker les données

Stocker les données dans un fichier csv semble être une bonne solution et c'est là que csv-writer va nous aider. Nous devons spécifier le chemin et le nom du fichier csv dans le paramètre path et dans le paramètre header, et nous devrons spécifier une liste d'objets. Chaque objet représentera une colonne de notre fichier csv. La propriété title de ces objets représente le titre de chaque colonne tandis que la propriété id doit correspondre aux propriétés des objets de notre liste de pistes.

Maintenant, si nous enveloppons l'ensemble du code dans une fonction asynchrone et que nous ajoutons une boucle pour rechercher les 5 premières pages pour les entreprises, le code devrait ressembler à ceci :

const {JSDOM} = require("jsdom");
const got = require("got");

(async () => {

   const leads = []
   const nrPages = 5

   for (let page = 1; page <= nrPages; page++) {
       const url = "https://www.yell.com/ucs/UcsSearchAction.do?keywords=restaurants%26location=United+Kingdom%26scrambleSeed=1024089043%26pageNum=" + page
       const params = {
           api_key: "XXX",
           url: url
       }
       const response = await got('https://api.webscrapingapi.com/v1', {searchParams: params})
       const {document} = new JSDOM(response.body).window
       const relatedElements = document.querySelectorAll('.businessCapsule--mainRow')

       if (relatedElements) {
           relatedElements.forEach(el => {
               const businessName = el.querySelector('.businessCapsule--name')
               const businessRatingAverage = el.querySelector('.starRating--average')
               const businessRatingTotal = el.querySelector('.starRating--total span')
               const businessContact = el.querySelector('.business--telephoneNumber')
               leads.push({
                   businessName: businessName ? businessName.innerHTML : 'No business name',
                   businessRatingAverage: businessRatingAverage ? businessRatingAverage.innerHTML : 'No ratings',
                   businessRatingTotal: businessRatingTotal ? businessRatingTotal.innerHTML : 'No ratings',
                   businessContact: businessContact ? businessContact.innerHTML : 'No phone number'
               })
           })
       }
   }

   const csvWriter = require('csv-writer').createObjectCsvWriter({
       path: 'leads.csv',
       header: [
           {id: 'businessName', title: 'Business Name'},
           {id: 'businessRatingAverage', title: 'Business Average Rating'},
           {id: 'businessRatingTotal', title: 'Business No. of Ratings'},
           {id: 'businessContact', title: 'Business Phone Number'},
       ]
   })

   csvWriter.writeRecords(leads).then(() => console.log('Success!!'))

})();

Réussir !

Bon travail ! Vous avez terminé la collecte d'informations sur les prospects potentiels.

Laissez WebScrapingAPI devenir le meilleur ami de votre entreprise

C'est un moyen rapide de créer votre propre pool de prospects et de partenaires commerciaux potentiels. Outre la génération de leads, WebScrapingAPI peut également vous aider dans d'autres situations. Vous pouvez en savoir plus à ce sujet sur notre blog.

En fonction de votre projet, WebScrapingAPI propose plusieurs formules pour répondre à vos besoins. Si vous n'êtes pas encore convaincu de l'intérêt de notre produit pour votre entreprise, pourquoi ne pas essayer d'abord le plan gratuit ? Il offre 1000 appels API gratuits pour vous permettre de démarrer.