Node-fetch
Node-Fetch est un petit module qui ajoute l'API Fetch à Node.js.
Avec fetch (dans le navigateur ou via Node Fetch), vous pouvez combiner la syntaxe await et .then pour rendre la conversion du flux de lecture en JSON un peu plus agréable — ainsi, les données,
Comme le montre l'exemple ci-dessous, il contient le JSON sans nécessiter de variable intermédiaire disgracieuse.
De plus, Node Fetch prend en charge des extensions pratiques telles que la limitation de la taille des réponses, la limite de redirection et les échecs explicites pour le débogage.
Vous pouvez utiliser plusieurs bibliothèques, notamment node-fetch dans NodeJS, pour envoyer ou récupérer des données. Du côté client, l'API JavaScript Fetch peut être utilisée pour faire de même
Vous pouvez charger le module node-fetch avant d'accéder à la page d'accueil de Google. L'adresse du serveur auquel vous envoyez une requête HTTP est le seul argument que vous fournissez à la méthode fetch().
Vous pouvez enchaîner plusieurs routines .then() pour vous aider à contrôler la réponse et les données de notre requête, car node-fetch est basé sur les promesses.
Le champ URL contient simplement l'URL réelle de la ressource que nous souhaitons récupérer. S'il ne s'agit pas d'une URL absolue, la fonction échouera.
Lorsque vous souhaitez utiliser get() pour autre chose qu'une requête GET standard, nous utilisons le paramètre options facultatif, mais nous y reviendrons plus en détail ultérieurement.
La méthode renvoie un objet Response, qui fournit des fonctions pratiques et des informations sur la réponse HTTP telles que :
- Text () - renvoie le corps de la réponse sous forme de chaîne de caractères.
- JSON() - convertit le corps de la réponse en un objet JSON et renvoie une erreur s'il ne peut pas être traité.
- Status et statusText - ces champs contiennent des informations sur le code d'état HTTP.
- Ok - vaut true si le statut est un code 2xx (une condition de réussite).
- Headers - un objet contenant les en-têtes de réponse ; la fonction get() peut être utilisée pour obtenir un seul en-tête.
Popularité
- 8 millions de téléchargements hebdomadaires sur npm
- +6,8K modules dépendant de node-rest
- +383 forks
- 3,8K étoiles GitHub
- 38 contributeurs
Fonctionnalités de node-fetch
- Assurer la cohérence avec l'API .fetch de la fenêtre.
- En suivant les spécifications du flux et les détails d'implémentation de la spécification fetch du WHATWG, procédez à des compromis réfléchis et décrivez les écarts connus.
- Utilisation de fonctions asynchrones et de promesses natives
- Tant pour la requête que pour la réponse, utiliser les flux Node natifs pour le corps.
- Décodez correctement l'encodage du contenu (gzip/brotli/deflate) et convertissez automatiquement les chaînes de caractères (y compris res.json() et res.text()) en UTF-8.
- Pour le débogage, des ajouts utiles incluent la limitation de la taille de la réponse, la limite de redirection et les erreurs explicites.
Avantages
- Avec une taille d'installation d'environ 150 Ko, Node-fetch est sans doute le module de requêtes HTTP le plus léger.
- Il offre des fonctionnalités impressionnantes telles que le mode JSON, l'API Promise, la compatibilité avec les navigateurs, l'annulation de requêtes et la possibilité de remplacer sa bibliothèque Promise ou de décoder les encodages Web contemporains tels que deflate/brotli.
- Il respecte les derniers standards de requêtes HTTP en JavaScript et reste le module le plus téléchargé après request, avec environ 8 millions de téléchargements par semaine (dépassant Got, Axios et Superagent).
Pourquoi vous avez besoin d'une alternative à Node-fetch
- Il ne prend pas en charge HTTP/2 ni les cookies
- Node-fetch ne permet pas la mise en cache conforme à la RFC
- Node-fetch ne réessaie pas en cas d'échec.
- Il ne prend pas en charge les événements de progression, les erreurs de métadonnées, les délais d'attente avancés ou les hooks.
Mes meilleures alternatives à Node-fetch
Voici une liste de mes 5 meilleures alternatives à Node-fetch que vous pouvez utiliser dans vos solutions
- Axios
- Got
- Superagent
- Request
- WebscrapingAPI
Je vais passer en revue chacun d'entre eux pour vous aider à mieux comprendre ce qu'ils sont et ce qu'ils offrent.
C'est parti !
1. Axios
Axios est un client HTTP basé sur les promesses pour Node.js et le navigateur. Tout comme SuperAgent, il analyse automatiquement les réponses JSON. Sa capacité à effectuer des requêtes simultanées à l'aide d'Axios le distingue encore davantage.
Pour installer Axios
Vous pouvez effectuer une requête en transmettant la configuration appropriée.
En raison de sa simplicité, certains développeurs préfèrent Axios aux API intégrées. Cependant, beaucoup de gens surestiment la nécessité d'une telle bibliothèque. Node-fetch est tout à fait capable de reproduire les fonctionnalités essentielles d'Axios.
Popularité
- +4,4 millions de téléchargements npm
- +15 600 modules en dépendent
- +57 000 étoiles GitHub
- 71 contributeurs
- +4 400 forks
Fonctionnalités
- Effectuer des requêtes XMLHttpRequest dans le navigateur
- Prise en charge de l'API Promise
- Effectuer des requêtes HTTP dans Node.js
- Intercepter les réponses et les requêtes
- Annuler des requêtes
- Transformez les données de réponse et de requête
- Transformations automatiques des données JSON
- Sérialisation automatique des objets de données
- Prise en charge côté client
Avantages
- Axios vous permet de configurer et de personnaliser entièrement vos requêtes en lui fournissant un seul objet de configuration. Il peut surveiller l'état des requêtes POST et effectuer des modifications automatisées des données JSON.
- Axios est également le module de requêtes HTTP front-end le plus utilisé. Il est très populaire et respecte les derniers standards JavaScript. Il gère l'annulation des requêtes, la redirection, le gzip/deflate, les problèmes de métadonnées et les hooks.
Inconvénients
- Axios ne prend pas en charge HTTP2, l'API Stream et Electron. Il ne réessaie pas non plus les échecs et fonctionne sur Node.js avec une prise en charge intégrée des promesses. Q promise ou Bluebird est requis pour les versions plus anciennes. 2. Got
Got est un autre framework de requêtes HTTP convivial et robuste pour Node.js. Il a été initialement conçu comme un remplacement léger du célèbre package Request. Consultez ce tableau détaillé pour découvrir comment Got se compare aux autres bibliothèques.
Pour installer Got
Got dispose d'une option pour la gestion des charges utiles JSON.
Contrairement à SuperAgent et Axios, Got n'analyse pas automatiquement le JSON. Pour activer cette fonctionnalité, il faut ajouter { JSON: true } comme argument dans le code.
D'après la documentation, Got a été créé parce que la requête est trop volumineuse (elle contient plusieurs gigaoctets !). 4,46 Mo contre 302 Ko reçus).
Popularité
- +6,2 millions de téléchargements npm
- +2 500 modules dépendent de Got
- +280 forks
- +5 000 étoiles GitHub
- 71 contributeurs
Fonctionnalités
- Prise en charge de HTTP/2
- Prise en charge de PromiseAPI et StreamAPI
- Réessais en cas d'échec
- Suivi des redirections
Avantages
- Comparé aux autres alternatives, Got prend en charge davantage de fonctionnalités et gagne en popularité car il est convivial, nécessite un espace d'installation minimal et est à jour avec tous les nouveaux modèles JavaScript.
Inconvénients
- Got n'est pas pris en charge par les navigateurs 3. SuperAgent
SuperAgent est une petite bibliothèque de requêtes HTTP qui peut être utilisée dans Node.js et les navigateurs pour effectuer des requêtes AJAX.
SuperAgent propose des milliers de plugins permettant d'effectuer des tâches telles que la désactivation de la mise en cache, la transformation des données de serveur et l'ajout de suffixes ou de préfixes aux URL.
Pour installer SuperAgent
Utilisation dans Node
Vous pouvez également étendre les fonctionnalités en créant votre propre plugin. SuperAgent peut également analyser des données JSON pour vous.
Popularité
- 2,5 millions de téléchargements sur npm
- +6 400 modules dépendent de SuperAgent
- +1 200 forks
- +14 000 étoiles sur GitHub
- 182 contributeurs
Avantages
- SuperAgent est réputé pour offrir une interface fluide permettant d'effectuer des requêtes HTTP, une architecture de plugins et de nombreux plugins pour diverses fonctionnalités populaires actuellement disponibles (par exemple, son préfixe permettant d'ajouter un préfixe à chaque URL).
- Superagent propose également une API de flux et de promesses, l'annulation des requêtes, des tentatives de réessai en cas d'échec d'une requête, prend en charge gzip/deflate et gère les événements de progression.
Inconvénients
- La compilation de Superagent échoue actuellement. Il n'offre pas non plus de suivi de la progression des téléchargements comme XMLHttpRequest
- Il ne prend pas en charge les minuteries, les erreurs de métadonnées ni les hooks. 4. Request
Request figure parmi les clients de requêtes HTTP simples les plus populaires pour Node.js, et il a été l'un des premiers modules à être publié dans le registre npm.
Il enregistre plus de 14 millions de téléchargements chaque semaine et est conçu pour être le moyen le plus simple d'effectuer des requêtes HTTP dans Node.js.
Un fichier peut également être transmis en continu vers une requête POST ou PUT. Cette méthode compare l'extension du fichier aux types de contenu associés aux extensions de fichier.
Vous pouvez également personnaliser les en-têtes HTTP tels que User-Agent dans l'objet options.
Propriétés
- +9 millions de téléchargements npm
- +6,4K modules dépendent de Request
- +3,2K forks
- +25,2K étoiles sur GitHub
- 126 contributeurs
Fonctionnalités
- Prise en charge de HTTPS
- par défaut et suit les redirections.
Avantages
- Request est facile à prendre en main et à utiliser.
- C'est un module populaire et largement utilisé pour effectuer des requêtes HTTP
Inconvénients
Il est totalement obsolète depuis 2020. Aucune nouvelle modification n'est prévue
5. WebScrapingAPI
Je dois dire que WebScrapingAPI m'a apporté des solutions pratiques aux défis auxquels j'ai été confronté lors de la récupération de données sur le Web. WebScrapingAPI m'a fait gagner du temps et de l'argent, m'aidant ainsi à me concentrer sur le développement de mon produit.
WebScrapingAPI est une API évolutive de niveau entreprise, facile à utiliser, qui aide à collecter et à gérer des données HTML. N'oublions pas que vous disposez de toutes vos solutions de web scraping sous une seule API, ce qui signifie un code épuré.
Définir la clé API et les paramètres de l'URL, ainsi que votre clé d'accès au site web que vous souhaitez scraper, constitue la requête de base la plus simple que vous puissiez adresser à l'API.
Il est essentiel de comprendre les capacités offertes par WebScrapingAPI pour nous aider dans notre parcours de web scraping. Ces informations sont disponibles dans la documentation complète, qui comprend des exemples de code dans plusieurs langages de programmation.
J'ai souvent été confronté à des contre-mesures qui détectaient et bloquaient mon bot, l'empêchant d'exécuter mes tâches. En effet, il n'est pas possible de scraper tous les sites web. Certains utilisent des contre-mesures telles que l'empreinte digitale du navigateur et les CAPTCHA, ce qui est très ennuyeux.
Gérer les technologies de détection des bots peut s'avérer difficile, mais WebScrapingAPI propose des solutions allant des CAPTCHA au blocage d'IP en passant par les tentatives de reconnexion automatisées, et gère tout cela. Il vous suffit de vous concentrer sur vos objectifs. Ils s'occupent de tout le reste.
Il dispose d'une excellente expertise technique avec plus de 100 millions de proxys, vous garantissant de ne pas être bloqué. En effet, certains sites web ne peuvent être scrappés que depuis certains endroits dans le monde. Pour ce faire, vous avez besoin d'un proxy pour accéder à leurs données.
Comme la gestion d'un pool de proxys est difficile, WebScrapingAPI s'occupe de tout pour vous. Elle dispose de millions de proxys rotatifs pour vous garantir de rester indétectable. Elle vous permet également d'accéder à du contenu géo-restreint en utilisant une adresse IP spécifique.
Cette API propose le rendu Javascript. Vous pouvez activer le rendu Javascript à l'aide de véritables navigateurs. Une fois cette fonctionnalité activée, vous pouvez voir tout ce qui s'affiche pour les utilisateurs. Cela inclut les applications monopages utilisant AngularJS, React ou d'autres bibliothèques.
Ce que les utilisateurs voient, c'est exactement ce que vous voyez. Quel meilleur avantage concurrentiel pourrait-on imaginer ?
De plus, l'infrastructure de l'API est construite sur Amazon Web Services, vous offrant ainsi l'accès à des données massives mondiales, étendues, sécurisées et fiables.
À mon humble avis, utiliser WebScrapingAPI est une valeur sûre.
Avantages
- Construit sur AWS
- Tarifs abordables
- Architecture axée sur la vitesse
- TOUTES les offres incluent le rendu Javascript
- Services de haute qualité, disponibilité et stabilité absolue
- Plus de 100 millions de proxys rotatifs pour réduire les blocages
- Fonctionnalités personnalisables
Inconvénients
Aucun pour l'instant.
Tarifs
- Le forfait de base pour utiliser cette API est de 49 $ par mois.
- Options d'essai gratuit
WebScrapingAPI est une bonne option si vous estimez ne pas avoir le temps de créer un scraper web à partir de zéro. N'hésitez pas à l'essayer.
Pourquoi WebScrapingAPI est ma recommandation n°1 :
Je recommande WebScrapingAPI car il offre des solutions simples de web scraping pour tous, le tout dans une seule API. Il dispose également d'une des meilleures interfaces utilisateur, ce qui facilite l'extraction de données.
L'API est suffisamment performante pour vous permettre d'accomplir votre travail.
Prenons un instant pour examiner toutes les données à votre disposition. N'oubliez pas que vous pouvez bénéficier de tarifs compétitifs et proposer de meilleures offres à vos clients.
WebScrapingAPI vous permet d'optimiser vos prix. Comment ? Laissez-moi vous l'expliquer ainsi. Votre entreprise peut se développer considérablement en ayant une meilleure vue d'ensemble de la concurrence. Alors que les prix fluctuent dans votre secteur, vous pouvez utiliser les données de cette API pour savoir comment votre entreprise va s'en sortir.
WebScrapingAPI s'avère très pratique lorsque vous recherchez un article que vous souhaitez acheter. Vous pouvez utiliser ces données pour comparer les prix de différents fournisseurs et choisir la meilleure offre.
De plus, vous n'avez pas à craindre d'être bloqué. Pourquoi ? Parce que cette API vous permet de récupérer les données dont vous avez besoin sans rencontrer d'obstacles. Grâce à des millions de proxys rotatifs, vous restez indétectable et pouvez accéder à des contenus géo-restreints en utilisant une adresse IP spécifique.
N'est-ce pas génial ?
L'infrastructure de l'API est également construite sur Amazon Web Services, vous offrant un accès à des données massives mondiales, étendues, sécurisées et fiables. C'est pourquoi des entreprises comme Steelseries, Deloitte et Wunderman Thompson font confiance à cette API pour leurs besoins en données et leurs services de web scraping.
De plus, elle ne coûte que 49 $ par mois. Je suis impressionné par sa rapidité. Et grâce à l'utilisation d'un réseau mondial de proxys rotatifs, elle compte déjà plus de 10 000 utilisateurs. C'est pourquoi je recommande d'utiliser WebScrapingAPI pour récupérer des données.
Commencez votre aventure dans le web scraping avec la principale API REST de web scraping
