01 · DécouverteDocumenté
Résultat des nouvelles
Un résultat lié à la requête affiché dans la verticale des nouvelles de Google.
- Headline and destination
- Source and snippet
- Query and request context
Nouvelles et articles
Actualités & articles Data Scraping
Collectez des résultats d’actualité et des articles publics pour la veille médiatique et la recherche. Conservez les titres, éditeurs, dates, liens sources et révisions ensemble.
Modèle de récit
Reliez les résultats d’actualité, les articles et leurs révisions.
Modélisez la découverte, la publication, le contenu, les personnes, les révisions et les sujets séparément afin qu'un extrait de résultat ne se masque jamais comme un article complet.
02 · SourceDocumenté
Publiation
L'identité de l'éditeur public et la page source associée à une observation.
- Source name and URL
- Section or channel
- Language and locale
03 · ContentLe pilote d'abord
Article suivant
Titre, sous-titre, corps, métadonnées et références médiatiques liés à la source où la page admissible les expose.
- Canonical URL
- Visible article fields
- Author or byline
04 · ChangeLe pilote d'abord
Édition ou révision
Une observation successive des champs d'articles sélectionnés, jamais une intention éditoriale déduite.
- Content hash
- First and last seen
- Changed field set
05 · MeaningLe pilote d'abord
Sujet ou entité
Une couche d'enrichissement produite selon des modèles ou des règles convenus et maintenue séparée des faits de source.
- Named entity cue
- Topic label
- Rule or model version
Object boundaryNot assumed
Un résultat de découverte n'est pas un article complet.
La découverte n’équivaut pas à l’extraction complète d’un article. Un extrait, une page d’article, une signature d’auteur, un éditeur, une révision et un sujet comportent chacun une limite de preuve différente.
Contrat de couverture
Vérifiez les sources et la couverture des champs.
Examinez la source, le type de page, le marché et les champs nécessaires avant de choisir une API ou une collecte personnalisée.
Engine or familyLes donnéesContextesÉtat
Schéma d'enregistrement
Consultez les champs d’un exemple de données.
Gardez ce que la source a exposé séparément de ce que la collection a observé et de ce qu'un enrichissement en aval a déduit.
Contextes des résultats
- query
- La requête de découverte présentée.
- rank
- Position dans cette page de résultats et contexte de la demande.
- result_url
- La destination exposée par le résultat.
champs visibles par source
- headline
- Titre exposé sur la page admissible.
- byline
- Une série d'auteurs publics, pas automatiquement une personne résolue.
- body_state
- Présent, absent, exclu, raté, modifié ou révisé.
Publication et observation
- published_at
- Temps attribué par la source, lorsqu'il est exposé.
- observed_at
- Le temps de la collecte a produit cette observation.
- first_seen_at
- Première apparition dans la fenêtre de surveillance contractée.
Traçabilité et état
- source_url
- Page publique associée au dossier.
- content_hash
- Des empreintes digitales facultatives pour des observations successives.
- schema_version
- Version de la forme de sortie convenue.
{
"record_id": "story_0042",
"object_type": "article_observation",
"discovery": {
"query": "energy outlook",
"surface": "google_news",
"rank": 3
},
"article": {
"headline": "Grid investment accelerates",
"publication": "Example Daily",
"body_state": "observed"
},
"published_at": "YYYY-MM-DDT06:10:00Z",
"observed_at": "YYYY-MM-DDT08:42:00Z",
"source_url": "https://news.example/story/42",
"schema_version": "news.v1"
}Two clocks, two meanings.
published_at is source-attributed publication time; observed_at is collection time. Neither should overwrite the other.
Identification et lignée
Les enregistrements liés au groupe sans effacer chaque source.
Préserver l'éditeur, l'URL, le contexte de la découverte et l'observation des articles avant d'ajouter des URL canoniques, des clusters, des entités ou des étiquettes de thèmes.
- 01
clé de découverte
requête + URL de résultat
Context de la demande conservé. - 02
Indices de source
URL canonique + éditeur
Utilisé lorsqu'il est exposé et vérifié. - 03
État du contenu
titre + hash + temps
Comparé selon une version de règle nommée. - 04
La relation
le même article, révision ou groupe de candidats
L'ambiguïté demeure explicite.
Sémantique de la fraîcheur
Une histoire récemment publiée et une page récemment observée sont des faits différents.
Définir la cadence de collecte par flux de travail, puis conserver le temps attribué par la source aux côtés des temps de demande, d'observation, de livraison et de changement.
- Temps sourcepublished_at
Le temps de publication affiché, exactement tel qu'interprété dans le contrat.
- Rassembléesobserved_at
L'article ou le résultat a été observé dans le contexte demandé.
- Il est livré .delivered_at
Le dossier est devenu accessible au client.
- Modifiéfirst_seen / last_seen
L'observation est entrée ou sortie de l'historique surveillé.
Qualité et absence
Ne transformez pas un article qui n'est pas disponible en une histoire vide.
Portez l'état qui explique pourquoi un champ manque afin que la découverte, l'analyse, la disponibilité de la source et les exclusions de politique restent distinctives.
La structure requise présente
Le dossier a passé les vérifications de champs de découverte ou d'article convenues.
Champ non exposé
La page source n'a pas montré la ligne de référence, l'heure ou le champ de corps demandés.
Le modèle ou la lignée est ambigu
La page ou la relation doit être examinée conformément aux règles contractées.
Aucune observation soutenue
L'article exclu, restreint, manqué ou non disponible est différent d'un article vide.
Contrôles structurelles
Les clés requises, les types, le nombre de résultats, la raison de l'état du corps, la forme du timestamp et la version du schéma.
Contrôles de terrain
Format d'URL, attribution de source, état de partage de la publication, langage et hash de contenu optionnel.
Limite d'acceptation
Votre équipe approuve les enregistrements représentatifs, l'ensemble des sources, l'utilisation autorisée et les seuils de décision; nous effectuons les contrôles techniques convenus.
Options de livraison
Choisissez comment recevoir vos données.
Utilisez une API dans votre application, recevez des données récurrentes ou confiez-nous la collecte.
Proxys
Conservez vos collecteurs et utilisez notre réseau de proxies.
Utilisez des proxies résidentiels, datacenter ou ISP avec les collecteurs que votre équipe exploite déjà.
FonctionnalitéDétails
Vous recevezAccès proxy pour vos propres requêtes
Nous prenons en chargeRéseau proxy et accès
Votre rôleCollecte, extraction, stockage et analyse
Idéal pour · Équipes disposant déjà de collecteurs.
Comparer les services proxyApplications
Mettez ces données à profit.
Utilisez les champs et exemples ci-dessous pour préparer votre analyse, votre produit ou votre suivi.
Surveillance des médias
Suivez les requêtes nommées, les sources et les champs d'histoire publiques au fil du temps.
Results · articles · revisionsRésultats de recherche sur le marché et les sujets
Construire des corps révisibles pour l'analyse des tendances, des récits et des sources.
Articles · topics · provenanceRécupération et mise à terre d'IA
Préparez des entrées liées à la source et en temps réel pour les flux de travail de récupération approuvés.
Text state · source URL · timestampsSignes de réputation et de risque
Surface une nouvelle couverture publique pour l'examen humain sans la présenter comme une conclusion.
Discovery · entities · review stateIntelligence de l'éditeur
Comparer les modes de publication, les sections et le comportement de révision.
Publication · article · first seenArchives de recherche
Conserver les métadonnées convenues et le contenu permis avec une histoire de collecte traçable.
Schema version · provenance · change historyPilot représentatif
Testez un échantillon dans votre propre processus.
Utilisez des contextes de requêtes réels et des pages d'articles publics représentatives, y compris des histoires ordinaires, des révisions, des champs absents, des modèles modifiés et des états restreints.
- 01
Définir
Queries, sources, champs d'articles, contextes, cadence et utilisation autorisée.
- 02
Pratique de l'échantillon
Les résultats et les pages qui représentent les modèles de source, les champs manquants et les changements.
- 03
Inspection
Des preuves, des temps, des états du corps, des candidats à la lignée et des exceptions.
- 04
Acceptez
Approuver le schéma, l'ensemble de sources, le modèle d'exploitation et les seuils techniques.
Questions courantes
Questions avant de commencer
Quelles informations sont rapportées aujourd'hui?
Utilisez les résultats d’actualité de Google Search API pour découvrir des articles. Utilisez Scraper API ou Browser API pour les articles publics, ou demandez un flux récurrent.
Un article complet est- il le même que le résultat d'une nouvelle?
Un résultat peut exposer un titre, URL de destination, source, extrait et indication de publication affichée sans exposer le corps complet de l'article. Les champs d'article nécessitent une page publique admissible séparée et un contrat d'extraction spécifique à la source.
Quels champs d'articles peuvent être livrés?
Un enregistrement d'article à portée de main peut inclure l'URL source, l'URL canonique lorsqu'elle est exposée, le titre, le premier stand, la ligne de référence, le temps de publication affiché, la section, le corps visible, les références médiatiques, les balises, la langue et la provenance. La présence du champ varie selon l'éditeur et le modèle, de sorte que les schémas normalisés agnostiques de source sont pilotés en premier.
Comment le temps de publication et le temps de collecte sont- ils représentés?
published_at enregistre l’heure attribuée à l’article par la source lorsqu’elle est affichée. observed_at enregistre le moment où la collecte a produit l’observation. Ces valeurs restent séparées, car un article peut être découvert, révisé ou collecté longtemps après sa publication.
Peut-on regrouper une couverture dupliquée du même événement?
Le rapprochement peut être inclus dans un flux ou un programme géré. L’échantillon confirme les identifiants, règles de comparaison et la représentation des correspondances incertaines ou contradictoires.
Les mises à jour et les révisions des articles peuvent- elles être surveillées?
L’historique commence au début du suivi. La couverture antérieure dépend des données sources ou instantanés d’archives disponibles. Vérifiez les dates et les lacunes dans un échantillon.
Comment traiter les corps disparus et les défaillances de collecte?
L’échantillon distingue les champs manquants, pages indisponibles, requêtes échouées et valeurs à vérifier. Convenez du traitement de chaque état avant la livraison récurrente.
Les articles payants ou uniquement pour les connexions sont-ils inclus?
Les corps d’articles payants, réservés aux comptes connectés, réservés aux membres ou autrement restreints ne relèvent pas du périmètre standard. Un résultat de découverte public ou une page de métadonnées publique n’autorise pas la collecte du contenu restreint qui se trouve derrière.
Le texte de l'article peut-il être redistribué sans restriction?
Aucun droit de redistribution couvert par le droit d'auteur n'est implicite. Les clients restent responsables des termes de source, du droit d'auteur, de la licence, du maintien, des contrôles d'accès et de l'utilisation autorisée en aval. Une livraison peut être limitée aux métadonnées, aux liens, aux extraits ou à d'autres champs convenus lorsque cela est approprié.
Qui maintient les changements de source ?
Votre équipe maintient les collecteurs avec les proxies et les parseurs personnalisés avec les API d’accès aux pages. Nous maintenons l’extraction Data API prise en charge et la collecte incluse dans les flux ou Managed Data.
Nouvelles et articles
Commencez par accéder à la découverte ou par étendre un flux d'histoires entretenu.
Apportez les requêtes, les sources, les champs, les contextes et les cas d'utilisation.