Métadonnées des Publications de la HAS

À propos de cette documentation

La documentation de ce jeu de données suit le concept de fiche technique pour les jeux de données (ou Datasheets for Datasets) proposé par Gebru et al. Spécifiquement, nous reprenons l'adaptation et traduction au français proposée par Samuel Goëta ici.

Le but de cette fiche technique est de normaliser la documentation à propos de pourquoi un jeu de données a été créé, quelles informations il contient, les tâches pour lesquelles il devrait et ne devrait pas être utilisé, et si cela pourrait soulever des préoccupations d’ordre éthique ou juridique.

Motivations pour la création du jeu de données

Pourquoi le jeu de données a-t-il été initialement créé ? Les données des publications de la HAS sont trouvables programmatiquement à travers de l'API du site web, documenté ici. Ce dataset propose les publications traitées, nettoyées et enrichies sous forme de fichiers JSON, CSV et XSLX.

Pour quelles autres tâches le jeu de données pourrait-il être utilisé ? Créer un graphe de connaissance en liant les publications par rapport aux thématiques, mots clés, dates, etc.

Quelles sont les utilisations trompeuses du jeu de données ? L'utilisation des dates de publication ou de mise à jour comme des dates ayant une valeur légale. Ces dates font partie d'un processus métier interne et ne peuvent pas être prises en compte pour des démarches légales.

Qui a financé ou soutenu la création du jeu de données ? La HAS.

Composition du jeu de données

Que contient le jeu de données principalement ? Les métadonnées des documents rédigés par les agents de la HAS.

Dispose-t-on d’un schéma décrivant les variables du jeu de données ? Oui, comme ressource dans ce même dataset et sur la documentation du projet.

Que contient chaque champ du jeu de données ? Voir les tableaux du Dictionnaire abrégé ci-dessous.

Est-ce que le contenu du jeu de données dépend de ressources externes ? Oui, pour les publications du type Avis sur les Médicaments, le champ reference fait référence au Code ATC (Anatomical Therapeutic Chemical) De quelles garanties dispose-t-on concernant la pérennité de ces ressources ? Le code ATC est un identifiant de référence indexé par l'OMS.

Processus de collecte des données

Comment les données ont été collectées (avec des capteurs, manuellement par des outils informatiques…) ? Les publications sont rédigées par des agents de la HAS et puis sont versées automatiquement à partir d'un système d'information interne. Certaines publications sont ajoutées manuellement. La collecte se fait par des outils informatiques, via l'API du site.

Qui a assuré le processus de collecte de données (des agents, des bénévoles, des étudiants…) ? Des agents de la HAS.

Quelle a été la période de collecte des données ? Le dataset contient les métadonnées des publications créées à partir de juin 1999.

Les données ont-elles été collectées directement ou inférées à partir d’autres données ? Collectées directement.

Les données ont-elles été collectées sur un échantillon ? Selon quelles méthodes ? Oui. Nous incluions que les types des publications liées à la production des experts de la HAS. Nous écartons les publications liées au système de gestion de documents du site web. Les publications inclues/exclues sont les suivantes :

Quelles sont les erreurs connues, les limites, les sources de bruit ou de redondances associées à ces données ?

1. Il existe des variables avec des limites, évoquées dans le tableau ci-dessous.
2. Il existe des publications qui ont été remplacées par une nouvelle version dans le site web.
3. Les dates inclues dans le dataset sont relatives à la gestion du site Web. Ces dates ne portent aucune valeur légale.

Pré-traitement des données

Comment les données ont-elles nettoyées ou préparées ?
Pour chaque publication :

1. Suppression des variables liées au système de gestion de documents pour faciliter l'utilisation.
2. Renommage des noms de champs pour expliciter les contenus.
3. Suppression des doublons dans les contenus dus aux erreurs de saisie.
4. Simplification du code HTML pour faciliter sa lecture en gardant l'opérabilité.
5. Ajout une version en Markdown pour les champs contenant du HTML.
6. L'ajout des URLs des ressources référencées.
7. L'ajout de la date où l'API a été consultée.
8. L'ajout d'une valeur haché correspondant aux variables présentes dans la publication. Spécifiquement, une somme MD5 calculée avec tous les champs de la publication, sauf la date de consultation.

Les données « brutes » ont-elles été conservées ? Sont-elles diffusées ? Oui, ils sont trouvables via l'API du site web de la HAS.

L’outil de prétraitement des données est-il disponible ? Oui, dans le repo correspondant à ce dataset. La documentation de cet outil se trouve ici.

Diffusion du jeu de données

Les données sont-elles diffusées en ligne ? Selon quelles modalités (sur un portail open data, un site web, une API…)? Oui, sur cette page data.gouv.fr. Aussi, ils sont accessibles sans prétraitement via l'API.

Selon quelle licence les données sont-elles diffusées ? License Ouverte version 2.0

Des redevances ou des restrictions sont-elles appliquées dans l’accès aux données ? Non.

Maintenance du jeu de données

Qui assure la maintenance du jeu de données ? Comment peut-on contacter cette personne ? Quel est le service responsable du jeu de données ? La Mission Data de la HAS.

Est-ce que les rôles sont distincts entre la production des données, leur éditorialisation et leur diffusion ? Oui. Produit par les services HAS. Éditorialisé aussi par les services HAS et le service communication. Diffusé par le service informatique et la Mission Data de la HAS.

Le jeu de données sera-t-il mis à jour ? Si oui, à quelle fréquence ? Oui, de manière hebdomadaire (tous les lundis).

Si les données deviennent obsolètes, comment cette information sera-t-elle communiquée ? À travers de cette page.

Est-il possible de contribuer à l’amélioration des données ? Selon quelles modalités ? Oui, en nous contactant à travers des commentaires de cette page ou directement par e-mail.

Considérations légales et éthiques

Si le jeu de données concerne des individus, ont-ils exprimé leur consentement de manière claire ? Il ne concerne pas des individus.

Le jeu de données peut-il exposer de manière directe ou indirecte des individus ? Non à notre connaissance.

Ces données sont-elles conformes au RGPD ? Oui.

Les données peut-elles avantager ou désavantager des groupes sociaux ? Non à notre connaissance.

Le jeu de données contient-il des informations pouvant être considérées comme inappropriées ou offensantes ? Non à notre connaissance

Organisation de fichiers

Deux fichiers ZIP sont mis à disposition avec les données sous trois formats différents. Nous conseillons fortement d'utiliser le format JSON.

Single

Le premier, has-publications-single.zip, contient un seul fichier avec toutes les publications à l'intérieur. Nous fournissons trois types de format : CSV, JSON et XLSX (Excel). L'arborescence de ce fichier ZIP est la suivante :

├── csv
│   └── AllPublications.csv
├── json
│   └── AllPublications.json
└── xlsx
    └── AllPublications.xlsx

Split

Le deuxième fichier, has-publications-split.zip, contient un fichier par type de publication (voir table ci-dessus) et par type de format (CSV, JSON, XLSX) :

├── csv
│   ├── AVISMedicament.csv
│   ├── AVISProduitsEtPrestations.csv
│   ├── ...
│   └── RecommandationsProfessionnelles.csv
├── json
│   ├── AVISMedicament.json
│   ├── AVISProduitsEtPrestations.json
│   ├── ...
│   └── RecommandationsProfessionnelles.json
└── xlsx
    ├── AVISMedicament.xlsx
    ├── AVISProduitsEtPrestations.xlsx
    ├── ...
    └── RecommandationsProfessionnelles.xlsx

Dictionnaire des données abrégé

Attention

Certains champs dans les données proposées ont des particularités à prendre en compte lors de son utilisation. En général, il peut aussi exister des erreurs de saisi dans certains champs. Pour ces champs, nous ajoutons des commentaires dans les tableaux ci-dessous.

AVISMedicament.json

Veuillez trouver des informations complémentaires pour les Avis sur les Médicaments ici dans un autre dataset ouvert de la HAS.

RecommandationsProfessionnelles.json

AVISProduitsEtPrestations.json

GuideMedecinALD.json

EtudeEtEnquete.json

GuideMethodologique.json

GuidePatient.json

EvaluationDesTechnologiesDeSante.json

RecommandationVaccinale.json

EvaluationDesPratiques.json

EvaluationDesProgrammesEtPolitiq.json