Textes des Publications de la HAS

À propos de cette documentation

La documentation de ce jeu de données suit le concept de fiche technique pour les jeux de données (ou Datasheets for Datasets) proposé par Gebru et al. Spécifiquement, nous reprenons l'adaptation et traduction au français proposée par Samuel Goëta ici.

Le but de cette fiche technique est de normaliser la documentation à propos de pourquoi un jeu de données a été créé, quelles informations il contient, les tâches pour lesquelles il devrait et ne devrait pas être utilisé, et si cela pourrait soulever des préoccupations d’ordre éthique ou juridique.

Motivations pour la création du jeu de données

Pourquoi le jeu de données a-t-il été initialement créé ? Les métadonnées des publications de la HAS sont disponibles ici. Chacune de ces publications contient des ressources liées. Dans le but de faciliter la réutilisation des connaissances produites par la HAS, ce dataset propose le fichier PDF ainsi qu'une version semi-structure du texte contenu à l'intérieur pour chaque ressource, pour chaque publication HAS.

Pour quelles autres tâches le jeu de données pourrait-il être utilisé ? Faciliter la découverte des informations médicales, suivre l'évolution des connaissances en santé…

Quelles sont les utilisations trompeuses du jeu de données ? Nous incluons tout l'historique des publications de la HAS disponible sur le site web. Les informations incluses dans les documents peuvent ne pas être à jour.

Qui a financé ou soutenu la création du jeu de données ? La HAS.

Composition du jeu de données

Que contient le jeu de données principalement ? Les textes bruts (non structurés (PDF) et semi-structurés (XML)) des documents rédigés par les agents de la HAS.
Deux types de fichiers semi-structurés sont mis à disposition :

1. Text : fichier XML contenant le texte brut par page,
2. Annotated: fichier XML contenant le mis en forme (en utilisant de balises type HTML) ainsi que le texte. Ce type de fichier existe que pour les fichiers PDF qui suivent le standard PDF/A ou PDF/UA.  

Dispose-t-on d’un schéma décrivant les variables du jeu de données ? Pas pour l'instant.

Est-ce que le contenu du jeu de données dépend de ressources externes ? Oui, ce dataset est exploitable en utilisant le dataset avec les métadonnées des publications de la HAS. En outre, les documents peuvent contenir des informations relatives à des ressources externes.  

De quelles garanties dispose-t-on concernant la pérennité de ces ressources ? Le dataset des métadonnées des publications de la HAS est assuré par les agents de la HAS. Pour le reste, cela dépend de chaque ressource externe.

Processus de collecte des données

Comment les données ont été collectées (avec des capteurs, manuellement par des outils informatiques…) ? Les publications sont rédigées par des agents de la HAS et puis sont versées automatiquement à partir d'un système d'information interne. Certaines publications sont ajoutées manuellement. La collecte se fait par des outils informatiques.

Qui a assuré le processus de collecte de données (des agents, des bénévoles, des étudiants…) ? Des agents de la HAS.

Quelle a été la période de collecte des données ? Le dataset contient les textes des publications créées à partir de juin 1999.

Les données ont-elles été collectées directement ou inférées à partir d’autres données ? Collectées directement.

Les données ont-elles été collectées sur un échantillon ? Selon quelles méthodes ? Oui. Nous incluions que les types des publications liées à la production des experts de la HAS. Nous écartons les publications liées au système de gestion de documents du site web. Les publications incluses/exclues sont les suivantes :

Quelles sont les erreurs connues, les limites, les sources de bruit ou de redondances associées à ces données ?

1. La transformation PDF vers texte peut introduire des errerurs ortographiques voir rendre illisible le contenu.
2. Pour la majorité des fichiers semi-structurés (XML), nous perdons le concept de table ainsi que les images.
3. La creation de fichiers XML annotated depend de l'annotation fait par le createur original du fichier PDF. Par defaut, ce balisage se fait automatiquement (par exemple, par Office 365 lors de la conversion docx vers pdf). Cette démarche peut contenir des erreurs.

Pré-traitement des données

Comment les données ont-elles nettoyées ou préparées ?
Aucun prétraitement est fait aux fichiers PDF.

Les données « brutes » ont-elles été conservées ? Sont-elles diffusées ? Oui, les fichiers PDF sont diffusés dans ce dataset.

L’outil de prétraitement des données est-il disponible ? Oui, dans le repo correspondant à ce dataset.

Diffusion du jeu de données

Les données sont-elles diffusées en ligne ? Selon quelles modalités (sur un portail open data, un site web, une API…)? Oui, sur cette page data.gouv.fr.

Selon quelle licence les données sont-elles diffusées ? License Ouverte version 2.0

Des redevances ou des restrictions sont-elles appliquées dans l’accès aux données ? Non.

Maintenance du jeu de données

Qui assure la maintenance du jeu de données ? Comment peut-on contacter cette personne ? Quel est le service responsable du jeu de données ? La Mission Data de la HAS.

Est-ce que les rôles sont distincts entre la production des données, leur éditorialisation et leur diffusion ? Oui. Produit par les services HAS. Éditorialisé aussi par les services HAS et le service communication. Diffusé par le service informatique et la Mission Data de la HAS.

Le jeu de données sera-t-il mis à jour ? Si oui, à quelle fréquence ? Non.

Si les données deviennent obsolètes, comment cette information sera-t-elle communiquée ? À travers de cette page.

Est-il possible de contribuer à l’amélioration des données ? Selon quelles modalités ? Oui, en nous contactant à travers des commentaires de cette page ou directement par e-mail.

Considérations légales et éthiques

Si le jeu de données concerne des individus, ont-ils exprimé leur consentement de manière claire ? Il ne concerne pas des individus.

Le jeu de données peut-il exposer de manière directe ou indirecte des individus ? Non à notre connaissance.

Ces données sont-elles conformes au RGPD ? Oui.

Les données peut-elles avantager ou désavantager des groupes sociaux ? Non à notre connaissance.

Le jeu de données contient-il des informations pouvant être considérées comme inappropriées ou offensantes ? Non à notre connaissance

Organisation de fichiers

Douze fichiers ZIP sont mis à disposition :

• Les premiers 12 fichiers contiennent, pour chaque publication et pour chacune de ses resources liées, le fichier PDF ainsi que le fichier XML text et annotated. Ce dernier existe seulement si le fichier PDF traité suit le standard PDF/UA (tagged PDF). Par souci de taille, le fichier zip des Avis sur les Médicaments est séparé en deux parties.

• Le dernier fichier TextesPublicationsHAS_XML.zip contient que les fichiers semi-structurés XML pour toutes les thematiques.

Arborescence des fichiers

Tous les fichiers de ce dataset suivent la hiérarchie de fichiers décrite ci-dessous :

├── AVISMedicament  # Thématique de la publication
│   ├── p_3201790   # Id de la publication
|   |   ├── p_3201789   # Id de la ressource
|   |   |   ├── 2020-09-16_CT-18742_TAKHZYRO_PIS_INS_AvisDef_CT18742.pdf
|   |   |   ├── 2020-09-16_CT-18742_TAKHZYRO_PIS_INS_AvisDef_CT18742_tagged.xml  # Fichier XML tagged avec la date de publication comme préfixe
|   |   |   ├── 2020-09-16_CT-18742_TAKHZYRO_PIS_INS_AvisDef_CT18742_text.xml    # Fichier XML text avec la date de publication comme préfixe
│   ├── c_1001256
│   ├── c_1001258
│   ├── c_1001261
|   ├── ...
├── AVISMedicament
|   ├── ...
├── AVISProduitsEtPrestations
|   ├── ...
├── EtudeEtEnquete
|   ├── ...
├── EvaluationDesPratiques
|   ├── ...
├── EvaluationDesProgrammesEtPolitiq
|   ├── ...
├── EvaluationDesTechnologiesDeSante
|   ├── ...
├── GuideMedecinALD
|   ├── ...
├── GuideMethodologique
|   ├── ...
├── GuidePatient
|   ├── ...
├── RecommandationsProfessionnelles
|   ├── ...
├── RecommandationVaccinale
|   ├── ...