data.gouv.fr évolue continuellement au regard des retours et des besoins de ses usagers.

Au cours de la démo publique qui a eu lieu le 20 novembre dernier (et dont l’enregistrement est disponible ici), nous avons présenté les dernières évolutions de la plateforme, parmi lesquelles le téléchargement des données volumineuses au format Parquet.

La plateforme data.gouv.fr met désormais à disposition une alternative performante pour les fichiers tabulaires (csv, xls, xlsx) volumineux : le format Parquet.

Qu’est-ce que le format Parquet ?

Le Parquet est un format de fichier optimisé pour le stockage et la manipulation de données massives. Il est particulièrement adapté aux traitements analytiques, grâce à une structure qui réduit l’espace disque tout en facilitant les requêtes sur de grands ensembles de données.

Où trouver les fichiers Parquet ?

Lorsque les données d’une ressource tabulaire sont volumineuses, un fichier au format Parquet est disponible dans l’onglet “Téléchargement” de la ressource.

Il est possible de lire le parquet sans passer par un téléchargement de fichier en le requêtant à distance via son URL, par exemple en utilisant DuckDB.

Quels sont les avantages ?

Le format Parquet allie :

1. Efficacité, en réduisant la taille des fichiers tout en accélérant leur traitement ;
2. Compatibilité, en s’intégrant parfaitement avec des outils analytiques et en étant idéal pour les projets manipulant de grands volumes de données (des millions de lignes ou de nombreuses colonnes).

Il est également possible de requêter des sous-parties des fichiers Parquet via des filtres, sans avoir à en ouvrir l’intégralité.

Commencer à manipuler des fichiers parquet

Pour vous initier, un guide d’utilisation des données au format Parquet appliqué aux données du recensement de la population de l’INSEE est disponible sur le réseau des data scientists de la statistique publique.

Pour continuer à suivre toutes les nouveautés de la plateforme, n’hésitez pas à consulter notre page feuille de route et de vous abonner à notre infolettre !