Base de connaissances sur les produits phytopharmaceutiques à partir de sources ouvertes (C3PO) C3PO

Contexte

De nombreuses substances entrant dans la composition des produits phytopharmaceutiques (PPP) ont un impact démontré sur la santé et l’environnement. Les études s’intéressant à ces impacts peuvent mobiliser plusieurs sources de données de référence gérées par différentes structures et ne reposant pas systématiquement sur des référentiels communs. Différents acteurs travaillant sur le croisement et le rapprochement des données relatives aux PPP ont pu relever la difficulté d'exploiter et de rapprocher ces différentes sources.

Afin de répondre à ce besoin et de faciliter la diffusion des informations publiques relatives aux produits phytopharmaceutiques et aux substances constituant ces derniers, la Base de Connaissances sur les Produits PhytoPharmaceutiques à partir de sources Ouvertes (C3PO) a été initiée par l'Office Français de la Biodiversité, porteur de ce projet dans le cadre du challenge Green Data For Health. Ce travail a été en grande partie réalisé grâce à l'aide des bénévoles qui ont participé au projet C3PO dans le cadre de ce challenge.

Les informations contenues dans C3PO proviennent de diverses sources de données ouvertes de référence. La source de données « pivot » de C3PO est la Banque nationale de ventes par les distributeurs agréés (BNV-D). Cette dernière répertorie depuis 2008 les données d'achats et de ventes des produits phytopharmaceutiques sur le territoire français.

La base de données C3PO s'adresse à tous les acteurs travaillant sur des thématiques liées aux pressions exercées par les substances et produits phytopharmaceutiques (notamment institutions publiques et gouvernementales, organismes de recherche, bureaux d'étude ou encore associations).

Version

La version de la base C3PO actuellement diffusée est la V1.2, les versions antérieures restent disponibles en téléchargement dans la section "AUTRES" ci-dessous.

Sources de données mobilisées

La base C3PO diffuse des informations relatives aux substances et produits répertoriés dans la dernière version disponible des données ouvertes de la BNV-D. Des informations issues des dernières versions en vigueur des sources de données suivantes sont ensuite ajoutées à cette liste des substances et produits de la BNV-D :

• Référentiels Sandre - OIEau : le référentiel "Paramètres" est utilisé pour récupérer le code paramètre associé à la substance. Le référentiel "Groupes de paramètres" est ensuite mobilisé pour récupérer les informations relatives à la famille chimique et aux fonctions (herbicides, insecticides, fongicides, etc.) associées au code paramètre.
• Agritox - Anses : données essentielles (identité, propriétés physico-chimiques, toxicité aiguë, valeurs toxicologiques de référence, écotoxicité, classement) des substances actives approuvées au titre du Règlement (CE) N°1107/2009.
• Tableau d'entrées harmonisées disponible à l'annexe VI du CLP - Adaptation to Technical Progress (ATP) - ECHA : contenant toutes les mises à jour de la classification et de l’étiquetage harmonisés (CLH) des substances dangereuses au titre du règlement CLP (CE) N°1272/2008.
• EU Pesticides Database (EU PDB) - Commission Européenne : contenant des informations sur les substances actives (y compris les substances à faible risque ou candidats à substitution) et les substances de base, approuvées ou non dans l’Union Européenne.
• E-phy - Anses : accès à l'ensemble des données des produits (produits phytopharmaceutiques, matières fertilisantes et supports de culture, adjuvants, produits mixtes et mélanges) couverts par une autorisation de mise sur le marché (AMM) ou un permis de commerce parallèle (PCP). On y trouve notamment comme informations : numéro d’AMM ou de permis, nom commercial, type de produit, substances et données afférentes (phrases de risque, teneur en substance active…), ainsi que les usages du produit.
• Registre Parcellaire Graphique - Table référentielle des cultures et des groupes de cultures - IGN : table propre à la diffusion du RPG, la notion de groupe de culture dans cette table ne correspond pas à la notion de groupe de cultures du règlement PAC ni à celle des référentiels ISIS. Dans cette table, chaque code culture est expliqué par un libellé et lié à un code de groupe de culture et son libellé.

Les informations issues de ces sources de données sont intégrées dans la base de données C3PO soit de manière "brute" (sans retraitement de leur contenu avant intégration en base) soit après traitements (informations brutes extraites des sources de données puis traitées en vue de l'intégration en base).

Contenu

Le modèle de données de la base C3PO est élaboré suivant une logique par source de données, il se décline en sept schémas :

• bnvd, comportant des informations relatives aux substances (années de vente, fonctions, classification RPD) et aux produits (type d’autorisation, - AMM ou PCP -, dont dispose le produit pour sa commercialisation en France, années de ventes, composition en substances, emploi autorisé dans les jardins) répertoriés dans les données ouvertes de la BNV-D ;
• agritox, comportant une table de jointure entre substances de Agritox et de la BNV-D, ainsi que des informations relatives à ces substances (propriétés physico-chimiques, toxicité, écotoxicité, catégories et mentions de danger) ;
• atp, comportant une table de jointure entre substances du tableau d’entrées harmonisées disponible à l’annexe VI du règlement CLP (ATP) et de la BNV-D , ainsi que des informations relatives à ces substances (identifiants, catégories et mentions de danger) ;
• eupdb, comportant une table de jointure entre substances de la base de données de l’Union Européenne sur les pesticides (EU Pesticides Database) et de la BNV-D, ainsi que des informations relatives à ces substances (statut d’autorisation dans les Etats-Membres de l’UE, dates de début et de fin d’approbation, autres indications relevant de la réglementation européenne : substances de base, candidates à substitution ou à faible risque) ;
• sandre, comportant une table de jointure entre substances du référentiel « Paramètres » du Sandre et de la BNV-D, ainsi que des informations relatives à ces substances (groupes de paramètres, famille et fonction auxquels elles sont affiliées) ;
• ephy, comportant :
  ○ une table de jointure entre substances de E-phy et de la BNV-D, ainsi que des informations relatives à ces substances (variants, état d’autorisation en France) ;
  ○ deux tables de jointure entre produits de E-phy (une pour les AMM et une pour les PCP) et de la BNV-D, ainsi que des informations relatives à ces produits (dénominations et type commerciaux, titulaire de l’AMM, détenteur du PCP, état d’autorisation, composition en substances, usages dont culture autorisées suivant la nomenclature E-phy ainsi que suivant la nomenclature du RPG, mentions de danger et phrases de risque) ;
• c3po : schéma comportant deux tables de métadonnées de la base C3PO

Les tables constituant chacun de ces schémas sont diffusées sur cette page sous forme de fichiers .csv, leur contenu est détaillé dans le fichier _datapaper_C3PO_V2.0.pdf_.

Structure des données

Versions 1 et suivantes

Les données sont diffusées dans un fichier .zip (nomenclature : c3po{numéro de version}{date au format aaaammjj.zip), comportant plusieurs fichiers .csv (un fichier par table intégrée de chaque schéma de la base de données) qui suivent la nomenclature {nom du schéma}_{nom de la table}.csv. Les fichiers .csv sont les suivants :

• bnvd_substance.csv : Liste et informations uniques (fonctions, première et dernière années de vente, dernière classification RPD connue) des substances répertoriées dans la BNV-D.
• bnvd_ref_classification.csv : Informations annuelles des classifications et mentions RPD de chaque substance de la BNV-D.
• bnvd_substance_classification.csv : Table de jointure entre bnvd_substance et bnvd_ref_classification.
• bnvd_amm.csv : Liste et informations uniques (première et dernière années de vente, conditionnement) des produits ayant disposé ou disposant d’une AMM et répertoriés dans la BNV-D.
• bnvd_amm_evol_composition.csv : Informations annuelles associées à chaque produit ayant disposé ou disposant d’une AMM et répertorié au moins une fois dans l’historique de ventes de la BNV-D (composition en substances.
• bnvd_pcp.csv : Liste et informations uniques (première et dernière années de vente, conditionnement) des produits ayant disposé ou disposant d’un PCP et répertoriés dans la BNV-D.
• bnvd_pcp_evol_composition.csv : Informations annuelles associées à chaque produit ayant disposé ou disposant d’un PCP et répertorié au moins une fois dans l’historique de ventes de la BNV-D (composition en substances.
• sandre_substance_bnvd.csv : Table de jointure entre substances de la BNV-D et substances du référentiel « Paramètres » du Sandre.
• sandre_parametres.csv : Liste et informations uniques (code sandre, libellé et numéro CAS) des substances du référentiel « Paramètres » du Sandre disposant d’un numéro CAS.
• sandre_gpes_parametres.csv : Liste et informations uniques (code sandre, libellé, famille chimique et fonction) des substances du référentiel « Groupes de Paramètres » pour les paramètres Sandre disposant d’un numéro CAS et affiliées au groupe de paramètres de code Sandre « 95 » (Phytosanitaires).
• sandreparametres gpes_parametres.csv : Table de jointure entre les tables sandre_parametres et sandre_gpes_parametres.
• eupdb_substance_bnvd.csv : Table de jointure entre substances de la BNV-D et substances de la EU PDB.
• eupdb_substance.csv : Liste et informations uniques (statut d’autorisation dans les Etats-Membres de l’UE, dates de début et de fin d’approbation, autres indications relevant de la réglementation européenne : substances de base, candidates à substitution ou à faible risque) des substances de la EU PDB.
• agritox_substance_bnvd.csv : Table de jointure entre substances de la BNV-D et substances de Agritox.
• agritox_substance.csv : Liste et informations uniques (dénomination, identifiants et formule chimique, masse molaire, pureté) des substances de Agritox.
• agritox_substance_classement.csv : Classement (classification, catégories et mentions de danger) des substances de Agritox.
• agritox_substance_proprietes_pc.csv : Propriétés physico-chimiques des substances de Agritox.
• agritox_substance_toxicite.csv : Données de toxicité des substances de Agritox.
• agritox_substance_ecotoxicite.csv : Données d’écotoxicité des substances de Agritox.
• agritox_substance_vtr.csv : Valeurs toxicologiques de référence des substances de Agritox.
• atp_substance_bnvd.csv : Table de jointure entre substances de la BNV-D et substances de l’ATP.
• atp_substance.csv : Liste et informations uniques (dénomination) des substances de l’ATP.
• atp_substance_classement.csv : Classement (classification, catégories et mentions de danger) des substances de l’ATP.
• ephy_substance_bnvd.csv : Table de jointure entre substances de la BNV-D et substances de E-phy.
• ephy_substance.csv : Liste et informations uniques (identifiants, liste de variants, état d’autorisation) des substances de E-phy. Remarque : la liste des noms de variants est stockée dans un même et unique champ, en cas d’existence de plusieurs noms de variants pour une même substance, ils sont séparés par « | ».
• ephy_substance_variants.csv : Détail des variants i.e. des autres noms possibles pour la substance d’après E-phy, un variant par ligne. _Remarque : les informations contenues dans cette table ont été obtenues après extraction des modalités de variants séparées par « | » dans le champ ‘variant’ de la table ephysubstance.
• ephy_amm_bnvd.csv : Table de jointure entre produits de la BNV-D et de E-phy disposant d’une AMM.
• ephy_pcp_bnvd.csv : Table de jointure entre produits de la BNV-D et de E-phy disposant d’un PCP.
• ephy_amm.csv : Liste et informations uniques (identifiants, titulaire de l’AMM, type de produit, type commercial, état d’autorisation) des produits de E-phy disposant d’une AMM.
• ephy_pcp.csv : Liste et informations uniques (identifiants, détenteur du PCP, type de produit, type commercial, état d’autorisation) des produits de E-phy disposant d’un PCP.
• ephy_pcp_origine.csv : Informations relatives à l’origine des PCP.
• ephy_amm_second_nom.csv : Seconds noms éventuels des produits de E-phy disposant d’une AMM.
• ephy_amm_composition.csv : Informations relatives à la composition en substances des produits de E-phy disposant d’une AMM.
• ephy_amm_usage.csv : Informations relatives aux usages des produits de E-phy disposant d’une AMM.
• ephy_ref_culture_rpg.csv : Nomenclature des cultures et groupes de cultures du RPG (version 2.1).
• ephy_usage_culture.csv : Table de jointure entre les usages des produits d’après E-phy (ephy_amm_usage.csv) et les cultures suivant la nomenclature du RPG (ephy_ref_culture_rpg.csv).
• ephy_amm_mention_danger.csv : Informations relatives aux mentions de danger associées aux produits de E-phy disposant d’une AMM.
• ephy_amm_phrase_risque.csv : Informations relatives aux phrases de risque associées aux produits de E-phy disposant d’une AMM.
• c3po_source.csv : Table comportant les métadonnées relatives à chaque source de données intégrées à la version correspondante de la base C3PO.
• c3po_version.csv : Table comportant les métadonnées relatives à la version correspondante de C3PO.

Les données sont encodées en UTF-8, séparées par un point-virgule, le point est utilisé comme séparateur décimal, les données de type Texte sont encadrées par des double quotes.

Version prototype

Cette version est archivée dans la partie "AUTRES" de l'onglet "Fichiers".

Les tables sont empaquetées dans des fichiers .zip.

• substance_20230802.zip contient les 12 fichiers .csv du schéma "substance", produits à partir des données sources extraites le 02/08/2023
• amm_20230802.zip contient les 8 fichiers .csv du schéma "amm", produits à partir des données sources extraites le 02/08/2023

Les données sont encodées en UTF-8, séparées par un point-virgule, le point est utilisé comme séparateur décimal, les données de type Texte sont encadrées par des double quotes.

Diffusion des données

L'Office Français de la Biodiversité (OFB) a initié la base de données C3PO et réalisé les traitements nécessaires à sa production à partir des sources de données ouvertes détaillées sur cette page. Les scripts Notebook Jupyter (python) permettant de mettre à jour les fichiers .csv diffusés sur cette page sont accessibles sur la page suivante : https://gitlab.com/data-challenge-gd4h/c3po/-/tree/main (licence Cecill-B v1).