La question de l’incertitude dans les évaluations scientifiques

Introduction

De quoi demain sera fait ? Qu’il s’agisse de science ou de notre vie quotidienne, on ne peut jamais être complètement sûr de ce que l’avenir nous réserve. Même lorsque de fortes preuves indiquent que quelque chose va arriver, il existe presque toujours certaines incertitudes quant au résultat exact. Cependant, si l’on prend en compte cette part d’incertitude, il est souvent possible de faire de meilleurs choix et de prendre des décisions plus avisées en tenant compte des paramètres qui pourraient influencer l’issue de nos choix.

Activités récentes

Janvier 2019 – L'EFSA publie une approche novatrice et ciblée en matière de communication des incertitudes, afin d'aider les communicateurs à renforcer la transparence des avis scientifiques. Depuis 2018, le document d'orientation relatif à la communication des incertitudes accompagne le guide technique du comité scientifique de l’EFSA sur l'analyse des incertitudes dans les évaluations scientifiques. L'EFSA met progressivement en œuvre ces deux nouveaux documents d'orientation destinés respectivement aux évaluateurs du risque et aux communicateurs.

La nouvelle approche de l'EFSA en matière de communication des incertitudes scientifiques a été rendue possible grâce à la fusion des compétences des spécialistes en sciences sociales, en sciences naturelles et des communicateurs scientifiques. Les connaissances des experts en matière de recherche sociale sur la compréhension des incertitudes par le public et leur capacité à appliquer ces connaissances dans un contexte de sécurité des aliments ont été essentielles pour développer cette nouvelle méthodologie de communication.

Jalons clés

2019 – L'EFSA publie un document d'orientation sur la communication des incertitudes dans les évaluations scientifiques.

2018 – L'EFSA met en œuvre son document d’orientation sur l'analyse des incertitudes en deux étapes : application dans les domaines scientifiques généraux à partir de l'automne 2018, application graduelle dans les domaines des produits réglementés au cours des années successives.

2018 – Publication du document d'orientation sur l'analyse des incertitudes dans les évaluations scientifiques, l’approche harmonisée adoptée par l'EFSA pour évaluer et prendre en compte les incertitudes dans les domaines de la sécurité sanitaire des aliments et de la santé animale et végétale.

2017 – Des spécialistes en sciences sociales rejoignent les groupes d'experts de l'EFSA pour développer un document d'orientation destiné aux communicateurs, en complément du document d’orientation pour les évaluateurs du risque.

2017 – Un atelier de travail organisé par l’EFSA avec les évaluateurs et les gestionnaires du risque suit de près la phase pilote du projet de l'EFSA sur la question des incertitudes dans les évaluations scientifiques, apportant ainsi leur soutien aux experts pour finaliser une nouvelle méthodologie harmonisée dans ce domaine.

2016 – Les groupes scientifiques de l'EFSA entament la phase test du projet de document d’orientation révisé et l’appliquent à au moins une de leurs évaluations scientifiques. Les commentaires recueillis au cours de la consultation publique organisée en 2015 aident le comité scientifique à réviser et à clarifier certains aspects clés de la version précédente du document.

2015L’EFSA organise une consultation publique sur son projet de document d'orientation relatif à l’analyse des incertitudes dans les évaluations scientifiques. Le document propose une nouvel ensemble normalisé de méthodes destinées à analyser, expliquer et prendre en compte les incertitudes dans les évaluations scientifiques.

2015 – D'éminents experts et praticiens en sciences réglementaires de toute l'Europe et du monde entier participent à un atelier de travail organisé par l'EFSA afin de recueillir des observations et des avis sur les efforts déployés pour harmoniser et renforcer les méthodologies transversales qui étayent ses évaluations scientifiques.

2013 – Le comité scientifique de l’EFSA sollicite un mandat en auto-saisine pour développer un document d’orientation sur l’incertitude dans les évaluations scientifiques dans le cadre d'un effort majeur pour accroître la fiabilité, la transparence et l'ouverture des évaluations scientifiques.

2009 – Le comité scientifique de l'EFSA publie un avis scientifique sur les principes généraux permettant d’assurer la transparence des évaluations du risque, y compris en ce qui concerne la nécessité de pouvoir identifier et caractériser les incertitudes susceptibles d’entourer les conclusions des évaluations.

2006 – Le comité scientifique de l’EFSA publie un avis scientifique portant sur les incertitudes dans les évaluations de l'exposition alimentaire.

Contexte

Evaluer et prendre en compte les incertitudes constitue une part intégrante du travail scientifique et de notre vie quotidienne. Les météorologues, par exemple, étudient les images satellites pour faire des prévisions concernant le temps qu’il fera. Ils ne sont que rarement certains à cent pour cent de ce qui se passera en réalité. Par conséquent, lorsqu'ils font une prévision, ils indiquent généralement la probabilité que cela se produise. S'ils déclarent qu'il existe une « forte probabilité » de pluie, vous déciderez sans doute de prendre votre parapluie pour sortir. Si par contre le risque de pluie est « faible », il est vraisemblable que vous décidiez de laisser votre parapluie à la maison. Si, en outre, le météorologue utilise des pourcentages pour caractériser ses prévisions — un risque de pluie de 10% ou de 90% par exemple — pour beaucoup d'entre nous, le message est encore plus clair.

Les mêmes principes peuvent s'appliquer à la sécurité sanitaire des aliments. On peut par exemple demander à des scientifiques d’évaluer la sécurité d'un nouvel aliment, d’un pesticide ou d’un additif alimentaire. Lorsque les éléments de preuve ou les connaissances dont ils disposent sont incomplètes, les scientifiques s’efforcent d'expliquer comment le niveau d’incertitude est susceptible d’influencer leurs conclusions.

Ils réalisent alors ce qu'on appelle une « évaluation de l’incertitude » dans le but d’identifier et de caractériser les incertitudes scientifiques, mais aussi d’en expliquer les implications pour la prise de décision. Ils peuvent indiquer notamment si, oui ou non, plusieurs résultats ou conséquences sont possibles ainsi que la probabilité relative de chacune d’entre elles.

Comme c’est le cas pour les prévisions météorologiques, le degré de certitude – par exemple, 10%, 50% ou 90% – constitue une information importante pour être à même de prendre une décision. Ces informations deviennent mêmes cruciales s’il s’agit de prendre des décisions ayant des conséquences importantes pour la santé publique, la santé animale ou encore l’environnement.

Rôle de l’EFSA

Le comité scientifique de l'EFSA développe des méthodologies harmonisées d'évaluation des risques sur des questions scientifiques de nature horizontale dans les domaines qui relèvent de la compétence de l'EFSA et pour lesquels des approches à l'échelle européenne n'ont pas encore été définies.

L'EFSA a demandé au comité scientifique de développer des orientations sur la manière de caractériser, de documenter et d’expliquer les incertitudes dans les évaluations du risque. Ces orientations couvrent les incertitudes susceptibles de se présenter à différentes étapes de l'évaluation du risque, à savoir l'identification et la caractérisation du danger, l'évaluation de l'exposition et la caractérisation du risque. L'approche harmonisée est applicable à tous les domaines de travail de l'EFSA, mais elle sera introduite progressivement.

Lors de l'élaboration du document d’orientation destiné aux évaluateurs du risque, le comité scientifique a également reconnu la fonction cruciale d'une communication claire et efficace dans le dialogue entre les évaluateurs du risque et les décideurs politiques. Par conséquent, des spécialistes en sciences sociales ont rejoint le groupe de travail du comité scientifique afin d'élaborer un document complémentaire destiné quant à lui aux communicateurs.

FAQ

1. Pourquoi parle-t-on d’incertitude ? Les scientifiques ont-ils des doutes ?

La science est la poursuite de la connaissance. Les scientifiques s’efforcent constamment de combler les lacunes dans les connaissances humaines sur la façon dont notre monde fonctionne. Souvent, ils possèdent de vastes connaissances dans leurs domaines de spécialisation respectifs ; mais ils savent aussi qu’il y a beaucoup de choses que nous ne pouvons pas connaître ou savoir. La confiance qu'ils accordent à leurs propres conclusions repose sur la qualité des données scientifiques disponibles, sur leur expérience, sur leur jugement dans l’interprétation des éléments de preuve mais aussi sur leur compréhension de l'impact possible des éléments qu'ils ne connaissent pas – c’est-à-dire la part d'incertitude.

2. Pourquoi est-il important de pouvoir décrire l'incertitude scientifique ?

Le fait de pouvoir identifier et décrire les incertitudes scientifiques, mais aussi d’être en mesure d’en expliquer les implications pour les conclusions d’une évaluation, constituent des éléments essentiels pour fournir des avis scientifiques transparents. Lorsqu’ils doivent faire face à une part d’incertitude, les décideurs ont besoin de savoir quelles sont les différentes issues possibles et de connaître la probabilité de ces issues potentielles. La manière dont les scientifiques rendent compte des incertitudes et la manière dont les organismes publics tels que l'EFSA communiquent les résultats de leurs travaux aux décideurs, aux parties prenantes ou au grand public peut modifier la perception du risque et des bénéfices de l'évaluation et avoir un impact sur les décisions politiques. Cela peut aussi affecter directement ou indirectement les choix des citoyens.

3. Qui devrait tenir compte des incertitudes scientifiques ?

Les évaluateurs du risque tels que l'EFSA ont la responsabilité de décrire et de communiquer les incertitudes aux décideurs politiques et aux autres parties prenantes lorsqu'ils fournissent des avis scientifiques. Les décideurs, quant à eux, ont la responsabilité de gérer l'impact de ces incertitudes sur leurs décisions, c’est-à-dire qu'ils doivent décider si oui ou non, et de quelle manière, le processus décisionnel doit prendre en compte cette part d’incertitude.

4. Pouvez-vous donner quelques exemples d'incertitude scientifique ?

Les scientifiques s’efforcent habituellement de tenir compte d’un large éventail de facteurs susceptibles d’engendrer une part d’incertitude dans leurs évaluations scientifiques. Le comité scientifique de l'EFSA définit l'incertitude comme « tout type de limitation dans les connaissances à la disposition des évaluateurs au moment où l'évaluation est effectuée, et dans le cadre du délai et des ressources disponibles pour l'évaluation ». Parmi les exemples de limitation, on peut citer :

  • des limitations possibles dans la qualité et la représentativité des données ;
  • la comparaison de données non normalisées entre pays ou entre catégories ;
  • le choix d’une technique de modélisation prédictive sur une autre ;
  • l’utilisation de facteurs par défaut (tels que le poids d'un adulte moyen par ex.).

5. Pourquoi est-il souhaitable de quantifier les incertitudes ?

Le fait de qualifier l'incertitude grâce à des termes tels que « négligeable », « faible » ou « élevée » permet de donner une idée du degré de certitude qui caractérise le résultat d'une évaluation. Mais ces termes peuvent être interprétés de façon distincte par différentes personnes. En revanche, si on quantifie la part d’incertitude, par exemple sur une échelle de pourcentage, cela permet de réduire l’ambiguïté. De manière générale, une approche quantitative se révèle également techniquement plus rigoureuse qu'une méthode qualitative. La quantification d'une incertitude s'avère donc plus fiable et fournit une image plus claire du problème pour les décideurs.

6. Pourriez-vous donner un exemple ?

La probabilité est la mesure naturelle qu’on utilise pour exprimer et comprendre la vraisemblance relative d’un résultat. Le comité scientifique de l'EFSA a adopté une échelle (développée par le Groupe d'experts intergouvernemental sur l’évolution du climat) permettant de quantifier la probabilité de résultats incertains.
Échelle de probabilité (GIEC, révisée)

Terme de probabilité

Intervalle de probabilité subjective

Extrêmement probable

99-100%

Très probable

90-99%

Probable

66-90%

Aussi probable qu'improbable

33-66%

Improbable

10-33%

Très improbable

1-10%

Extrêmement improbable

0-1%

Pour communiquer ces probabilités à des publics non spécialistes, nous nous référons à la certitude de nos experts (c'est-à-dire à leur degré de « confiance ») à l’égard de leurs conclusions. Les évaluateurs scientifiques peuvent par exemple déclarer que leur conclusion est certaine à 90-99% (très probable), auquel cas les décideurs et le public auront un degré élevé de confiance à l’égard des mesures qui se conforment à cette conclusion. Si, en revanche, le degré de certitude n’est que de 33 à 66 % (« aussi probable qu’improbable », les décideurs pourraient être moins convaincus. En fonction du poids plus important que pourraient avoir d'autres facteurs non scientifiques qui doivent aussi être pris en compte (par exemple, des considérations sociales ou économiques), ils pourraient être plus enclins à adopter des mesures de précaution, à moins qu'il n’existe une possibilité de réduire cette part d’incertitude (par exemple, grâce à de nouvelles recherches). Si les évaluateurs considèrent qu'une conclusion est très peu probable (de 1 à 10 % probable), les décideurs pourraient lui accorder peu de poids lorsqu'ils statuent sur la manière de procéder.

Si l’évaluateur considère qu'une conclusion est très probable (90 à 99% de probabilité), les décideurs et le public auront un niveau élevé de confiance dans les mesures qui seront prises conformément à cette conclusion. Si le résultat est considéré comme « aussi probable qu'improbable » (33 à 66% de probabilité), le décideur pourrait être moins convaincu, en fonction également du poids plus important d'autres facteurs non scientifiques (par exemple, facteurs sociaux ou économiques) et pourrait être plus enclin à prendre des mesures de précaution, à moins qu'il ne soit possible de réduire l'incertitude (par exemple grâce à de nouvelles recherches). Si les évaluateurs considèrent qu’une conclusion est très improbable (de 1à 10% de probabilité), les décideurs pourraient n’y accorder que peu d'importance lorsqu’ils statueront sur la manière de procéder.

7. Est-il difficile de quantifier les incertitudes scientifiques ?

La quantification des incertitudes soulève plusieurs défis, mais ce n’est pas impossible. Il existe différentes méthodes quantitatives pour caractériser la part d’incertitude. Le projet révisé de lignes directrices de l'EFSA sur l'analyse des incertitudes décrit environ dix méthodes quantitatives en détail. Le choix de la méthode peut dépendre de facteurs tels que le type d'incertitudes identifiées, ainsi que de l'expertise et du temps disponible pour l'évaluation. De nombreuses incertitudes liées aux données – telles qu’une taille limitée d'échantillon ou une erreur de mesure – peuvent être quantifiées relativement facilement à l'aide d'outils statistiques reconnus. Dans d'autres cas, le jugement des experts sera nécessaire et, bien qu'il soit subjectif, il peut avoir une grande valeur pour l’évaluation scientifique s’il est adéquatement justifié. En 2014, l'EFSA a publié un document d'orientation distinct portant sur les approches formelles permettant de recueillir le jugement des experts, et elle développe actuellement des formations destinées aux experts pour les initier à la formulation de jugements de probabilité. Quelle que soit la méthode choisie, il est important d’expliquer clairement pourquoi et comment chaque méthode a été utilisée.

8. Est-il possible de quantifier toutes les incertitudes ?

Non, il n'est jamais possible de quantifier « des inconnues inconnues » – c’est-à-dire des incertitudes dont nous n’avons même pas encore connaissance. Et certaines des inconnues connues peuvent aussi se révéler trop complexes ou trop difficiles à quantifier pour les experts. On demande par conséquent aux groupes scientifiques de l'EFSA de quantifier autant que possible les incertitudes qui affectent leurs évaluations et, lorsqu'il n’est pas possible de les quantifier, on les invite à de décrire de manière qualitative les incertitudes qu'ils sont en mesure d’identifier mais pas de quantifier.

9. L’EFSA propose-t-elle une approche universelle à cette question ?

Non, l'approche proposée par l'EFSA est flexible et offre une sélection d'outils permettant de s'adapter aux circonstances particulières de chaque évaluation. Le temps consacré à la question de l'incertitude pourrait par exemple être limité dans une situation où des conseils urgents sont requis en quelques heures (même s’il est crucial d'affronter la question car l'incertitude est souvent encore plus grande dans de telles circonstances). Dans d'autres situations, il sera possible de consacrer davantage de temps et d’efforts à l'évaluation des incertitudes, par exemple au cours d'un examen exhaustif à long terme de toutes les connaissances scientifiques disponibles dans un certain domaine. De même, des approches différentes seront appliquées s’il s’agit de questions ayant déjà fait l'objet d'études approfondies et qui présentent par conséquent moins d'incertitude, ou bien s’il s’agit de questions à la pointe des connaissances scientifiques où les éléments de preuve peuvent encore être rares.

10. Qui utilisera les orientations de l'EFSA sur l'incertitude ?

Le document d'orientation est destiné principalement aux experts des groupes scientifiques de l'EFSA et à leurs groupes de travail, au personnel scientifique de l'EFSA et aux organisations scientifiques qui mènent des travaux scientifiques au nom de l'EFSA. Il est également pertinent pour les gestionnaires du risque à la Commission européenne et dans les États membres de l'UE étant donné que ces derniers prennent des décisions sur la base des avis scientifiques de l'EFSA. Une fois finalisées, les orientations s'appliqueront à tous les domaines de travail de l'EFSA et tous les types d'évaluation scientifique, y compris l'évaluation du risque et toutes ses composantes (identification et caractérisation des dangers, évaluation de l'exposition et caractérisation des risques).

L’évaluation des incertitudes requiert une formation spécialisée à la fois pour les évaluateurs et pour les décideurs qui utilisent les évaluations. L'EFSA offre des formations à ses scientifiques et travaille avec les gestionnaires du risque de l'UE ainsi qu’avec d'autres évaluateurs du risque à l’échelle européenne et internationale pour promouvoir une compréhension harmonisée de l'évaluation des incertitudes.

11. Pourquoi l'EFSA a-t-elle organisé une consultation publique sur son projet de document d’orientation concernant la question de l'incertitude ?

En juin 2015, l'EFSA a invité de nombreux acteurs à commenter l’approche systématique proposée pour l'évaluation des incertitudes : la communauté scientifique internationale, les évaluateurs du risque européens et nationaux, les communicateurs et les gestionnaires du risque, et les parties prenantes. La contribution d'autres organes scientifiques consultatifs ainsi que du milieu universitaire et des experts en analyse d'incertitude – en particulier concernant les méthodes proposées dans la « boîte à outils » – était nécessaire pour renforcer le projet avant que l'EFSA ne commence à tester cette approche dans l'ensemble de ses domaines de travail.