Unsicherheitsbewertung

Wir können uns über die Zukunft nie völlig sicher sein, weder in der Wissenschaft noch im Alltag. Selbst wenn es aussagekräftige Hinweise darauf gibt, dass etwas passieren wird, ist der letztliche Ausgang fast immer mit Unsicherheiten behaftet. Tragen wir diesen Unsicherheiten jedoch Rechnung, können wir oft bessere, transparentere Entscheidungen bezüglich der Faktoren treffen, die das Ergebnis beeinflussen können.

Im Januar 2018 veröffentlichte die EFSA einen neuen, harmonisierten Ansatz zur Bewertung und Berücksichtigung von Unsicherheiten in den Bereichen Lebensmittelsicherheit, Tier- und Pflanzengesundheit. Der Ansatz soll die Transparenz der wissenschaftlichen Beratung der EFSA erhöhen und ihre Robustheit im Hinblick auf die Entscheidungsfindung stärken.

Die Leitlinien bieten einen breit gefächerten Werkzeugkasten an wissenschaftlichen Methoden und technischen Tools für die Unsicherheitsanalyse. Sie sind flexibel genug, um in so unterschiedlichen Bereichen wie Pflanzenschädlinge, mikrobiologische Gefahren und chemische Stoffe eingesetzt zu werden.

Phasenweise Einführung

Die EFSA wird den Ansatz in zwei Phasen einführen. In den allgemeinen wissenschaftlichen Bereichen gelten die Leitlinien ab Herbst 2018, nach der Neubesetzung der wissenschaftlichen Gremien der Behörde.

In Bereichen, die regulierte Produkte wie Pestizide, Lebensmittelzusatzstoffe oder Lebensmittelkontaktmaterialien betreffen, wird er, ausgehend von den Erfahrungen der ‚nicht regulierten‘ Bereiche, später schrittweise eingeführt.

Kommunikation von Unsicherheit

Parallel zu den vorliegenden Leitlinien entwickelt die EFSA derzeit auch praxisbezogene Leitlinien für Kommunikationsfachleute dazu, wie die Ergebnisse der Unsicherheitsanalyse verschiedenen Zielgruppen, einschließlich der Öffentlichkeit, vermittelt werden können. Eine öffentliche Konsultation zum Entwurf des Kommunikationsansatzes wird noch 2018 durchgeführt werden.

2017 – Ein EFSA-Workshop mit Risikobewertern und -managern im Anschluss an die Erprobung des EFSA-Leitlinienentwurfs zum Umgang mit Unsicherheit bei der wissenschaftlichen Bewertung unterstützt die Sachverständigen bei der Fertigstellung des neuen harmonisierten Ansatzes.

2016 – Die Wissenschaftlichen Gremien der EFSA beginnen, den überarbeiteten Leitlinienentwurf im Rahmen mindestens einer ihrer wissenschaftlichen Bewertungen zu testen. Rückmeldungen aus einer 2015 durchgeführten öffentlichen Konsultation helfen den Sachverständigen der EFSA, wichtige Aspekte des vorigen Entwurfs zu überarbeiten und klarzustellen.

2015 – Die EFSA führt eine öffentliche Konsultation zu ihrem Leitlinienentwurf über den Umgang mit Unsicherheit bei der wissenschaftlichen Bewertung durch. In dem Dokument wird eine neue standardisierte Toolbox an Methoden zur Analyse, Erklärung und Berücksichtigung von Unsicherheiten bei der wissenschaftlichen Bewertung vorgeschlagen.

2015 – Führende Experten und Praktiker im Bereich der Regulierungswissenschaft aus Europa und der ganzen Welt nehmen an einem von der EFSA organisierten Workshop teil, um Feedback und Erkenntnisse aus ihren laufenden Bemühungen zusammenzutragen, die bereichsübergreifenden Methoden zu harmonisieren und zu stärken, auf die sich ihre wissenschaftlichen Bewertungen stützen.

2013 – Der Wissenschaftliche Ausschuss der EFSA fordert ein Selbstmandat zur Erarbeitung von Leitlinien für den Umgang mit Unsicherheit bei der wissenschaftlichen Bewertung im Rahmen eines bedeutenden Vorstoßes für mehr Robustheit, Transparenz und Offenheit bei der wissenschaftlichen Bewertung (Increasing robustness, transparency and openness of scientific assessments).

2009 – Der Wissenschaftliche Ausschuss der EFSA veröffentlicht seine allgemeinen Grundsätze für die Gewährleistung von Transparenz bei der Risikobewertung, einschließlich der Notwendigkeit, Unsicherheiten zu identifizieren und charakterisieren.

2006 – Der Wissenschaftliche Ausschuss der EFSA veröffentlicht ein wissenschaftliches Gutachten im Zusammenhang mit Unsicherheiten bei der Abschätzung der ernährungsbedingten Exposition (Uncertainties in dietary exposure assessment).

Die Bewertung und Berücksichtigung von Unsicherheiten ist normaler Bestandteil des wissenschaftlichen Arbeitens sowie des täglichen Lebens. So werten etwa Meteorologen Satellitenbilder aus, um Vorhersagen über das Wetter zu treffen. Selten sind sie sich 100 Prozent sicher, was passieren wird. Bei ihrer Vorhersage geben sie daher üblicherweise an, wie wahrscheinlich diese ist. Wenn sie sagen, dass es mit „großer Wahrscheinlichkeit“ regnen wird, werden Sie wahrscheinlich entscheiden, nicht ohne Ihren Regenschirm nach draußen zu gehen. Ist hingegen von einer „leichten“ Regenwahrscheinlichkeit die Rede, ist es wahrscheinlicher, dass Sie entscheiden, den Regenschirm zu Hause zu lassen. Geben die Meteorologen die Regenwahrscheinlichkeit in Prozent an – z.B. mit 90% oder 10% – wird für viele von uns wird die Botschaft noch klarer.

Das gleiche Prinzip gilt bei der Lebensmittelsicherheit. So können Wissenschaftler etwa beauftragt werden, die Sicherheit eines neuen Lebensmittels, Pestizids oder durch Lebensmittel übertragenen Bakteriums zu bewerten. Sind die Hinweise oder Erkenntnisse unvollständig, versuchen sie zu erklären, wie die damit einhergenden Unsicherheiten ihre Schlussfolgerungen beeinflussen können.

Sie nehmen eine „Unsicherheitsbewertung“ vor, um die wissenschaftlichen Unsicherheiten zu ermitteln, zu beschreiben und ihre Auswirkungen auf die Entscheidungsfindung zu erläutern. Sie können angeben, ob es mehr als ein mögliches Ergebnis gibt und welches die relative Wahrscheinlichkeit eines jeden ist.

Wie bei der Wettervorhersage ist es bei der Entscheidungsfindung wichtig zu wissen, wie sicher die Wissenschaftler sich sind (z.B. zu 10%, 50% oder 90%). Diese Informationen erlangen essenzielle Bedeutung, wenn die Entscheidungen schwerwiegende Folgen für die Gesundheit von Mensch und Tier bzw. die Umwelt haben.

Der Wissenschaftliche Ausschuss der EFSA entwickelt harmonisierte Risikobewertungsmethoden zu wissenschaftlichen Fragen horizontaler Art in Bereichen, die in das Aufgabengebiet der EFSA fallen und in denen noch keine EU-weit gültigen Verfahren festgelegt wurden.

Die EFSA ersuchte den Wissenschaftlichen Ausschuss, Leitlinien zu entwickeln, um Unsicherheiten bei der Risikobewertung zu charakterisieren, zu dokumentieren und zu erklären. Dies umfasst Unsicherheiten auf den verschiedenen Stufen der Risikobewertung, d.h. bei der Gefahrenidentifizierung und -beschreibung, der Expositionsabschätzung und der Risikobeschreibung. Der harmonisierte Ansatz soll letztlich für alle betreffenden Arbeitsbereiche der EFSA gelten.

Der Wissenschaftliche Ausschuss richtete eine Arbeitsgruppe ein, um Vorarbeiten für seinen Leitlinienentwurf zum Umgang mit Unsicherheit bei der wissenschaftlichen Bewertung durchzuführen.

1. Unsicherheit? Wissen Wissenschaftler nicht alles?

Wissenschaft ist das Streben nach Wissen. Wissenschaftler bemühen sich unentwegt, die Lücken des menschlichen Wissens darüber, wie die Welt funktioniert, zu schließen. Sie wissen oft sehr viel über ihre Fachgebiete – und auch darüber, was noch unbekannt ist. Ihr Vertrauen in die eigenen Schlussfolgerungen beruht auf der Qualität der verfügbaren wissenschaftlichen Evidenz, ihrer jeweiligen Erfahrung und ihrem Urteilsvermögen bei der Interpretation der Evidenz sowie ihrem Verständnis der möglichen Auswirkungen dessen, was sie nicht wissen (d.h. der Unsicherheiten).

2. Warum ist die Beschreibung wissenschaftlicher Unsicherheiten wichtig?

Die Bestimmung und Beschreibung wissenschaftlicher Unsicherheiten sowie die Erklärung deren Bedeutung für die Bewertungsergebnisse sind wesentliche Aspekte einer transparenten wissenschaftlichen Beratung. Beim Umgang mit Unsicherheit müssen Entscheidungsträger wissen, wie die möglichen unterschiedlichen Ergebnisse aussehen könnten und wie wahrscheinlich diese jeweils sind. Die Art und Weise, in der Wissenschaftler Unsicherheiten berichten bzw. öffentliche Einrichtungen wie die EFSA sie Entscheidungsträgern, Interessengruppen und der breiten Öffentlichkeit vermitteln, kann die Wahrnehmung der bei der Bewertung ermittelten Risiken und Nutzen beeinflussen und sich auf die diesbezüglichen politischen Entscheidungen auswirken. Dies kann auch direkten oder indirekten Einfluss auf die Entscheidungen von Einzelpersonen haben.

3. Wer sollte wissenschaftliche Unsicherheiten berücksichtigen?

Risikobewertungsstellen wie die EFSA haben die Aufgabe, im Rahmen der Leistung wissenschaftlicher Beratung für Entscheidungsträger und andere Interessengruppen auch damit zusammenhängende Unsicherheiten zu beschreiben. Im Verantwortungsbereich der Entscheidungsträger liegt es zu klären, welchen Einfluss die Unsicherheiten auf ihre Entscheidungen haben, d.h. zu entscheiden, ob und wie den Unsicherheiten bei der Entscheidungsfindung Rechnung getragen werden sollte.

4. Was sind Beispiele für wissenschaftliche Unsicherheiten?

Wissenschaftler sind stets bestrebt, auf eine Vielzahl unterschiedlichster Faktoren einzugehen, die zu Unsicherheit in ihren wissenschaftlichen Bewertungen führen können. Der Wissenschaftliche Ausschuss der EFSA definiert Unsicherheit als „jede Art der Einschränkung des Wissens, das Bewertern zum Zeitpunkt der Bewertung, sowie im Rahmen der für die Bewertung vorhandenen Zeit und Ressourcen, zur Verfügung steht.“ Beispiele sind etwa:

  • mögliche Einschränkungen der Qualität und Repräsentativität von Daten
  • Vergleiche nicht standardisierter Daten zwischen Ländern oder Kategorien
  • die Wahl eines bestimmten Vorhersage-Modells gegenüber einem anderen
  • die Verwendung von Standardfaktoren (z.B. das Gewicht eines durchschnittlichen Erwachsenen)

5. Warum ist die Quantifizierung der Qualifizierung von Unsicherheit vorzuziehen?

Die Qualifizierung von Unsicherheit mit Begriffen wie „vernachlässigbar“, „gering“ oder „hoch“ kann eine gewisse Vorstellung bezüglich des Grads der Sicherheit eines Bewertungsergebnisses vermitteln. Allerdings werden solche Begriffe von verschiedenen Menschen unterschiedlich interpretiert. Die Quantifizierung von Unsicherheit, etwa mittels einer Prozentskala, ist effektiver, weil sie weniger Raum für Mehrdeutigkeit lässt. Darüber hinaus sind quantitative Methoden in der Regel fachlich genauer als qualitative Methoden. Die Quantifizierung von Unsicherheit ist daher robuster und bietet Entscheidungsträgern ein klareres Bild.

6. Lässt sich ein Beispiel geben?

Wahrscheinlichkeit ist das natürliche quantitative Maß, um die relative Wahrscheinlichkeit eines Ergebnisses zum Ausdruck zu bringen und verständlich zu machen. Der Wissenschaftliche Ausschuss der EFSA empfiehlt vorläufig eine (vom Zwischenstaatlichen Gremium für Klimawandel – IPCC – entwickelte) Skala zur Quantifizierung der Wahrscheinlichkeit unsicherer Ergebnisse.

Wahrscheinlichkeitsskala (IPCC, überarbeitet)


Begriff zum Ausdruck der Wahrscheinlichkeit

Subjektiver Wahrscheinlichkeitsbereich

Praktisch sicher

99-100%

Sehr wahrscheinlich

90-99%

Wahrscheinlich

66-90%

Ebenso wahrscheinlich wie nicht

33-66%

Unwahrscheinlich

10-33%

Sehr unwahrscheinlich

1-10%

Besonders unwahrscheinlich

0-1%

Wenn Bewerter eine Schlussfolgerung als sehr wahrscheinlich (90-99% wahrscheinlich) ansehen, werden Entscheidungsträger und Öffentlichkeit ein hohes Maß an Vertrauen in Maßnahmen haben, die mit dieser Schlussfolgerung im Einklang stehen. Ist ein Ergebnis „ebenso wahrscheinlich wie nicht“ (33-66% wahrscheinlich), können Entscheidungsträger – abhängig vom Gewicht anderer, nicht-wissenschaftlicher Faktoren (z.B. sozialer oder wirtschaftlicher) – weniger überzeugt sein und dazu neigen, Vorsichtsmaßnahmen zu ergreifen, sofern keine Spielraum besteht, um die wissenschaftliche Unsicherheit zu verringern (z.B. mittels neuer Forschung). Wenn Bewerter eine Schlussfolgerung als sehr unwahrscheinlich (1-10% wahrscheinlich) ansehen, können Entscheidungsträger ihr wenig Gewicht beimessen, wenn sie über das weitere Vorgehen befinden.

7. Wie schwierig ist es, wissenschaftliche Unsicherheit zu quantifizieren?

Die Quantifizierung von Unsicherheit stellt uns vor einige Herausforderungen, sie ist aber nicht unmöglich. Es gibt verschiedene quantitative Methoden zur Charakterisierung von Unsicherheit. Im überarbeiteten Entwurf der EFSA-Leitlinien zum Umgang mit Unsicherheit werden etwa zehn quantitative Methoden detailliert beschrieben. Die Wahl der Methode kann von verschiedenen Faktoren abhängen, etwa von der Art der ermittelten Unsicherheit oder der Zeit und Expertise, die für die Bewertung zur Verfügung stehen. Viele datenbedingte Unsicherheiten, wie begrenzte Stichprobengrößen und Messfehler, lassen sich relativ einfach mit bewährten statistischen Werkzeugen quantifizieren. In anderen Fällen ist ein Expertenurteil erforderlich, das, obwohl subjektiv, eine gute Basis für wissenschaftliche Bewertungen darstellen kann, wenn es gut begründet ist. Die EFSA hat 2014 gesonderte Leitlinien zu formalen Ansätzen für die Einholung von Expertenurteilen veröffentlicht und entwickelt derzeit Schulungen zur Wahrscheinlichkeitsbewertung für Experten. Unabhängig von der Methode ist es wichtig, klar zu beschreiben, warum und wie die jeweilige Methode angewendet wurde.

8. Aber ist es möglich, alle Unsicherheiten zu quantifizieren?

Nein, es ist nie möglich, „unbekannte Unbekannte“ zu quantifizieren – Unsicherheiten also, derer wir uns noch gar nicht bewusst sind. Und selbst einige der bekannten Unbekannten können für Experten zu komplex oder schwierig zu quantifizieren sein. Die Wissenschaftlichen Gremien der EFSA sind gehalten, möglichst viele der Unsicherheiten, die sich auf ihre Bewertungen auswirken, zu quantifizieren und diejenigen, die sie identifizieren, aber nicht quantifizieren können, qualitativ zu beschreiben.

9. Schlägt die EFSA einen Patentansatz vor?

Nein, der von der EFSA vorgeschlagene Ansatz ist flexibel und bietet eine Auswahl an Werkzeugen, die sich an die jeweiligen Umstände der Bewertung anpassen lassen. Die Zeit, die der Unsicherheitsanalyse gewidmet werden kann, ist verständlicherweise in dringenden Situationen geringer, wenn Beratung mitunter innerhalb von Stunden zu leisten ist (dennoch ist sie wichtig, da Unsicherheiten in solchen Situationen meist am größten sind). Mehr Aufwand kann betrieben werden, um Unsicherheiten im Rahmen einer länger andauernden umfassenden Überprüfung aller verfügbaren wissenschaftlichen Erkenntnisse zu bewerten. Entsprechend würden für gut erforschte Themen, bei denen weniger Unsicherheiten bestehen, andere Ansätze Anwendung finden als für Themen an vorderster Front der Wissenschaft, wo die Evidenz mitunter dürftig ist.

10. Wer wird die EFSA-Leitlinien zum Umgang mit Unsicherheit verwenden?

Die Leitlinien richten sich in erster Linie an die Sachverständigen der Wissenschaftlichen Gremien der EFSA und ihrer Arbeitsgruppen, die wissenschaftlichen Mitarbeiter der EFSA sowie wissenschaftliche Einrichtungen, die wissenschaftliche Arbeiten im Auftrag der EFSA durchführen. Sie haben ferner Relevanz für Risikomanager bei der Europäischen Kommission und in den EU-Mitgliedstaaten, die ausgehend von der wissenschaftlichen Beratung der EFSA Entscheidungen treffen. Nach ihrer Fertigstellung sollen die Leitlinien für alle Arbeitsbereiche der EFSA und alle Arten der wissenschaftlichen Bewertung gelten, einschließlich der Risikobewertung und aller ihrer Bestandteile (Gefahrenidentifizierung und -beschreibung, Expositionsabschätzung und Risikocharakterisierung).

Die Unsicherheitsbewertung erfordert die fachliche Schulung sowohl der Bewerter als auch der Entscheidungsträger, die auf die Bewertungen zurückgreifen. Die EFSA schult ihre Wissenschaftler und arbeitet mit EU-Risikomanagern sowie anderen europäischen und internationalen Risikobewertern zusammen, um zu einem gemeinsamen Verständnis der Unsicherheitsbewertung zu gelangen.

11. Warum stellte die EFSA ihren Leitlinienentwurf zum Umgang mit Unsicherheit zur öffentlichen Konsultation?

Im Juni 2015 rief die EFSA die internationale wissenschaftliche Gemeinschaft, europäische und nationale Risikobewerter, Risikokommunikatoren und Risikomanager sowie die Interessengruppen der EFSA auf, Feedback zu dem von ihr vorgeschlagenen systematischen Ansatz für die Bewertung von Unsicherheiten zu geben. Beiträge anderer wissenschaftlicher Beratungsgremien sowie von Experten im Bereich der Unsicherheitsanalyse aus Wissenschaft und Praxis wurden insbesondere zu den in der „Toolbox“ vorgeschlagenen Methoden benötigt, um den Entwurf zu optimieren, bevor die EFSA damit begann, den Ansatz für alle Bereiche der Lebensmittelsicherheit zu erproben.