Umgang mit Evidenz

Das Zusammentragen, Bewerten und Analysieren von Evidenz – Daten, Literatur und Expertenmeinungen – sind wesentliche Schritte bei der wissenschaftlichen Bewertung.

Beim Umgang mit Evidenz orientieren wir uns an den folgenden Prinzipien: Unparteilichkeit, Exzellenz (methodische Qualität), Transparenz und Offenheit sowie Zweckmäßigkeit (in Bezug auf die Beantwortung der jeweiligen Fragestellung).

PROMETHEUS – PROmoting METHods for Evidence Use in Scientific assessments (Förderung von Methoden für den Umgang mit Evidenz bei der wissenschaftlichen Bewertung) – ist eine Initiative der EFSA zur Stärkung der vorgenannten Prinzipien. Dabei geht es u.a. um einen vierstufigen Ansatz, der an die unterschiedlichen Gegebenheiten und Erfordernisse der jeweiligen wissenschaftlichen Bewertung angepasst werden kann:

  • Vorausplanung der Bewertungsstrategie zur Bestimmung der relevanten Daten und Vorgehensweise bei deren Erhebung, Beurteilung und Einbeziehung
  • Durchführung der wissenschaftlichen Bewertung nach Plan und unabhängig von Vorwissen über die Ergebnisse der vorliegenden Studien
  • Überprüfung des Verfahrens, um dessen Ausrichtung an Plan und Leitprinzipien sicherzustellen
  • Dokumentation und Berichterstattung aller Schritte, einschließlich etwaiger Abweichungen vom ursprünglichen Plan

Infographic: Promoting evidence use in scientific assessment

Wissenschaftliche Ergebnisse der EFSA, die unter Verwendung dieses Ansatzes erstellt wurden oder werden, sind u.a. die Arbeiten über: Isoflavone, Listex, Dioxine, die Überwachung von Insektenresistenzen gegenüber Lepidoptera-resistentem Bt-Mais im Rahmen der Umweltüberwachung nach dem Inverkehrbringen, die Blauzungenkrankheit, Glyphosat und Tiergesundheit, Referenzwerte für die Aufnahme von Natrium, die Vorbereitung der Neubewertung von Bisphenol A sowie die Schädlingsrisikobewertung von Eotetranychus Lewisi.

Zwar sind die vorgenannten Prinzipien und der dargestellte Prozess in erster Linie für die Gremien und Wissenschaftler der Behörde gedacht, doch sie sollten auch von wissenschaftlichen Einrichtungen angewendet werden, die Arbeiten im Auftrag der EFSA durchführen.

Evidenzquellen: Daten

Bei der EFSA verwenden wir große Mengen an Daten (roh und aggregiert), die aus verschiedenen Quellen stammen:
  • Das Data-Warehouse der EFSA enthält eine Reihe von Datensammlungen (wie die Umfassende Europäische Datenbank über den Lebensmittelverzehr oder aus Laborstudien stammende Testdaten zum Vorkommen chemischer Stoffe);
  • Analysedaten vor allem von Datenlieferanten aus den Mitgliedstaaten, aber auch von anderen Interessengruppen (Hochschulen, Forschungszentren, Industrie), die zum Teil im Zuge von Aufrufen zur Dateneinreichung übermittelt werden;
  • Daten aus experimentellen Studien, die der EFSA von Lebensmittelunternehmen im Rahmen eines Marktzulassungsverfahrens vorgelegt werden;
  • Daten anderer externer Dateninhaber (z.B. des Europäischen Statistikamts Eurostat oder der Weltgesundheitsorganisation).

Wir arbeiten eng mit unserem Netzwerk von Datenlieferanten in den Mitgliedstaaten zusammen, um die Datenerhebung und -übermittlung an uns zu standardisieren und so die Qualität, Verwertbarkeit und Zugänglichkeit der Daten zu erhöhen.

Evidenzquellen: Literaturauswertung

Bei der systematischen Literaturauswertung werden sämtliche verfügbaren Veröffentlichungen zu einem bestimmten Forschungsthema erfasst.

  • Dies erfordert einen strukturierten Prozess, der die Ermittlung und Sichtung relevanter Forschungsergebnisse im Rahmen einer umfangreichen Literaturrecherche umfasst. Anschließend gilt es dann, die Evidenz zu extrahieren und kritisch zu bewerten, die Daten der einbezogenen Studien auszuwerten und schließlich über den Prozess zu berichten.

Die diesbezüglichen Leitlinien der EFSA ( Guidance on systematic review methodology) heben die acht wichtigsten Schritte bei der systematischen Literaturauswertung hervor:

  1. Vorbereiten der Auswertung
  2. Suche nach Studien
  3. Auswahl der einzubeziehenden Studien
  4. Zusammentragen der Daten aus den einbezogenen Studien
  1. Bewerten der methodischen Qualität der einbezogenen Studien
  2. Synthese der Daten aus den Studien
  3. Präsentation der Daten und Ergebnisse
  4. Interpretation der Ergebnisse und Formulieren von Schlussfolgerungen
Die Leitlinien dienen den Gremien und Wissenschaftlern der EFSA zur Orientierung bei der Erarbeitung ihrer wissenschaftlichen Gutachten und Berichte. Wissenschaftliche Einrichtungen, die systematische Literaturauswertungen im Auftrag der EFSA vornehmen, sind ebenfalls gehalten, diesem Ansatz zu folgen.

Evidenzquellen: Erhebung von Fachwissen

Wenn für eine Bewertung nur beschränkt empirische Evidenz vorliegt, werden Expertenmeinungen benötigt.

  • Ist empirische Evidenz beschränkt, nicht vorhanden, widersprüchlich, von fraglicher Relevanz, offen für unterschiedliche Auslegungen oder nicht zugänglich über öffentlich verfügbare Informationsquellen (wie bibliografische Datenbanken, Fachzeitschriften oder Websites), dann können Bewerter mit Hilfe systematischer und standardisierter Methoden verlässliche Informationen über sachkundige Experten eruieren.
  • Ohne solche Hilfsinstrumente eingeholte Expertenmeinungen in der für die Risikomodellierung erforderlichen Zahl – insbesondere in Bezug auf die mit diesen Meinungen verbundene Unsicherheit – können ein verzerrtes Bild abgeben, wodurch ihr Wert verringert wird. Es existieren diverse systematische und standardisierte Methoden, um die Eruierung von Expertenwissen auf so unvoreingenommene Weise wie möglich vorzunehmen.

Protokolle und Prinzipien – die diesbezüglichen Leitlinien der EFSA ( Guidance on expert knowledge elicitation (EKE)) enthalten ausführliche Protokolle zur Erhebung von Expertenwissen in Bereichen, die unter den Auftrag der EFSA auf dem Gebiet der Lebensmittelsicherheit fallen. Sie enthalten auch Leitprinzipien zur Bewältigung der größten Herausforderungen bei der Erhebung von Expertenwissen – Formulierung der Fragestellung, Auswahl der Experten, Eruierung der Unsicherheit, Aggregation der Ergebnisse mehrerer Experten und Dokumentation des gesamten Prozesses.

Die Leitlinien der EFSA geben ferner ein stufenweises Vorgehen für die EKE vor, wobei jeder Stufe bestimmte Aufgaben zugeordnet sind: Definition des Bewertungsproblems, Vorbereitung der Erhebung (z.B. Formulierung der Fragestellung, Auswahl der Experten und der zu verwendenden Methode), die Erhebung selbst und schließlich die Dokumentation des gesamten Prozedere.

Schulung und Weiterentwicklung – wir organisieren Schulungen für unsere Wissenschaftler und externen Sachverständigen, um ein einheitliches Vorgehen bei der Erhebung von Expertenwissen zu gewährleisten. Darüber hinaus unterstützen wir auch die weitere Entwicklung von EKE-Methoden, bei der EFSA und in der breiteren wissenschaftlichen Gemeinschaft.