PubChat: Mehrsprachige KI-Literatursuche für die evidenzbasierte Praxis
Ein PubMed-gestütztes Retrieval-System verspricht KI-Literatursuche ohne erfundene Zitate – ein Benchmark gegen 20 Cochrane-Reviews zeigt, was das Tool tatsächlich leistet.
Mit KI-Unterstützung erstellt · redaktionell geprüft und verantwortet von Steven Breuer.
Wer regelmäßig Leitlinien aktualisiert, einen Fortbildungsvortrag vorbereitet oder schlicht wissen will, ob eine neue Studie die eigene Therapieentscheidung stützt, kennt das Problem: Die Menge an biomedizinischer Literatur wächst schneller, als sie sich manuell sichten lässt. Große Sprachmodelle versprechen hier Abhilfe – haben aber ein hartnäckiges Zuverlässigkeitsproblem. Sie erfinden Zitate, verwechseln Studien oder bewerten Evidenz inkonsistent. Genau an diesem Punkt setzt ein neues Retrieval-System namens PubChat an, das kürzlich in npj Digital Medicine vorgestellt wurde.
Was PubChat von einem klassischen Chatbot unterscheidet
PubChat ist kein generisches Sprachmodell mit Web-Zugriff, sondern ein zweistufiges Retrieval-Framework, das direkt auf den PubMed-E-Utilities aufsetzt. In der ersten Phase zerlegt das System eine Forschungsfrage hierarchisch in fünf Relevanzstufen. In der zweiten Phase folgt eine mehrrunden Suche mit einem Embedding-basierten Vorfilter, gefolgt von drei Verifikationsrunden durch das Sprachmodell. Jedes Ergebnis bleibt dabei an eine reale PubMed-Quelle rückgebunden – ein entscheidender Unterschied zu Tools, die Literaturübersichten frei generieren und im schlechtesten Fall plausibel klingende, aber nicht existente Studien zitieren.
Details zur Architektur und den Benchmark-Daten finden Sie in der Originalpublikation: PubChat: KI-Retrieval für multilingual biomedizinische Literatur.
Der Benchmark: 20 Cochrane-Reviews als Prüfstein
Die Entwickler haben PubChat nicht isoliert getestet, sondern gegen ein breites Feld etablierter Werkzeuge antreten lassen: vier allgemeine Sprachmodelle (darunter GPT-5.2-Thinking und Gemini 3.0 Pro), ein suchgestütztes Tool (Perplexity-Sonar) sowie drei spezialisierte Recherche-Tools (Elicit, ASTA, Consensus). Als Referenz dienten 20 Cochrane Systematic Reviews mit insgesamt 585 als „ground truth“ definierten Artikeln, abgedeckt über acht Sprachen.
Das zentrale Ergebnis für die Praxis: In diesem Benchmark produzierte PubChat keine erfundenen Zitate. Zudem zeigten die drei Betriebsmodi des Systems unterschiedliche Recall-Precision-Profile – ein Punkt, der für die tägliche Anwendung relevant ist. Der Modus „PubChat-Broad“ erzielte den höchsten beobachteten Recall und den besten nDCG-Wert, ist also die richtige Wahl, wenn Sie möglichst wenig relevante Literatur übersehen wollen, etwa bei einer systematischen Übersichtsarbeit. Der Modus „PubChat-Core“ erreichte dagegen die besten F1- und F2-Werte, eignet sich also eher, wenn Sie schnell eine kompakte, möglichst präzise Trefferliste benötigen – etwa zur Vorbereitung einer Fallbesprechung.
Wie Nutzerinnen und Nutzer das Tool bewerten
Neben dem technischen Benchmark wurde PubChat von 279 biomedizinischen Forschenden aus 18 Ländern bewertet. In den Kategorien Zuverlässigkeit, Innovationsgrad, Effizienz und Nutzererfahrung lag das Tool jeweils über 80 von 100 Punkten. In der direkten Präferenzabfrage gaben 78 Prozent der Befragten PubChat gegenüber spezialisierten Recherche-Tools den Vorzug, 72 Prozent gegenüber der manuellen Suche. Solche Selbstauskünfte sind mit der gebotenen Vorsicht zu lesen – sie ersetzen keine unabhängige Validierung im eigenen Fachgebiet –, geben aber einen Hinweis darauf, dass das Tool im Arbeitsalltag als praktikabel empfunden wird.
Interessant für Kliniken mit eigener Forschungstätigkeit ist zudem eine exploratorische Fallstudie (MIDE), in der aus PubChat-generierten Literaturkorpora evidenzbasierte Forschungslücken abgeleitet wurden – als Hilfestellung bei der Priorisierung neuer Fragestellungen.
Praktische Einordnung
Für Praxen und Kliniken, die evidenzbasiert arbeiten wollen, ergeben sich daraus konkrete Anwendungsfälle: die schnelle Prüfung, ob es zu einer Fragestellung bereits aktuelle Cochrane-Evidenz gibt, die mehrsprachige Recherche bei internationalen Patientenkollektiven oder die Vorbereitung von Leitlinien-Updates mit nachvollziehbarer Quellenlage. Die Rückbindung an reale PubMed-Einträge ist dabei kein Nebenaspekt, sondern die eigentliche Stärke des Systems – gerade weil erfundene Zitate bei allgemeinen Sprachmodellen bislang ein reales Risiko darstellen.
Gleichzeitig gilt: Der Benchmark bezieht sich auf 20 ausgewählte Cochrane-Reviews. Ob sich die Ergebnisse eins zu eins auf jede Fachrichtung oder auf sehr aktuelle, noch nicht in systematischen Reviews abgebildete Literatur übertragen lassen, bleibt offen. Wer PubChat in den Praxisalltag integriert, sollte die Ergebnisse – wie bei jedem KI-gestützten Recherchetool – stichprobenartig gegen die Originalquellen prüfen, insbesondere bei therapierelevanten Entscheidungen. Als Ausgangspunkt für eine strukturierte, quellentreue Literaturrecherche liefert das System jedoch eine belastbare Grundlage, die über das hinausgeht, was bislang gängige KI-Suchtools in diesem Bereich boten.