Wissenschaftler der EPFL bringen Meditron auf den Markt, das weltweit leistungsfähigste Open-Source-Sprachmodell, das auf den medizinischen Bereich zugeschnitten ist. Ziel: Unterstützung bei der klinischen Entscheidungsfindung.
LLMs" oder große Sprachmodelle sind Deep-Learning-Algorithmen, die mit unzähligen Texten trainiert werden, um Milliarden von mathematischen Beziehungen zwischen Wörtern (auch "Parameter" genannt) zu lernen. Die meisten von uns kennen sie, da sie die algorithmische Grundlage für Chatbots wie ChatGPT von OpenAI und PaLM, das für Bard von Google verwendet wird, bilden. Die größten Modelle von heute verfügen über Hunderte von Milliarden Parametern, und ihr Training kostet ebenfalls Milliarden von Dollar.
Während groß angelegte generalistische Modelle wie ChatGPT den Nutzerinnen und Nutzern bei einer Reihe von Aufgaben helfen können, z. B. beim Verfassen von E-Mails oder beim Erstellen von Gedichten, kann die Ausrichtung auf ein bestimmtes Wissensgebiet dazu führen, dass die Modelle kleiner und zugänglicher werden. Beispielsweise können LLMs, die mit hochwertigem medizinischem Wissen trainiert werden, potenziell den Zugang zu wissenschaftlich fundierten Informationen demokratisieren, um bei der klinischen Entscheidungsfindung zu helfen.
Es wurden bereits viele Anstrengungen unternommen, um das medizinische Wissen und die Argumentationsfähigkeiten der LLM zu nutzen und zu verbessern. Bisher ist die daraus resultierende KI jedoch entweder geschlossen (z. B. MedPaLM und GPT-4) oder auf eine Skala von etwa 13 Milliarden Parametern beschränkt, was den Zugang oder die Fähigkeit dazu einschränkt.
Um den Zugang und die Darstellung zu verbessern, haben Forscherinnen und Forscher der Fakultät für Informatik und Kommunikation der EPFL Meditron 7B und 70B entwickelt, ein Paar Open-Source-LLMs mit 7 bzw. 70 Milliarden Parametern, die an den medizinischen Bereich angepasst sind, und sie in ihrem Artikel Meditron-70B: Scaling Medical Pretraining for Large Language Models vorgestellt.
Aufbauend auf dem von Meta eingeführten Open-Access-Modell Llama-2 und unter ständiger Mitwirkung von Klinikern und Biologen wurde Meditron mit sorgfältig ausgewählten medizinischen Datenquellen trainiert. Diese umfassten peer-reviewed medizinische Literatur aus Open-Access-Repositorien wie PubMed und eine einzigartige Sammlung verschiedener Richtlinien für die klinische Praxis, die zahlreiche Länder, Regionen, Krankenhäuser und internationale Organisationen abdecken.
"Nachdem wir Meditron entwickelt hatten, haben wir es anhand von vier wichtigen medizinischen Benchmarks bewertet und dabei gezeigt, dass seine Leistung die aller anderen verfügbaren Open-Source-Modelle sowie die der geschlossenen Modelle GPT-3.5 und Med-PaLM übertrifft. Meditron-70B ist sogar weniger als 5 % von GPT-4 und 10 % von Med-PaLM-2 entfernt, den beiden leistungsstärksten, aber geschlossenen Modellen, die derzeit an das medizinische Wissen angepasst sind", erklärt Zeming Chen, Hauptautor der Studie und Doktorand im Labor für die Verarbeitung natürlicher Sprache (NLP), das von Professor Antoine Bosselut, dem leitenden Forscher des Projekts, geleitet wird.
In einer Welt, in der die meisten Menschen dem raschen Fortschritt der künstlichen Intelligenz misstrauen oder ihn sogar fürchten, betont Professor Martin Jaggi, Leiter des Labors für maschinelles Lernen und Optimierung (MLO) an der EPFL, die Bedeutung der Open-Source-Besonderheit von Meditron, einschließlich des Codes für die Auswahl des medizinischen Pre-Training-Korpus und der Modellgewichte.
"Es gibt Transparenz darüber, wie Meditron trainiert wurde und welche Daten verwendet wurden. Wir möchten, dass Forscherinnen und Forscher unser Modell testen und es durch ihre Verbesserungen zuverlässiger und robuster machen, indem sie seine Sicherheit in der Validierung unter realen Bedingungen, einem langen und notwendigen Prozess, erhöhen. Nichts davon ist mit den geschlossenen Modellen, die von großen Technologieunternehmen entwickelt werden, verfügbar", erklärt er.
Professor Mary-Anne Hartley, Ärztin und Leiterin des Laboratory for intelligent Global Health Technologies, das gemeinsam am MLO-Labor der EPFL und der Yale School of Medicine untergebracht ist, leitet die medizinischen Aspekte der Studie. "Die Sicherheit war von Anfang an ein zentrales Thema bei der Entwicklung von Meditron. Das Besondere daran ist, dass es medizinisches Wissen aus transparenten Quellen hochwertiger Informationen verschlüsselt. Jetzt geht es darum, sicherzustellen, dass das Modell in der Lage ist, diese Informationen angemessen und sicher zu liefern."
Die Richtlinien für die klinische Praxis des Internationalen Komitees vom Roten Kreuz (IKRK) sind eine dieser hochwertigen Informationsquellen.
"Es kommt nicht oft vor, dass neue Gesundheitsinstrumente für humanitäre Bedürfnisse relevant sind", betont Javier Elkin, der beim IKRK das Programm für digitale Gesundheit leitet. "Das IKRK ist ein wesentlicher Hüter der humanitären Prinzipien. Wir freuen uns über die Zusammenarbeit mit dieser Initiative der EPFL, die es uns ermöglicht, unsere Richtlinien in die Technologie zu integrieren."
Dank eines Stipendiums der Humanitarian Action Challenge, das vom EssentialTech Centre der EPFL koordiniert wird, wird Anfang Dezember ein gemeinsamer Workshop in Genf das Potenzial sowie die Grenzen und Risiken dieser Art von Technologie erforschen, wobei die Autoren eine spezielle Sitzung zu Meditron abhalten werden.
"Wir haben Meditron entwickelt, weil der Zugang zu medizinischem Wissen ein universelles Recht sein sollte", schloss Antoine Bosselut. "Wir hoffen, dass es ein nützlicher Ausgangspunkt für Forscherinnen und Forscher sein wird, die diese Technologie in ihrer Praxis sicher anpassen und validieren möchten."
Die Einführung von Meditron ist Teil der Mission des neuen KI-Zentrums der EPFL, die sich mit der Frage befasst, wie eine verantwortungsvolle und effiziente KI die technologische Innovation zum Nutzen aller Bereiche der Gesellschaft vorantreiben kann. Das KI-Zentrum der EPFL will die umfassende Expertise des Lehrkörpers und der Forschungsgemeinschaft nutzen. Es fördert ein multidisziplinäres Engagement in der KI-Forschung, -Lehre und -Innovation sowie breitere Partnerschaften mit verschiedenen Akteuren der Gesellschaft.
