Wissenschaftler erfanden eine fingierte Krankheit. KI erklärte den Menschen, sie sei echt (nature.com)

• KI-Modelle neigen zur Validierung frei erfundener medizinischer Phänomene.
• Automatisierte Halluzinationen erzeugen riskante Falschinformationen.
• Mangelnde wissenschaftliche Verifizierung in Sprachmodellen identifiziert.

"Forscher haben nachgewiesen, wie KI-Modelle zur Verbreitung von medizinischer Desinformation beitragen können. Durch das Erfinden einer fiktiven Krankheit und deren gezielte Einspeisung in KI-Systeme konnten die Wissenschaftler beobachten, wie Algorithmen die Existenz dieser Krankheit bestätigten und Behandlungsmethoden erfanden. Dieses Experiment unterstreicht die Anfälligkeit generativer KI für Halluzinationen und die Gefahren einer automatisierten Verbreitung gesundheitsbezogener Falschinformationen. Das Ergebnis verdeutlicht eine kritische Lücke in der Vertrauenswürdigkeit von KI-Systemen im öffentlichen Gesundheitssektor und fordert stärkere regulatorische Kontrollen für die KI-Inhaltsgenerierung."