Wenn der Pflegeroboter lügt
KI-Systeme halluzinieren. Das ist bekannt. Was weniger bekannt ist: Man kann diese Eigenschaft gezielt ausnutzen. Nicht als Bug – als Waffe. Und nirgends ist das gefährlicher als bei der KI-Sicherheit von Pflegerobotern.
Mein neuer Roman „Plausible Lügen“ – der zweite Band von „Verrat im Hotel der Innovation“ – erzählt genau diese Geschichte. Er ist ab heute als E-Book und in Kürze als Taschenbuch erhältlich.
Aber dieser Beitrag ist keine Buchvorstellung. Er ist eine Warnung. Und eine Einladung, genauer hinzusehen.
KI-Sicherheit bei Pflegerobotern: Das Problem, über das niemand spricht
Pflegeroboter kommen. Die Frage ist nicht ob, sondern wann. Japanische Pflegeheime setzen sie bereits ein. Europa investiert Milliarden. Deutschland diskutiert noch über Regulierung, während andere längst bauen und testen. Die KI-Sicherheit dieser Pflegeroboter? Wird vorausgesetzt. Geprüft wird selten.
Was dabei untergeht: Ein Pflegeroboter lernt aus Daten. Aus Bewegungsmustern, die Pflegekräfte ihm zeigen. Aus Druckwerten, Winkeln, Geschwindigkeiten. Die Maschine optimiert, bis die Zahlen stimmen.
Aber was, wenn die Daten manipuliert sind?
Nicht grob. Nicht offensichtlich. Sondern so subtil, dass das System selbst die Manipulation nicht erkennt – weil es prinzipiell nicht zwischen „richtig“ und „plausibel“ unterscheiden kann. Die Fachwelt nennt das Halluzinationen. Ich nenne es plausible Lügen.
Genau hier liegt die eigentliche Gefahr. Denn eine KI, die plausibel lügt, ist gefährlicher als eine, die offensichtlich versagt. Der offensichtliche Fehler wird gefunden und korrigiert. Die plausible Lüge wird geglaubt – und in die nächste Entscheidung übernommen.
Vertraue nie der KI – vertraue dem Käfig
In meinem Sachbuch „Das Helferlein-Paradox“ habe ich die technischen Grundlagen untersucht. Die zentrale Erkenntnis ist unbequem: Wir können nicht wissen, ob eine KI richtig liegt. Nicht weil die Technik schlecht wäre, sondern weil es prinzipielle Grenzen gibt, die kein Algorithmus überwindet.
Die Konsequenz daraus ist nicht, KI abzulehnen. Die Konsequenz ist, sie einzusperren. In einen Käfig aus Normen, Prüfschleifen und menschlicher Kontrolle. ISO 14971 für Risikomanagement. IEC 62304 für Software-Lebenszyklus. Der EU AI Act, der Hochrisiko-Systeme klassifiziert. Rückkopplungsschleifen, bei denen am Ende immer ein Mensch entscheidet.
Das klingt trocken. Aber es ist der Unterschied zwischen einer Maschine, die hilft, und einer, die tötet. In der Pflege wiegt dieser Unterschied besonders schwer. Hier geht es nicht um fehlerhafte Empfehlungen oder falsche Texte. Hier geht es um Menschen, die sich nicht wehren können – die darauf angewiesen sind, dass die Maschine, die sie berührt, das Richtige tut.
Wer sich auf die Sicherheit von Pflegerobotern verlässt, ohne den Käfig zu verstehen, spielt russisches Roulette mit Menschenleben.
Was „Plausible Lügen“ über KI in der Pflege erzählt
Dr. Friedrich Holstein leitet ein Innovationscluster in Norddeutschland. Sein Team entwickelt Agnes, einen Pflegeroboter, der alles verändern könnte. Der Käfig steht, die Normen sind umgesetzt, die Dokumentation ist lückenlos.
Dann entdeckt eine Ingenieurin, dass etwas nicht stimmt. Nicht in den Zahlen – die sind perfekt. Sondern in der Art, wie Agnes sich bewegt. Die Eleganz fehlt. Die Menschlichkeit. Etwas, das kein Sensor misst, kein Protokoll erfasst – und das die gesamte Sicherheit des Pflegeroboters in Frage stellt.
Sie kennt Agnes seit zwei Jahren. Sie hat jede Iteration begleitet, jeden Fortschritt, jeden Rückschlag. Am Anfang war Agnes unbeholfen – mechanisch, abgehackt. Dann wurde sie flüssiger, natürlicher, menschlicher. Nicht weil jemand sie programmiert hatte, sondern weil sie gelernt hatte. Von Pflegekräften, von tausenden Stunden Trainingsdaten.
Und jetzt fehlt plötzlich das, was Agnes besonders machte.
Holstein steht vor einem Problem, das größer ist als jeder Saboteur: Niemand glaubt ihm. Nicht weil die Beweise fehlen. Sondern weil alle dem System vertrauen. Die Zahlen sind grün. Die Protokolle stimmen. Alles ist normkonform. Nur das Gefühl einer erfahrenen Ingenieurin sagt: Hier stimmt etwas nicht.
Warum ein Thriller über Pflegeroboter-Sicherheit?
Weil Fachbücher die Falschen erreichen. Wer ISO 14971 liest, weiß bereits, dass KI-Sicherheit wichtig ist. Aber die Entscheidungen über den Einsatz von Pflegerobotern treffen Menschen, die keine Normen lesen. Politiker, Investoren, Geschäftsführer von Pflegeheimen.
Diese Menschen erreicht man mit Geschichten. Mit der konkreten Vorstellung, was passiert, wenn der Käfig nicht hält. Mit einer Erzählung, die zeigt, dass KI-Sicherheit bei Pflegerobotern kein abstraktes Thema ist, sondern über Leben und Würde entscheidet.
„Plausible Lügen“ ist Fiktion. Aber die technischen Grundlagen sind real. Die Normen existieren. Die Schwachstellen existieren. Und die Frage, ob wir einer KI vertrauen dürfen, die wir nicht verstehen, wird mit jedem Tag drängender.
Der Hintergrund ist real
2016 wurde eine Standortanalyse für das erste private deutsche Innovationscluster fertiggestellt. Vier Studenten der Hochschule Fresenius untersuchten Rendsburg als Standort. Ergebnis: geeignet. Acht Tage später war das Projekt tot – eine politische Entscheidung zog sechzig Millionen Euro Investitionszusagen über Nacht ab.
Ich weiß das, weil es mein Projekt war. Ich hatte das Innovationscluster konzipiert, die Investoren gewonnen, die Vision entwickelt. Und ich stand da und sah zu, wie alles zusammenbrach. Details finden Sie hier.
Aus diesem Scheitern entstand 2019 der erste Band. Und aus der KI-Revolution, die seitdem stattgefunden hat, entstand Band 2 – ein Thriller über die Frage, was passiert, wenn KI-Sicherheit bei Pflegerobotern versagt. Die Geschichte ist erfunden. Die Kaserne am Nord-Ostsee-Kanal gibt es wirklich. Die Schwebefähre fährt wieder. Die Standortanalyse der Hochschule Fresenius existiert. Und die Frage, die dieser Roman stellt, wird jeden Tag realer.
Erhältlich ab heute
Plausible Lügen – Verrat im Hotel der Innovation, Band 2 Von Michael Schmid
E-Book: 4,99 € – Jetzt bei Amazon kaufen Taschenbuch: In Kürze verfügbar – ISBN 978-3-96459-034-3
Wer die technischen Hintergründe vertiefen möchte: „Das Helferlein-Paradox“ ist als Sachbuch ebenfalls bei Amazon erhältlich – auf Deutsch und als „The Little Helper Paradox“ auf Englisch. Denn wer über KI-Sicherheit bei Pflegerobotern mitreden will, sollte verstehen, warum der Käfig wichtiger ist als die Maschine, die darin sitzt.