Der AI Act ist (fast) da!

Im Teil 2 unserer Reihe über Künstliche Intelligenz in der Medizintechnik haben wir uns mit dem Thema „Regulatorische Anforderungen“ befasst. Dabei haben wir einige Normen zu Künstlicher Intelligenz und die sich damit beschäftigenden Komitees genannt. Die Europäische Kommission hat am 9.März 2021 ihre Ziele für die digitale Transformation bis zum Jahr 2030 vorgestellt. Um diese Ziele zu erreichen, werden immer mehr Gesetzgebungen zum Thema KI und Digitalisierung veröffentlicht, die die Forschungs- und Entwicklungsteams sehr herausfordern.

In April 2021 hat die EU-Kommission einen Vorschlag für eine „Verordnung des EU-Parlaments und des Rates zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz (Gesetz über Künstliche Intelligenz) und zur Änderung bestimmter Rechtsakten der Union“ veröffentlicht (Proposal EU AI Act).
Am 14.Juni 2023 haben EU-Abgeordnete eine Teilabstimmung vorgenommen, die zum Ende des Jahres 2023 offiziell wurde. Der EPRS (European Parliamentary Research Service) hat ein Briefing dazu veröffentlicht (Artificial intelligence act (europa.eu)).
Am 08.12.2023 erzielten die Verhandlungsführer von EU-Parlament und Rat eine vorläufige Einigung über das Gesetz für künstliche Intelligenz (AI Act). Diese Verordnung soll sicherstellen, dass die Grundrechte, die Demokratie, die Rechtsstaatlichkeit und die ökologische Nachhaltigkeit vor risikoreicher KI geschützt werden, und gleichzeitig die Innovation fördern und Europa zu einem Vorreiter in diesem Bereich machen (Artificial Intelligence Act: deal on comprehensive rules for trustworthy AI).

Die neuen Vorschriften der KI-Verordnung sollen gelten für:

• alle Anbieter von KI-Systemen, die ein KI-System entwickeln oder entwickeln lassen und dieses dann auch in Verkehr bringen oder in Betrieb nehmen;
• diejenigen, die KI-System in eigener Verantwortung verwenden;
• Händler außerhalb der EU und EU-Importeure;
• Anbieter und Nutzer von KI-Systemen, die in einem Drittland ansässig sind, wenn der von diesen Systemen erzeugte Output in der EU verwendet wird.

Einstufung von KI-Systemen nach einem risikobasierten Ansatz

Da der Einsatz von KI mit ihren spezifischen Merkmalen (wie z.B. Komplexität, Intransparenz, Datenabhängigkeit, autonomes Verhalten) die Grundrechte und die Sicherheit von Nutzern gefährden kann (aber nicht muss), wendet die KI-Verordnung einen risikobasierten Ansatz an. Die erforderliche gesetzliche Regulierungsstärke hängt von der Risikostufe ab:

• ein nicht akzeptables Risiko (unacceptable risk) => verbotene AI-Praktiken,
• ein hohes Risiko (high risk) => regulierte KI-Systeme mit hohem Risiko,
• ein begrenztes Risiko (limited risk) => Transparenz und
• ein geringes oder minimales Risiko (low an minimal risk) => Keine Verpflichtungen.

Data source: European Commission

Medizinprodukte mit KI sind Hochrisiko-KI-Systeme

Wie man der Tabelle entnehmen kann, werden Medizinprodukte mit KI-Anwendung automatisch als Hochrisiko-Systeme eingestuft, da diese von den EU-Gesundheits- und Sicherheitsharmonisierungsvorschriften reguliert werden.

Alle risikoreichen KI-Systeme werden folgenden neuen Vorschriften unterliegen:

• Verpflichtung zu einer Ex-ante /(Vorab)-Konformitätsbewertung:
  • Registrierung des Medizinproduktes in einer von der Kommission verwalteten EU-weiten Datenbank vor dem Inverkehrbringen, Inbetriebnehmen oder Einsatz;
  • Erfüllung von bereits bestehenden Konformitätsregelungen (z.B. MDR oder IVDR);
  • Eigene Konformitätsbewertung (Selbstbewertung) für KI-Systeme, die nicht unter das EU-Recht fallen, als Nachweis des Erfüllens von KI-Act und des Verwendens der CE-Kennzeichnung
  • Konformitätsbewertung durch eine „benannte Stelle für die KI-Systeme mit der biometrischen Identifizierung“.
• Weitere Forderungen:
  • Erfüllen von weiteren Anforderungen, insbesondere in Bezug auf Risikomanagement, Tests, technische Robustheit, Datenschulung und Datenverwaltung, Transparenz, menschliche Aufsicht und Cybersicherheit
  • Erfüllen von Anforderungen gilt für Anbieter, Importeure, Händler und Nutzer von KI-Systemen
  • Anbieter von außerhalb der EU benötigen einen Bevollmächtigten in der EU mit der Verpflichtung zur:
    • Sicherstellung der Konformitätsbewertung,
    • Einrichtung eines Überwachungssystems nach dem Inverkehrbringen und
    • Einleitung der Korrekturmaßnahmen bei Bedarf.

Anforderungen an Hochrisiko-KI-Systeme

„Hochrisiko-KI-Systeme sollten während ihres gesamten Lebenszyklus beständig funktionieren und ein angemessenes Maß an Genauigkeit, Robustheit und Cybersicherheit entsprechend dem allgemein anerkannten Stand der Technik aufweisen…“ (Erwägungsgrund (49))

Titel III des AI Acts beschäftigt sich in 51 Artikeln mit den Anforderungen an Hochrisiko-KI-Systeme. Hier ein Auszug:

• Ein Risikomanagementsystem ist während des gesamten Lebenszyklus des KI-Systems umzusetzen, zu dokumentieren und aufrechtzuerhalten. Das Prinzip ist ähnlich dem von der MDR bzw. IVDR geforderten Risikomanagementsystem mit Zuschnitt auf KI-Spezifika (Artikel 9).
• Sicherstellung der Datenqualität als Grundlage von Trainings-, Validierungs- und Testdatensätzen, falls KI-Techniken zum Einsatz kommen, bei denen Modelle mit Daten trainiert werden. Transparenz für den Zweck und Vorgänge der Datenerhebung (Artikel 10).
• Erstellung der Technische Dokumentation vor dem Inverkehrbringen und halten auf dem neuesten Stand – für Medizinprodukte unter Berücksichtigung der MDR-/IVDR-Anforderungen (Artikel 11)
• Automatische Aufzeichnung von Vorgängen und Ereignissen („Protokollierung“) während des Betriebs der Hochrisiko-KI-Systeme. Ziel ist die Rückverfolgbarkeit des Funktionierens des KI-Systems während seines gesamten Lebenszyklus in einem der Zweckbestimmung des Systems angemessenen Maße (Artikel 12)
• Transparenz und Verständlichkeit beim Betrieb und Einsatz des KI-Systems (Artikel 13)
• Bereitstellung von Informationen (u.a. verständliche, vollständige, Regularien entsprechende digitale Gebrauchsanweisung) (Artikel 13)
• Entwicklung des KI-Systems mit Pflicht zur menschlichen Aufsicht mit einem angemessenen Verhältnis zu den mit diesen KI-Systemen verbundenen Risiken und mit geeigneter Mensch-Maschine-Schnittstelle. Personen, denen die menschliche Aufsicht übertragen wurde, müssen Fähigkeiten und Grenzen des Hochrisiko-KI-Systems vollständig verstehen und seinen Betrieb ordnungsgemäß überwachen sowie Ergebnisse des Hochrisiko-KI-Systems richtig interpretieren können (Artikel 14)

• Hochrisiko-KI-Systeme müssen im Hinblick auf ihre Zweckbestimmung ein angemessenes Maß an Genauigkeit (Genauigkeitsstufen und die einschlägigen Genauigkeitsmetriken sind in der GA/IFU anzugeben), Robustheit (gegenüber Fehlern, Störungen oder Inkonsistenzen innerhalb des Systems oder der Betriebsumgebung) und Cybersicherheit (technische Lösungen zur Behebung KI-spezifischer Schwachstellen müssen den jeweiligen Umständen und Risiken angemessen sein) erreichen und in dieser Hinsicht während ihres gesamten Lebenszyklus beständig funktionieren (Artikel 15)

Pflichten von Anbietern, Nutzern und anderen Beteiligten

Anbieter (von Hochrisiko-KI-Systemen müssen

1. sicherstellen, dass ihre Hochrisiko-KI-Systeme die Anforderungen in Kapitel 2 erfüllen;
2. über ein Qualitätsmanagementsystem nach Artikel 17 verfügen, dies entspricht weitestgehend dem QM-System nach ISO 13485 und MDR/IVDR.
3. die technische Dokumentation des Hochrisiko-KI-Systems erstellen (Artikel 11, 18 + Anhang IV);
4. die von ihren Hochrisiko-KI-Systemen automatisch erzeugten Protokolle aufbewahren, wenn dies ihrer Kontrolle unterliegt (Artikel 20);
5. sicherstellen, dass das Hochrisiko-KI-System dem betreffenden Konformitätsbewertungsverfahren unterzogen wird, bevor es in Verkehr gebracht oder in Betrieb genommen wird (Artikel 43);
6. eine EU-Konformitätserklärung ausstellen (Artikel 48);
7. die CE-Kennzeichnung am KI-System anbringen (Artikel 49);
8. den in Artikel 51 genannten Registrierungspflichten in der EU-Datenbank nachkommen;
9. die erforderlichen Korrekturmaßnahmen ergreifen – auch marktseitig- wenn das Hochrisiko-KI-System die Anforderungen in Kapitel 2 nicht erfüllt (Artikel 21);
10. die zuständigen nationalen Behörden der Mitgliedsstaaten, in denen sie das System bereitgestellt oder in Betrieb genommen haben, und gegebenenfalls die notifizierte Stelle über die Nichtkonformität und bereits ergriffene Korrekturmaßnahmen informieren (Artikel 22);
11. auf Anfrage einer zuständigen nationalen Behörde nachweisen, dass das Hochrisiko-KI-System die Anforderungen in Kapitel 2 dieses Titels erfüllt (Artikel 23).

Produkthersteller übernehmen die Verantwortung für die Konformität des KI-Systems sowie die Pflichten des Anbieters, falls das KI-System unter dem Namen des Produktherstellers in Verkehr gebracht oder in Betrieb genommen wird (Artikel 24).

Bevollmächtige haben im Prinzip die gleichen Pflichten, die auch in MDR/IVDR vorgegeben sind (Artikel 25).

Importeure/Einführer müssen lt. Artikel 26:

• sicherstellen, dass der Anbieter des KI-Systems das betreffende Konformitätsbewertungsverfahren durchgeführt und die technische Dokumentation gemäß Anhang IV erstellt hat sowie das KI-System mit der erforderlichen Konformitätskennzeichnung versehen ist und ihm die erforderlichen Unterlagen und Gebrauchsanweisungen beigefügt sind;
• ihren Namen/Handelsnamen auf dem KI-System und ggf. Begleitunterlagen angegeben;
• Lagerungs- oder Transportbedingungen gewährleisten (soweit zutreffend 😊)
• auf begründetes Verlangen den zuständigen nationalen Behörden das Erfüllen der Konformität nachweisen, einschließlich des Zugangs zu den Protokollen, die automatisch von dem KI-System generiert werden.

Händler müssen lt. Artikel 27:

• überprüfen, ob die erforderliche CE-Konformitätskennzeichnung angebracht ist, ob die erforderlichen Unterlagen und Gebrauchsanweisungen beigefügt sind, und ob der Anbieter und der Einführer/Importeur ihren festgelegten Verpflichtungen nachgekommen sind;
• Lagerungs- oder Transportbedingungen gewährleisten (soweit zutreffend 😊)
• erforderlichen Korrekturmaßnahmen ergreifen, falls das KI-System nicht den Anforderungen entspricht.
• auf begründetes Verlangen den zuständigen nationalen Behörden das Erfüllen der Konformität nachweisen.

Pflichten der Händler, Importeure/Einführer, Nutzer oder sonstiger Dritter lt. Artikel 28:

• jeder der genannten Akteure unterliegt den Verpflichtungen des Anbieters, wenn
  1. sie ein Hochrisiko-KI-System unter ihrem Namen oder ihrer Marke in Verkehr bringen oder in Betrieb nehmen;
  2. sie die Zweckbestimmung eines bereits im Verkehr befindlichen oder in Betrieb genommenen Hochrisiko-KI-Systems verändern;
  3. sie eine wesentliche Änderung an dem Hochrisiko-KI-System vornehmen.
• der ursprüngliche Anbieter muss dem neuen Anbieter alle erforderlichen Unterlagen zur Verfügung stellen, die für die Erfüllung der festgelegten Verpflichtungen erforderlich sind.

Nutzer müssen lt. Artikel 29:

• KI-System gemäß der beigefügten Gebrauchsanweisung nutzen;
• sicherstellen, dass die geforderte Aussichtspflicht durch eine natürliche Person sichergestellt ist;
• beim Auftreten von Risiken im Sinne des Artikels 65 Absatz 1 bzw. einem schwerwiegenden Vorfall oder eine Fehlfunktion im Sinne des Artikels 62 den Anbieter oder Händler informieren und die Verwendung des KI-Systems aussetzen;
• vom KI-System automatisch generierten Protokolle über einen angemessenen Zeitraum aufbewahren;
• die gemäß Artikel 13 bereitgestellten Informationen verwenden, um gegebenenfalls ihrer Verpflichtung zur Durchführung einer Datenschutz-Folgenabschätzung nachzukommen.

Wie geht es weiter?

Der vereinbarte Gesetzestext muss nun sowohl vom Parlament als auch vom Rat offiziell angenommen werden, um EU-Recht zu werden. Die Ausschüsse für Binnenmarkt und Bürgerrechte des Parlaments werden in einer der nächsten Sitzungen über das Abkommen abstimmen. Zuletzt hat Deutschland seine Zustimmung zum AI ACT nach kurzzeitigem Zögern doch signalisiert.

Um keine Zeit zu verlieren, sollten Medizinprodukthersteller, die jetzt schon KI-Technologie in ihren Medizinprodukten einsetzen oder dieses planen, die Auswirkungen des AI Acts auf ihr Unternehmen und seine Prozesse sowie das Medizinprodukt als solches analysieren.

Sehr gern unterstützen die Experten von seleon Sie dabei.

Bitte beachten Sie, dass alle Angaben und Auflistungen nicht den Anspruch der Vollständigkeit haben, ohne Gewähr sind und der reinen Information dienen.