Nach Banklehre, BWL- und Jurastudium ist Marion Schultz seit 1999 als Rechtsanwältin zugelassen und für Nutzer*innen und Anbieter*innen unternehmensbezogener Informationstechnologie beratend und rechtsgestaltend tätig. Als zertifizierte Projektmanagerin (klassisch und agil), IT-Risk-Practitioner (ISACA®) und IT-Compliance-Manager (ISACA®) berät sie Unternehmen und baut Verträge so auf, dass wichtige rechtliche Aspekte im Zuge bekannter Managementmethoden quasi nebenbei berücksichtigt und mehrwertstiftend umgesetzt werden können. Außerdem beteiligte sich Marion Schultz über verschiedene Verbände an EU-Digital-Gesetzgebungsprozessen der im Juli 2024 beendeten Legislaturperiode des Europäischen Parlaments. Marion Schultz veröffentlicht in wissenschaftlichen Fachzeitschriften und referiert auf Fachtagungen und Konferenzen. Sie ist Gastdozentin an der Friedrich Alexander Universität Erlangen-Nürnberg im Rahmen des LL.M.- Studiengangs „Recht und Informatik“. Sie ist Mitglied in der Fachgruppe IT Compliance der ISACA® – Germany Chapter und engagiert sich im Rahmen von IHK-Fortbildungen für den Mittelstand. Im Handbuch Data Act des Verlags WoltersKluwer ist Marion Schultz Co-Autorin. Nach langjährigen Berufserfahrungen in einem international agierenden High-Tech-Konzern hat sie im Jahr 2022 die TRENCHANT Rechtanwalts-GmbH gegründet.
KI-Regulierung – drei Fragen an Marion Schultz
Die Regulierung von Künstlicher Intelligenz (KI) gewinnt zunehmend an Bedeutung. Unternehmen stehen vor der Herausforderung, rechtliche Vorgaben frühzeitig zu berücksichtigen, um Haftungsrisiken zu minimieren und Skalierbarkeit zu sichern. Marion Schultz beantwortet drei zentrale Fragen zur erfolgreichen Umsetzung von KI-Projekten, den größten Risiken und dem Umgang mit der neuen ISO 42001.
Was ist der wichtigste Erfolgsfaktor für ein KI-Projekt? Wer muss besondere Awareness für das Thema KI in einem Unternehmen entwickeln?
Marion Schultz: Der wichtigste Erfolgsfaktor für ein KI-Projekt ist die frühzeitige Einbindung der Geschäftsleitung in die strategische und technische Planung auf Basis genauer Kenntnis sämtlicher rechtlicher Anforderungen. Gerade die KI-Regulierung zeigt, warum das entscheidend ist: Sie bringt nicht nur Herausforderungen, sondern auch Chancen. Wer frühzeitig die rechtlichen Anforderungen integriert, vermeidet teure Anpassungen und schafft Vertrauen, Skalierbarkeit und nachhaltigen Erfolg.
Drei zentrale Aspekte:
- Compliance als Wettbewerbsvorteil: Frühzeitige Berücksichtigung rechtlicher Vorgaben vermeidet Verzögerungen, Bußgelder und Haftung. Die Skalierung wird erleichtert.
- Geschäftsführung in der Verantwortung: Die KI-VO sieht Haftung für Hochrisiko-KI vor. Entscheider müssen Risiken kennen und steuern.
- Juristische Begleitung spart Kosten: Frühzeitige Beratung verhindert Fehlinvestitionen, etwa in verbotene oder nicht zertifizierbare Systeme.
Fazit: KI ist nicht nur Technik, sondern auch ein Governance- und Compliance-Thema – und damit Chefsache. Wer das erkennt, hat einen klaren Vorteil.
Wo liegen die größten Risiken von KI, insbesondere in Bezug auf Datenschutz und Haftung?
Marion Schultz: Die größten Haftungsrisiken aus der KI-VO im Zusammenhang mit der DSGVO liegen vor allem in der Kombination von Datenschutz- und KI-Verstößen. Ein Unternehmen kann gleichzeitig gegen beide Verordnungen verstoßen, z. B. wenn eine KI-basierte Augmented-Reality-Brille in der Industrie eingesetzt wird, die auch die Aufmerksamkeit des Mitarbeiters trackt, ohne dass die notwendigen Datenschutzvorkehrungen getroffen werden. Die DSGVO regelt den Schutz personenbezogener Daten und sieht Bußgelder bis zu 4 Prozent des Jahresumsatzes oder 20 Mio. Euro vor. Die KI-VO sanktioniert u.a. verbotene KI-Praktiken, wie den Einsatz unzulässiger Überwachungsmodelle, mit Bußgeldern bis zu 7 Prozent des Umsatzes oder 35 Mio. Euro. Ingenieur*innen müssen also sicherstellen, dass ihre KI-Systeme sowohl datenschutzkonform als auch regulatorisch zulässig sind, um doppelte Haftung zu vermeiden.
Übersehen werden darf daneben nicht, dass KI eine Software im Sinne der am 04. Dezember 2024 in Kraft getretenen EU-Produkthaftungsrichtlinie ist. Diese muss in den Mitgliedsstaaten bis zum 09. Dezember 2026 umgesetzt werden und birgt neben den genannten Bußgeldern das Risiko von Schadensersatzansprüchen in den Fällen, in denen die KI nicht den Anforderungen der KI-VO entspricht und dadurch zu Schäden bei Dritten führt.
Wie gehe ich mit der ISO 42001 um und ersetzt deren Umsetzung eine rechtliche Beratung zur KI-VO?
Marion Schultz: Die ISO/IEC 42001:2023 ist eine internationale Norm, die eng mit anderen Managementsystemnormen verwandt und ähnlich strukturiert ist. Sie bietet einen Rahmen für die Einrichtung, den Einsatz und die Pflege eines KI Management Systems, in dem die Grundsätze, Richtlinien und Ziele in Bezug auf die Entwicklung, die Anwendung sowie das Management von KI innerhalb einer Organisation definiert sind. Der Standard kann als technologie-fokussierte Erweiterung bereits bestehender Standards wie ISO/IEC 27001 oder ISO 9001 betrachtet werden.
Zu beachten ist, dass die Vorgaben und Anforderungen dieser Norm nicht auf die EU-KI-VO abgestimmt sind. Einige (!) Anforderungen aus der KI-VO eigenen sich jedoch dazu, in ein solches System integriert zu werden. Die KI-Verordnung bildet damit einen Teil des sog. „Kontext der Organisation“, der in Teil 4 von ISO-Normen angesprochen wird. Soweit Beratungsfirmen derzeit selbst entwickelte Softwaretools zur Umsetzung der ISO 42001 mit dem Hinweis bewerben, dass damit „KI-Systeme effizient und sicher betrieben werden können“, ist größte Vorsicht geboten. Die KI-Verordnung geht mit Blick auf Hochrisiko-KI-Systeme weit über die Möglichkeiten der ISO-Norm hinaus. Im Hinblick auf KI-Systeme mit geringem Risiko dürfte sie oft überschießend sein.
Die KI-VO ist eine Rechtsnorm, die Beratung dazu aus gutem Grund durch das Rechtsberatungsgesetz den hierfür qualifizierten Rechtsanwält*innen vorbehalten.
Über die Autorin:
