Öffentliche Organisationen stehen zunehmend vor der Herausforderung, Künstliche Intelligenz (KI) zu beschaffen und in ihre Prozesse zu integrieren. Dabei müssen sie eine Vielzahl von rechtlichen und ethischen Aspekten berücksichtigen, insbesondere auf EU-Ebene. Dieser Artikel bietet einen umfassenden Überblick über die aktuellen EU-Vertragsklauseln für die KI-Beschaffung und dient als Leitfaden, um öffentliche Auftraggeber bei der rechtssicheren und verantwortungsvollen Implementierung von KI-Systemen zu unterstützen. Er beleuchtet die wichtigsten Bestimmungen, Risiken und Chancen und gibt praktische Hinweise für die Anwendung in der Praxis. Die korrekte Anwendung dieser Klauseln ist entscheidend, um Transparenz, Fairness und den Schutz der Grundrechte zu gewährleisten.
Grundlagen der KI-Beschaffung im öffentlichen Sektor
Die öffentliche Beschaffung von KI-Systemen unterscheidet sich von der Beschaffung herkömmlicher Güter und Dienstleistungen. Dies liegt vor allem an der Komplexität von KI, ihrer inhärenten Intransparenz und dem Potenzial für Bias und Diskriminierung. Das Vergaberecht der EU, insbesondere die EU-Richtlinien zur öffentlichen Auftragsvergabe (z.B. Richtlinie 2014/24/EU), bilden den rechtlichen Rahmen, der jedoch durch spezifische Anforderungen für KI ergänzt werden muss.
Eine der größten Besonderheiten bei der Beschaffung von KI-Systemen ist die Notwendigkeit, nicht nur die Funktionalität, sondern auch die ethischen und gesellschaftlichen Auswirkungen zu berücksichtigen. Während bei traditionellen Beschaffungen oft klare Leistungsbeschreibungen und messbare Ergebnisse im Vordergrund stehen, erfordert die KI-Beschaffung eine umfassendere Risikobetrachtung. Öffentliche Auftraggeber müssen sicherstellen, dass die eingesetzten KI-Systeme transparent, nachvollziehbar und frei von Diskriminierung sind. Dies erfordert eine sorgfältige Definition der Anforderungen, eine transparente Bewertung der Angebote und eine kontinuierliche Überwachung der KI-Systeme während ihres gesamten Lebenszyklus.
Ein weiterer wichtiger Aspekt ist die Datenqualität. KI-Systeme lernen aus Daten, und die Qualität dieser Daten hat einen direkten Einfluss auf die Leistung und Fairness des Systems. Öffentliche Auftraggeber müssen daher sicherstellen, dass die verwendeten Daten repräsentativ, korrekt und vollständig sind und dass angemessene Maßnahmen zum Schutz der Daten getroffen werden.
Zudem ist die Expertise im Bereich KI oft begrenzt. Viele öffentliche Organisationen verfügen nicht über das notwendige Know-how, um KI-Systeme zu bewerten und zu beschaffen. Dies führt häufig zu einer Abhängigkeit von externen Anbietern und birgt das Risiko, dass ungeeignete oder überteuerte Lösungen beschafft werden. Um dies zu vermeiden, ist es wichtig, dass öffentliche Auftraggeber ihre Kompetenzen im Bereich KI ausbauen und sich bei Bedarf externe Expertise hinzuziehen.
Überblick über aktuelle EU-Vertragsklauseln für KI
Die EU-Kommission hat erkannt, dass spezifische EU-Vertragsklauseln für die KI-Beschaffung notwendig sind, um die oben genannten Herausforderungen zu bewältigen. Diese Klauseln sollen öffentliche Auftraggeber dabei unterstützen, KI-Systeme rechtssicher, ethisch und verantwortungsvoll zu beschaffen.
Ein wichtiger Bestandteil sind die Modellvertragsklauseln, die die EU-Kommission in Reaktion auf den kommenden KI-Verordnung (Artificial Intelligence Act, kurz AIA) entwickelt hat, besonders im Hinblick auf Hochrisiko-KI. Diese Standardvertragsklauseln sollen als Grundlage für die Vertragsgestaltung dienen und sicherstellen, dass die wichtigsten Aspekte wie Transparenz, Verantwortlichkeit, Datensicherheit und Compliance berücksichtigt werden. Die Klauseln umfassen Regelungen zu Themen wie:
- Zweckbindung der KI: Die KI darf nur für den im Vertrag festgelegten Zweck eingesetzt werden.
- Datenschutz: Die Verarbeitung personenbezogener Daten muss im Einklang mit der DSGVO erfolgen.
- Transparenz: Die Funktionsweise der KI muss nachvollziehbar sein.
- Auditierbarkeit: Die KI muss von unabhängigen Dritten geprüft werden können.
- Haftung: Die Haftung für Schäden, die durch die KI verursacht werden, muss klar geregelt sein.
- Rechte der Betroffenen: Betroffene Personen müssen über die Verwendung ihrer Daten informiert werden und das Recht haben, Widerspruch einzulegen.
Die KI-Verordnung selbst wird die KI-Beschaffung maßgeblich beeinflussen, da sie klare Anforderungen an die Entwicklung, das Inverkehrbringen und die Verwendung von KI-Systemen stellt. Insbesondere für Hochrisiko-KI sind strenge Konformitätsbewertungsverfahren und Zertifizierungen vorgesehen. Öffentliche Auftraggeber müssen sicherstellen, dass die von ihnen beschafften KI-Systeme den Anforderungen der KI-Verordnung entsprechen.
Es ist wichtig zu betonen, dass die Modellvertragsklauseln der EU-Kommission lediglich eine Empfehlung darstellen. Öffentliche Auftraggeber können diese Klauseln an ihre spezifischen Bedürfnisse anpassen. Es ist jedoch ratsam, sich bei der Vertragsgestaltung an den Modellklauseln zu orientieren, um sicherzustellen, dass die wichtigsten Aspekte berücksichtigt werden.
Weiterführende Informationen zu den Entwürfen von EU-Modellvertragsklauseln für Hochrisiko-KI-Systeme im öffentlichen Sektor finden Sie hier: Entwurf von EU-Modellvertragsklauseln für Hochrisiko-KI im … (haerting.de)
Risikomanagement und Compliance bei der KI-Beschaffung
Die Beschaffung von KI-Systemen birgt eine Reihe von Risiken, die öffentliche Organisationen sorgfältig managen müssen. Diese Risiken können technischer, ethischer, rechtlicher oder operationeller Natur sein. Ein systematisches Risikomanagement ist daher unerlässlich, um potenzielle negative Auswirkungen zu minimieren und die Vorteile der KI-Technologie optimal zu nutzen.
Zu den wichtigsten Risiken gehören:
- Diskriminierung und Bias: KI-Systeme können bestehende Vorurteile in den Trainingsdaten verstärken und zu diskriminierenden Ergebnissen führen. Dies kann zu unfairen oder ungerechten Entscheidungen in Bereichen wie Strafverfolgung, Sozialleistungen oder Personalwesen führen.
- Datenschutzverletzungen: KI-Systeme verarbeiten oft große Mengen sensibler Daten. Ein unzureichender Schutz dieser Daten kann zu Datenschutzverletzungen und Verstößen gegen die DSGVO (Datenschutz-Grundverordnung) führen.
- Mangelnde Transparenz und Erklärbarkeit: Viele KI-Systeme, insbesondere solche, die auf komplexen Algorithmen des maschinellen Lernens basieren, sind schwer zu verstehen und zu erklären. Dies kann das Vertrauen in die Technologie untergraben und die Verantwortlichkeit erschweren.
- Sicherheitsrisiken: KI-Systeme können anfällig für Cyberangriffe sein, die zu Manipulationen der Ergebnisse oder zum Diebstahl von Daten führen können.
- Fehlerhafte Entscheidungen: Fehler in der Entwicklung, Implementierung oder im Betrieb von KI-Systemen können zu falschen oder ungenauen Entscheidungen führen, die erhebliche Konsequenzen haben können.
Um diese Risiken zu minimieren, sollten öffentliche Organisationen einen umfassenden Compliance-Rahmen implementieren, der die folgenden Elemente umfasst:
- Datenschutz: Sicherstellung der Einhaltung der DSGVO und anderer relevanter Datenschutzgesetze. Dies umfasst die Implementierung geeigneter technischer und organisatorischer Maßnahmen zum Schutz personenbezogener Daten.
- Datensicherheit: Schutz von Daten vor unbefugtem Zugriff, Verlust oder Beschädigung. Dies umfasst die Implementierung von Sicherheitsrichtlinien, Zugriffskontrollen und Verschlüsselungstechnologien.
- Ethik: Entwicklung und Implementierung ethischer Richtlinien für die KI-Entwicklung und ‑Nutzung. Diese Richtlinien sollten Prinzipien wie Fairness, Transparenz, Verantwortlichkeit und Menschenwürde berücksichtigen.
- Transparenz: Sicherstellung der Transparenz von KI-Systemen, indem Informationen über die verwendeten Daten, Algorithmen und Entscheidungsprozesse bereitgestellt werden.
- Verantwortlichkeit: Festlegung klarer Verantwortlichkeiten für die Entwicklung, Implementierung und den Betrieb von KI-Systemen. Dies umfasst die Benennung von Verantwortlichen für die Überwachung der Einhaltung ethischer und rechtlicher Anforderungen.
- Auditierbarkeit: Ermöglichung der Auditierbarkeit von KI-Systemen, um die Einhaltung ethischer und rechtlicher Anforderungen zu überprüfen.
Die Identifizierung und Bewertung von Risiken sollte ein integraler Bestandteil des KI-Beschaffungsprozesses sein. Öffentliche Organisationen sollten eine Risikoanalyse durchführen, um potenzielle Risiken zu identifizieren und deren Wahrscheinlichkeit und Auswirkungen zu bewerten. Auf Basis dieser Analyse können dann geeignete Minderungsmaßnahmen ergriffen werden, um die Risiken zu minimieren.
Praktische Anwendung der EU-Vertragsklauseln
Die Implementierung der EU-Vertragsklauseln in den Beschaffungsprozess erfordert eine sorgfältige Planung und Umsetzung. Hier sind konkrete Handlungsempfehlungen für öffentliche Organisationen:
- Frühzeitige Einbindung rechtlicher Expertise: Bereits in der frühen Planungsphase sollten Rechtsexperten in den Beschaffungsprozess eingebunden werden, um sicherzustellen, dass alle relevanten EU-Vertragsklauseln berücksichtigt werden.
- Anpassung der Ausschreibungsunterlagen: Die Ausschreibungsunterlagen müssen so gestaltet sein, dass sie die Anforderungen der EU-Vertragsklauseln widerspiegeln. Dies umfasst die Aufnahme von Klauseln zu Themen wie Datenschutz, Datensicherheit, Ethik, Transparenz und Verantwortlichkeit.
- Definition klarer Leistungsanforderungen: Die Leistungsanforderungen für das KI-System müssen klar und präzise definiert werden, um sicherzustellen, dass das System den ethischen und rechtlichen Anforderungen entspricht.
- Berücksichtigung von Standardvertragsklauseln: Die EU-Kommission hat Standardvertragsklauseln für die Beschaffung von KI-Systemen entwickelt. Diese Klauseln können als Vorlage für die Gestaltung der Vertragsbedingungen verwendet werden. Siehe EU-Kommission: Standardvertragsklauseln für die Beschaffung von KI (bi-medien.de) — Nachricht über die Veröffentlichung von Standardvertragsklauseln für KI-Beschaffungen durch die EU-Kommission.
- Sorgfältige Bewertung der Angebote: Die Angebote der Bieter müssen sorgfältig geprüft werden, um sicherzustellen, dass sie den Anforderungen der EU-Vertragsklauseln entsprechen. Dies umfasst die Bewertung der technischen Spezifikationen des KI-Systems, der Datenschutzmaßnahmen, der ethischen Richtlinien und der Verantwortlichkeiten der Bieter.
- Implementierung von Kontrollmechanismen: Nach der Zuschlagserteilung sollten Kontrollmechanismen implementiert werden, um sicherzustellen, dass das KI-System während des Betriebs den Anforderungen der EU-Vertragsklauseln entspricht. Dies umfasst die regelmäßige Überprüfung der Datenschutzmaßnahmen, die Überwachung der ethischen Richtlinien und die Durchführung von Audits.
- Schulung der Mitarbeiter: Die Mitarbeiter der öffentlichen Organisation müssen in den Anforderungen der EU-Vertragsklauseln geschult werden, um sicherzustellen, dass sie diese bei der Beschaffung und Nutzung von KI-Systemen berücksichtigen.
- Dokumentation des Beschaffungsprozesses: Der gesamte Beschaffungsprozess, einschließlich der Risikoanalyse, der Bewertung der Angebote und der Implementierung der Kontrollmechanismen, sollte sorgfältig dokumentiert werden.
- Nutzung von Mustervertragsklauseln: Informationen zu EU-Mustervertragsklauseln für KI-Beschaffung durch öffentliche Organisationen finden sich hier: Mustervertragsklauseln für die KI-Beschaffung durch öffentliche … (datenrecht.ch).
Eine transparente und nachvollziehbare Vertragsgestaltung ist entscheidend, um das Vertrauen in die KI-Systeme zu stärken. Die Ausschreibung sollte so gestaltet sein, dass sie die Anforderungen der EU-Vertragsklauseln klar kommuniziert und die Bieter auffordert, ihre Vorgehensweise zur Einhaltung dieser Anforderungen darzulegen. Bei der Bewertung der Angebote sollten nicht nur die technischen Aspekte, sondern auch die ethischen und rechtlichen Aspekte berücksichtigt werden. Der Zuschlag sollte nur an Bieter erteilt werden, die nachweislich in der Lage sind, die Anforderungen der EU-Vertragsklauseln zu erfüllen.
Die Rolle der KI-Verordnung bei der Beschaffung
Die kommende EU-KI-Verordnung wird die öffentliche Beschaffung von KI-Systemen maßgeblich beeinflussen. Die Verordnung zielt darauf ab, einheitliche Regeln für die Entwicklung, das Inverkehrbringen und die Nutzung von KI-Systemen in der EU zu schaffen. Sie unterscheidet zwischen verschiedenen Risikokategorien von KI-Systemen und legt je nach Risikograd unterschiedliche Anforderungen fest.
Insbesondere für Hochrisiko-KI-Systeme sieht die Verordnung strenge Anforderungen vor. Diese Anforderungen betreffen unter anderem die Datenqualität, die Dokumentation, die Transparenz, die menschliche Aufsicht und die Robustheit der Systeme. Öffentliche Organisationen, die Hochrisiko-KI-Systeme beschaffen, müssen sicherstellen, dass die Systeme diese Anforderungen erfüllen.
Die KI-Verordnung sieht eine Konformitätsbewertung für Hochrisiko-KI-Systeme vor. Dies bedeutet, dass die Systeme vor dem Inverkehrbringen oder der Nutzung einer unabhängigen Prüfung unterzogen werden müssen, um sicherzustellen, dass sie den Anforderungen der Verordnung entsprechen. Die Konformitätsbewertung kann entweder durch eine Zertifizierung oder durch eine andere Form der Bewertung erfolgen.
Die Anforderungen der KI-Verordnung werden sich in den Beschaffungsprozess integrieren lassen. Öffentliche Organisationen müssen sicherstellen, dass die Ausschreibungsunterlagen die Anforderungen der KI-Verordnung widerspiegeln und dass die Bieter nachweisen, dass ihre KI-Systeme die Konformitätsbewertung bestanden haben.
Die KI-Verordnung wird auch die Verantwortlichkeiten der öffentlichen Organisationen bei der Beschaffung von KI-Systemen präzisieren. Öffentliche Organisationen sind dafür verantwortlich, sicherzustellen, dass die KI-Systeme, die sie beschaffen, sicher, zuverlässig und ethisch sind. Sie müssen auch sicherstellen, dass die Systeme die Grundrechte und die Werte der EU respektieren.
Best Practices für eine ethische und verantwortungsvolle KI-Beschaffung
Ethische und verantwortungsvolle KI-Beschaffung ist mehr als nur die Einhaltung von Gesetzen; es geht darum, sicherzustellen, dass KI-Systeme im Einklang mit den Werten und Zielen der öffentlichen Organisation stehen und der Gesellschaft als Ganzes dienen. Dies erfordert einen proaktiven Ansatz, der ethische Überlegungen in jeden Schritt des Beschaffungsprozesses integriert.
Ein wichtiger Aspekt ist die Fairness von KI-Systemen. Öffentliche Organisationen müssen sicherstellen, dass die von ihnen beschafften KI-Systeme keine diskriminierenden Ergebnisse liefern. Dies erfordert eine sorgfältige Prüfung der Trainingsdaten, der Algorithmen und der Entscheidungsfindungsprozesse der KI-Systeme. Es ist wichtig, Diversität in den Datensätzen sicherzustellen und Algorithmen zu verwenden, die Transparenz und Erklärbarkeit fördern.
Inklusion ist ein weiterer entscheidender Faktor. KI-Systeme sollten so konzipiert sein, dass sie für alle Bürgerinnen und Bürger zugänglich und nutzbar sind, unabhängig von ihren Fähigkeiten, ihrem Geschlecht, ihrer ethnischen Zugehörigkeit oder ihrem sozioökonomischen Status. Dies erfordert eine enge Zusammenarbeit mit Interessengruppen und der Zivilgesellschaft, um die Bedürfnisse und Perspektiven aller Beteiligten zu berücksichtigen.
Transparenz und Rechenschaftspflicht sind unerlässlich, um das Vertrauen der Öffentlichkeit in KI-Systeme zu gewährleisten. Öffentliche Organisationen sollten transparent darüber sein, wie KI-Systeme funktionieren, wie sie eingesetzt werden und welche Auswirkungen sie haben. Sie sollten auch Mechanismen einrichten, um die Rechenschaftspflicht für Entscheidungen zu gewährleisten, die von KI-Systemen getroffen werden.
Die Nachhaltigkeit von KI-Systemen ist ebenfalls ein wichtiger Aspekt. Öffentliche Organisationen sollten bei der Beschaffung von KI-Systemen darauf achten, dass diese energieeffizient sind und keine negativen Auswirkungen auf die Umwelt haben. Sie sollten auch die langfristigen Auswirkungen der KI-Systeme auf die Arbeitsplätze und die Gesellschaft insgesamt berücksichtigen.
Um eine ethische und verantwortungsvolle KI-Beschaffung zu gewährleisten, können öffentliche Organisationen folgende Maßnahmen ergreifen:
- Ethische Leitlinien entwickeln: Erstellung von klaren und umfassenden ethischen Leitlinien für die KI-Beschaffung, die die Werte und Ziele der Organisation widerspiegeln.
- Risikobewertung durchführen: Durchführung einer umfassenden Risikobewertung, um potenzielle ethische, soziale und ökologische Risiken im Zusammenhang mit der KI-Beschaffung zu identifizieren.
- Interessengruppen einbeziehen: Einbeziehung von Interessengruppen, einschließlich Bürgerinnen und Bürger, Expertinnen und Experten sowie Vertreterinnen und Vertretern der Zivilgesellschaft, in den Beschaffungsprozess.
- Transparente Beschaffungsverfahren anwenden: Anwendung transparenter Beschaffungsverfahren, die eine offene und faire Bewertung der Angebote ermöglichen.
- Unabhängige Überprüfung durchführen: Durchführung einer unabhängigen Überprüfung der KI-Systeme, um sicherzustellen, dass sie ethischen und rechtlichen Anforderungen entsprechen.
- Kontinuierliche Überwachung und Bewertung: Kontinuierliche Überwachung und Bewertung der KI-Systeme, um sicherzustellen, dass sie weiterhin ethischen und rechtlichen Anforderungen entsprechen und ihren beabsichtigten Zweck erfüllen.
Fazit
Die Beschaffung von KI durch öffentliche Organisationen ist ein komplexer Prozess, der eine sorgfältige Berücksichtigung rechtlicher, ethischer und technischer Aspekte erfordert. Die korrekte Anwendung der EU-Vertragsklauseln ist entscheidend, um Rechtssicherheit, Transparenz und den Schutz der Grundrechte zu gewährleisten. Die kommende EU-KI-Verordnung wird zusätzliche Anforderungen an die Beschaffung von KI-Systemen stellen. Eine proaktive Herangehensweise an das Risikomanagement, die Einhaltung ethischer Grundsätze und die Einbeziehung von Interessengruppen sind unerlässlich, um das Vertrauen der Öffentlichkeit in KI-Systeme zu gewinnen und sicherzustellen, dass sie der Gesellschaft als Ganzes dienen. Zukünftige Entwicklungen im Bereich der KI-Beschaffung werden sich voraussichtlich auf die Standardisierung von Prozessen, die Entwicklung von Zertifizierungsverfahren und die Förderung von Innovationen im Bereich der ethischen KI konzentrieren.
Weiterführende Quellen
- Öffentliche Beschaffung Archive — cosinex Blog – Bietet Informationen und Nachrichten rund um die öffentliche Beschaffung, inklusive KI-Beschaffung.
- Mustervertragsklauseln für die KI-Beschaffung durch öffentliche … (datenrecht.ch) – Informationen zu EU-Mustervertragsklauseln für KI-Beschaffung durch öffentliche Organisationen.
- EU-Kommission: Standardvertragsklauseln für die Beschaffung von KI (bi-medien.de) – Nachricht über die Veröffentlichung von Standardvertragsklauseln für KI-Beschaffungen durch die EU-Kommission.
- Künstliche Intelligenz | IZT — Institut für Zukunftsstudien und Technologiebewertung – Bietet Informationen und Studien zu Künstlicher Intelligenz, einschließlich ethischer Aspekte.
- AlgorithmWatch – Eine gemeinnützige Forschungsorganisation, die Algorithmen und ihre Auswirkungen auf die Gesellschaft untersucht.
