Am 3. Dezember 2024 fand erneut eine Veranstaltung im Rahmen der Ringvorlesung „Automatisierte Systeme“ in hybrider Form statt. Hierzu hatten der Lehrstuhl für Zivilrecht, Europäisches und Internationales Wirtschaftsrecht (Prof. Dr. Buck-Heeb) und der Lehrstuhl für Deutsches, Europäisches und Internationales Zivil- und Handelsrecht (Prof. Dr. Dr. h.c. Oppermann) zusammen mit der Forschungsstelle für Bank- und Kapitalmarktrecht sowie Kapitalmarktstrafrecht und mit dem Interdisziplinären Institut für Automatisierte Systeme e.V. (RifaS) eingeladen.
Dieses Mal konnten Herr Thomas Goost und Frau Cindy Breuer, gewonnen werden. Herr Goost ist seit 2005 Syndikus und hat nach Stationen in der Metallindustrie und der Telekommunikationsbranche bei BNP Paribas S.A. Niederlassung Deutschland den Bereich LEGAL Digital & IP übernommen. In diesem Bereich ist neben dem Datenschutzrecht auch das Recht der Künstlichen Intelligenz von zentraler Bedeutung. Frau Breuer ist seit 2014 Syndika bei BNP Paribas S.A. Niederlassung Deutschland in Frankfurt/Main. Zuvor war sie Rechtanwältin bei Linklaters LLP. Nachdem sie zu Beginn ihrer Karriere vor allem im Kapitalmarktrecht tätig war, ist sie seit 2018 spezialisiert auf IT-Recht mit Schwerpunkten in Datenschutz, Cybersecurity und Blockchain.
Die Referenten befassten sich mit dem Thema der automatisierten Kreditwürdigkeitsprüfungen. Diese sind für Banken in der Praxis von großer Bedeutung bei ihrer Kreditvergabeentscheidung. Dabei wurde eingangs ausgeführt, wie und weshalb eine solche Kreditprüfung erfolgt. Sodann wurden die in der DSGVO enthaltenen gesetzlichen Schranken der automatisierten Kreditentscheidung angesprochen. In jüngster Zeit stellen das Urteil des EuGH von 2023 zur Schufa (RS C-634/21, BKR 2024, 70 ff.) sowie die vor kurzem verabschiedete EU-KI-Verordnung die Banken vor neue rechtliche Herausforderungen. Nach einer Darstellung der Schufa-Entscheidung des EuGH wurden die Konsequenzen für die Praxis aufgezeigt. Die Vortragenden thematisierten dabei insbesondere die dadurch entstandenen praktischen Problempunkte. Dazu zählen etwa die Fragen, was eine „maßgebliche Verwendung“ ist und was der Begriff „ausschließlich automatisiert“ bedeutet.
Thematisiert wurde zudem die im EuGH-Urteil zum Ausdruck kommende Unzulässigkeit des deutschen § 31 BDSG und der in der Folge geplante neue § 37a BDSG-E. Dabei stellte sich heraus, dass die Auswirkungen dieser Entwicklungen auf Kreditvergabeverfahren sich nur schwer auf gesetzlich erforderliche Handlungsanweisungen hin konkretisieren lassen. § 37a BDSG-E, der aufgrund des Scheiterns der Ampelkoalition noch nicht verabschiedet ist, sorgt daher schon jetzt für Unsicherheiten in Bezug auf die Anforderungen an Transparenz und manuelle Überprüfung automatisierter Entscheidungen. Klärungsbedürftig erscheint, was die Praxis im derzeitigen Stadium berücksichtigen sollte, und zwar nicht nur für das externe Scoring z.B. durch die Schufa, sondern auch für das bankinterne Scoring. Herausgearbeitet wurde, dass unklar ist, ob und wenn ja wie § 37a BDSG-E auf ein solches bankinternes Scoring Anwendung finden wird.
Thema war auch, was denn im Rahmen des aus Art. 15 Abs. 1 lit. h DSGVO resultierenden Auskunftsanspruchs die hinreichende Informationen über die involvierte Logik des automatisierten Systems sein sollen, die dem Betroffenen auf Verlangen offengelegt werden müssen. Abgestellt wurde hierbei auf die jüngsten Aussagen des Generalanwalts de la Tour vom 12.9.2024 (RS C-203/22, BeckRS 2024, 23490) zu einem nicht bankenbezogenen Vorlageverfahren. Eingegangen wurde dabei auch auf die Frage, ob der zugrunde liegende Algorithmus jedenfalls bei Behörden und vor Gericht offengelegt werden muss, d.h. ein Verweigern mit dem Argument eines Geschäftsgeheimnisses ausscheidet.
Des Weiteren wurden die Herausforderungen der KI-Verordnung (VO (EU) 2024/1689) dargestellt. Diese ist zwar inzwischen verabschiedet worden, es mangelt bislang aber noch an die Pflichten konkretisierenden delegierten Rechtsakten. Zudem stellt sich in diesem Zusammenhang schon die entscheidende Frage, was genau ein KI-System iSd Verordnung ist. Dabei hilft die in der Verordnung enthaltene Definition aufgrund von deren Abstraktheit nur bedingt weiter, wenn eine Überprüfung der bestehenden Systeme in den Banken vorgenommen wird. Elementar ist dieser Punkt in Bezug auf automatisierte Kreditprüfungen vor allem deshalb, weil die Kreditwürdigkeitsprüfung als sog. Hochrisiko-KI sehr hohen gesetzlichen Anforderungen unterliegt. Abschließend wurden die zahlreichen noch offenen Fragen resümiert, die sich nicht nur etwa auf die Formulierung einer Governance oder eine Auseinandersetzung mit dem DSGVO-Auskunftsanspruch beziehen, sondern auch allgemein auf diejenige nach den zukünftigen Entwicklungen erstrecken.
Über die Ringvorlesung "Automatisierte Systeme"
Nähere Informationen über die Ringvorlesung "Automatisierte Systeme" sowie weitere Rückblicke auf vergangene Veranstaltungen finden Sie hier.
Über das Interdisziplinäre Institut für Automatisierte Systeme e.V. (RifaS)
Das Institut wurde im Herbst 2017 gegründet und steht für eine interdisziplinäre, nationale und internationale Forschung in verschiedenen Bereichen automatisierter Systeme. Die Forschungsbereiche lassen sich in Verkehr und Mobilität, Produktion und Wirtschaft sowie Medizin unterteilen. Das Institut bringt sowohl Wissenschaftler als auch Praktiker zusammen und ist nicht nur in der Forschung aktiv, sondern auch in der Lehre.
Informationen zu aktuellen Veranstaltungen finden sich stets auf www.rifas.de.
