Der zunehmende Einsatz Künstlicher Intelligenz in den Unternehmen wirft die Fragen auf, wie verlässlich KI ist und wie sich diese Verlässlichkeit beurteilen lässt. Das Institut der Wirtschaftsprüfer ist dem Bedarf an standardisierten Prüfungen von KI-Systemen jetzt mit der Veröffentlichung des Prüfungsstandards IDW PS 861 nachgekommen.

Künstliche Intelligenz, Deep-Learning und maschinelles Lernen sind im Moment in aller Munde und kommen auch in den Unternehmen immer mehr an. Den Anfang machte die Belegerkennung im Bereich des Rechnungseingangs und der damit verbundenen automatischen Verbuchung der Eingangsrechnungen in den Rechnungslegungssystemen. Zusätzlich wird die KI verstärkt in Entscheidungsprozesse eingebunden, die datenbasiert sind. Ein Beispiel ist das Hegde-Accounting im Bereich der Fremdwährungsrisiken. Dort kann die KI eingesetzt werden, um auf Basis der Vergangenheitsdaten in Verbindung mit den aktuellen Daten aus den Rechnungslegungssystemen die zukünftigen Zahlungsströme zu ermitteln und die Entscheidung für das Hedging der Fremdwährungen abzubilden.

Das Institut der Wirtschaftsprüfer (IDW) hat auf diese Entwicklung reagiert und einen Prüfungsstandard zur Prüfung von KI-Systemen (IDW PS 861) veröffentlicht. Dieser Standard basiert auf dem ISAE 3000 und ist grundsätzlich für die Prüfung von KI-Systemen außerhalb der Abschlussprüfung anzuwenden. Die in dem Standard vorgesehene Vorgehensweise kann allerdings auch innerhalb der Abschlussprüfung genutzt werden, sofern die Ergebnisse aus den Anwendungen, in denen die KI implementiert ist, für den Jahresabschluss relevante Informationen liefert, die im Rahmen der Abschlussprüfung vom Wirtschaftsprüfer beurteilt werden müssen.

Da der IDW PS 861 auf dem ISAE 3000 basiert, wird das Prüfungsvorgehen von der Auftragsannahme bis zur Erteilung einer Bescheinigung dargestellt. Hierunter fällt auch eine Darstellung der für die Prüfung des KI-Systems anzuwendenden Kriterien, die im Rahmen der Auftragsannahme zu vereinbaren und vom Wirtschaftsprüfer in Bezug auf ihre Eignung zu beurteilen sind. Damit ermöglicht der Prüfungsstandard einen sehr weiten Einsatzbereich, der nicht durch den Einsatz von KI-Systemen im Rahmen des Rechnungswesens beschränkt wird.

Der Standard definiert zunächst, was als KI im Sinne des Standards zu verstehen ist. Dies ist wichtig, da es unterschiedliche Definitionen von KI gibt. Nach der Definition des Deutschen Forschungszentrums für Künstliche Intelligenz können schon regelbasierte Systeme als KI im weiteren Sinne eingestuft werden.

Die Definitionen sind in der TZ 6 des Standards dargestellt. Dabei sind zwei Definitionen wesentlich. Diese sind:

Künstliche Intelligenz

KI weist folgende Merkmale auf:

1. besitzt die Fähigkeit, mathematisch-berechenbare Modelle auf der Basis von Daten zu erstellen und diese auf neue Daten anzuwenden (maschinelles Lernen)
2. nutzt Daten und die in ihnen enthaltenen Muster und Merkmale als Grundlage für das Lernen und generiert Daten ggf. selbst
3. verfügt über Algorithmen, die mathematisch-berechenbare Modelle durch Nutzung von Daten verändern
4. ist in der Lage, Daten auszulesen, zu verarbeiten, zu interpretieren und daraus Informationen zu generieren

KI-System

Ein KI-System beinhaltet folgende Elemente:

1. KI-Governance/KI-Compliance/KI-Monitoring
2. Daten
3. KI-Algorithmus/KI-Modell
4. KI-Anwendung
5. IT-Infrastruktur

Diese Definitionen sind wichtig, damit klar wird, welche IT-Systeme im Rahmen dieses Standards geprüft werden. Daneben findet sich auch eine Abgrenzung für KI. Denn Anwendungen, die durch Wenn-Dann-Regelungen/vorgegebene Entscheidungsbäume bzw. durch komplexe Verfahren der deskriptiven oder induktiven Statistik dargestellt werden, fallen nicht in die Kategorie KI im Sinne des Standards.

Im Weiteren geht der Standard davon aus, dass für die Prüfung eine Erklärung der Geschäftsleitung zum KI-System vorliegt. Diese ist dann Gegenstand der Prüfung. Damit wird nicht unmittelbar die KI beurteilt, sondern die Erklärung der Geschäftsleitung zum eingesetzten KI-System. Daneben gibt der Standard die Möglichkeit, die KI zu einem bestimmten Zeitpunkt im Rahmen einer Angemessenheitsprüfung zu beurteilen oder unter Berücksichtigung eines zu definierenden Zeitraums auch die Wirksamkeit des KI-Systems für diesen Zeitraum zu beurteilen.

Im Folgenden werden die Anforderungen definiert, die die Kriterien, die für die Prüfung genutzt werden sollen, erfüllen müssen. Diese sind nach TZ 12 des Standards insbesondere:

1. ethische und rechtliche Anforderungen
2. Nachvollziehbarkeit
3. IT-Sicherheit
4. Leistungsfähigkeit

Darauf aufbauend werden Kriterien definiert, die nach Ansicht des IDW von einem KI-System erfüllt werden müssen und damit zwingend eine Grundlage für die Beurteilung darstellen. Diese sind:

• KI-Governance/KI-Compliance/KI-Monitoring
• Daten
• KI-Algorithmus/KI-Modell
• KI-Anwendungen
• IT-Infrastruktur

Im Standard finden sich dafür noch weitergehende Erläuterungen.

Ein bedeutender Punkt für die Prüfung eines KI-Systems ist die Beurteilung der Wesentlichkeit. Diese wird benötigt, um die Prüfungsfeststellungen und damit das Prüfungsergebnis bzw. die Bescheinigung aus den Prüfungsfeststellungen abzuleiten. Dabei muss der Wirtschaftsprüfer beurteilen, in welchen Fällen eine festgestellte Darstellung in der Beschreibung des KI-Systems bzw. ein festgestellter Mangel des KI-Systems zu einer Einschränkung des Urteils bzw. zu einer Versagung der Bescheinigung führt.

Im Folgenden geht der Standard den Prozess der Prüfung durch. Entsprechend des risikoorientierten Prüfungsansatzes wird der Wirtschaftsprüfer eine Verständnisgewinnung durchführen, um das KI-System zu verstehen. Aufbauend auf der Verständnisgewinnung wird der Wirtschaftsprüfer die Risiken falscher Darstellungen in der Beschreibung des KI-Systems ermitteln und auf Basis seiner Erkenntnisse das weitere Prüfungsvorgehen planen. Sofern für die Prüfung der Beschreibung des KI-Systems interne Kontrollen des Mandanten relevant sind, wird er diese internen Kontrollen erheben und im Rahmen seiner Prüfung berücksichtigen. Dabei wird er eine Angemessenheits- und je nach Auftrag auch eine Wirksamkeitsprüfung durchführen.

Ziel der Prüfung ist es, mit hinreichender Sicherheit, die keine absolute Sicherheit ist, ein Prüfungsurteil über die Erklärung des KI-System abgeben zu können. Der Standard stellt dann noch dar, wie Sachverständige oder Prüfungsurteile anderer Wirtschaftsprüfer in der Prüfung berücksichtigt werden können. Abschließend enthält der Standard noch eine Darstellung der Anforderungen an den Bericht.

Haben Sie Fragen zur Prüfung von KI-Systemen oder benötigen Informationen zu den Anforderungen an KI-Systeme in Abhängigkeit von deren Einsatzgebiet? Kontaktieren Sie uns!

Autor: Armin Wilting