Risiken von KI-generiertem Code: Qualität, Haftung, Sicherheit

KI-generierter Code sieht oft fertig aus, bevor er es ist. Genau darin liegen die Risiken von KI-generiertem Code, die sich von klassischen Programmierfehlern unterscheiden. Ein Sprachmodell erzeugt syntaktisch korrekten, lauffähigen Code, der trotzdem eine Sicherheitslücke, einen Lizenzverstoß oder eine fehlende Eingabevalidierung enthalten kann, ohne dass das auf den ersten Blick auffällt.

KI-generierter Code in Zahlen

Eine vielzitierte Untersuchung der University of Illinois hat 2022 rund 1.689 von GitHub Copilot erzeugte Codebeispiele in sicherheitsrelevanten Szenarien geprüft. Nach dieser Untersuchung waren etwa 40 Prozent der Beispiele anfällig für Schwachstellen aus den MITRE CWE Top 25, einer Liste der häufigsten und gefährlichsten Softwarefehler. Die Zahl stammt aus einem kontrollierten Testaufbau mit einem einzelnen, inzwischen älteren Modell. Auf aktuelle Werkzeuge lässt sie sich nicht unverändert übertragen, das Grundmuster hat sich aber in neueren Untersuchungen bestätigt.

Eine Analyse auf arXiv aus dem Jahr 2026 hat 86.726 Codebeispiele über sieben Sprachmodelle und vier Programmiersprachen hinweg auf Compilierungs- und Laufzeitfehler untersucht. Nach dieser Analyse lässt generierter Code auffällig häufig die Eingabevalidierung aus, also genau die Stelle, an der ein Programm prüft, ob eingehende Daten überhaupt plausibel sind. Fehlt diese Prüfung, kann eine einfache Falscheingabe zum Programmabsturz führen oder, im ungünstigsten Fall, zu einer Sicherheitslücke.

Ein typisches Beispiel zeigt, wie das in der Praxis aussieht. Ein Sprachmodell schlägt für eine Login-Funktion Code vor, der Zugangsdaten prüft, dabei aber keine Begrenzung für fehlgeschlagene Versuche einbaut. Der Code kompiliert, die Funktion arbeitet im Test einwandfrei, trotzdem lässt sich das System damit unbemerkt für automatisierte Anmeldeversuche öffnen. Solche Lücken fallen in einem oberflächlichen Review kaum auf, weil der Code auf den ersten Blick unauffällig wirkt.

Lizenzrisiko: wer haftet für übernommenen Code

Neben der Sicherheit gibt es ein oft übersehenes zweites Risiko, das Lizenzrecht. Sprachmodelle sind mit Code aus offen zugänglichen Repositories trainiert, darunter auch mit Code unter Copyleft-Lizenzen wie der GPL, die bei Weiterverwendung eigene Pflichten auslösen können, etwa die Offenlegung des eigenen Quellcodes. Löst ein Entwickler damit unbemerkt eine solche Pflicht aus, trifft die Konsequenz das einsetzende Unternehmen. Der Anbieter des KI-Werkzeugs haftet dafür in aller Regel nicht.

Nach einer Erhebung von Black Duck prüfen nur rund 54 Prozent der Organisationen KI-generierten Code vor dem Deployment überhaupt auf Lizenz- und IP-Risiken. Knapp die Hälfte der befragten Unternehmen setzt Code also produktiv ein, ohne zu wissen, welche Lizenzpflichten darin möglicherweise stecken. Bei einem Audit oder dem Verkauf eines Unternehmens kann genau das zum Problem werden, weil ein Käufer oder Investor die Codebasis üblicherweise auf solche Altlasten prüfen lässt. Welche vertraglichen Punkte sich dadurch insgesamt für Auftraggeber verschieben, beschreibt der Beitrag KI-gestützte Softwareentwicklung: Was sich für Auftraggeber ändert.

Die Grenzen der Copilot-Zahl

Die 40-Prozent-Zahl aus der Illinois-Studie wird oft ohne Kontext zitiert, verdient aber eine Einordnung. Sie stammt aus dem Jahr 2022, bezieht sich auf ein einzelnes Modell und einen begrenzten Satz an Testszenarien, die gezielt sicherheitsrelevante Situationen abbildeten, nicht den Durchschnitt aller generierten Codezeilen. Aktuelle Modelle schneiden in Teilbereichen besser ab, weil Anbieter ihre Trainingsdaten und Sicherheitsfilter seit 2022 mehrfach überarbeitet haben.

Das Grundproblem bleibt trotzdem bestehen, wie die Analyse von 2026 mit 86.726 Codebeispielen zeigt. Ein Sprachmodell kennt den Kontext des Zielsystems nicht und kann deshalb nicht wissen, welche Eingabe in einem konkreten Unternehmen als gefährlich gilt. Diese Lücke lässt sich durch bessere Trainingsdaten verkleinern, aber nicht vollständig schließen.

Wie sich das Risiko in der Praxis reduzieren lässt

Wirksam ist eine Kombination aus mehreren, eher unspektakulären Maßnahmen. Automatisierte Sicherheitsscanner, die jeden Commit gegen bekannte Schwachstellenmuster prüfen, fangen einen Teil der Probleme ab, bevor ein Mensch überhaupt draufschaut. Ein zweiter Blick durch einen erfahrenen Entwickler bleibt trotzdem notwendig, weil Scanner nur nach bekannten Mustern suchen und neuartige Fehlerkombinationen übersehen können. Bei sicherheitsrelevanten Bereichen wie Authentifizierung, Zahlungsabwicklung oder Schnittstellen zu externen Systemen lohnt sich zusätzlich eine feste Regel, nach der KI-Vorschläge grundsätzlich nicht ungeprüft übernommen werden, unabhängig davon, wie dringend eine Deadline gerade ist.

Was das für Refactoring und Codequalität bedeutet

Ungeprüft übernommener KI-Code hat einen zweiten, langfristigeren Effekt. Er wird schnell zu einem Teil der technischen Schulden eines Systems, weil er zwar funktioniert, aber weder dokumentiert noch auf die Muster im übrigen System abgestimmt ist. Wer regelmäßig Code aus einem Sprachmodell übernimmt, sollte deshalb auch den Anteil dieses Codes an der eigenen Fehlerrate messen, statt sich auf den Eindruck zu verlassen, dass die Entwicklung insgesamt schneller geworden ist.

Häufige Fragen

Haftet der Dienstleister für KI-Code?

Grundsätzlich ja, wenn der Dienstleister den Code liefert und abnimmt, unabhängig davon, ob ein Mensch oder ein Sprachmodell ihn geschrieben hat. Die Werkvertragshaftung nach deutschem Recht knüpft an das Ergebnis an, nicht an das Werkzeug, mit dem es entstanden ist. Klar geregelt werden sollte trotzdem, wie mit Lizenzverstößen umgegangen wird, die aus dem Training des Modells stammen. Bewährt hat sich eine Klausel, die auch nachträglich entdeckte Verstöße abdeckt, denn solche Fälle fallen häufig erst Monate nach der Abnahme in einem externen Audit auf.

Wie prüft man auf Lizenzprobleme?

Software zur Lizenzanalyse, häufig als Software Composition Analysis bezeichnet, gleicht Codeabschnitte mit bekannten Open-Source-Projekten ab und markiert Übereinstimmungen samt zugehöriger Lizenz. Ergänzend hilft eine feste Regel im Entwicklungsprozess: Codeabschnitte, die ein Sprachmodell nahezu wörtlich aus einer bekannten Quelle übernimmt, werden gesondert markiert und geprüft, bevor sie in ein Produkt gelangen. Die Prüfung gehört vor das Deployment, nicht in eine spätere Aufräumrunde, weil sich einmal ausgelieferter Code mit ungeklärter Lizenz kaum noch zurückholen lässt.

Sollte man KI-Einsatz verbieten?

Ein Verbot verschiebt das Problem eher, als es zu lösen, weil sich der Einsatz in der Praxis kaum vollständig kontrollieren lässt und die Produktivitätsvorteile real sind. Sinnvoller ist ein Regelwerk, das genau definiert, wo KI-generierter Code ohne zusätzliche Prüfung eingesetzt werden darf und wo eine Sicherheitsprüfung zwingend vorgeschrieben ist, etwa bei allem, was mit Authentifizierung, Zahlungsdaten oder externen Schnittstellen zu tun hat.

Bei torck durchläuft KI-generierter Code den gleichen Reviewprozess wie jeder andere Code auch, verantwortet von den Entwicklungsteams in Maxhütte-Haidhof, Wien und Rabat. Weil Vertragspartner die deutsche torck GmbH ist, lassen sich Fragen zu Haftung und Lizenzprüfung vertraglich regeln, bevor ein Projekt für Industrie und Handel startet. Wer eine bestehende Codebasis auf genau diese Risiken prüfen lassen will, kann das in einem Erstgespräch ansprechen.

Gespräch vereinbaren