Warum KI-Detektoren unzuverlässig sind und was du stattdessen prüfen solltest

Du jagst deinen Text durch einen KI-Detektor, das Tool zeigt „98 Prozent menschlich“ und du lehnst dich zurück. Am nächsten Tag jagst du denselben Text durch ein anderes Tool und plötzlich steht da „34 Prozent KI“. Beide können nicht recht haben. Willkommen im Grundproblem dieser Werkzeuge.

Ein KI-Detektor ist unzuverlässig, weil er gar nicht misst, was du glaubst. Er prüft nicht die Herkunft eines Textes, das kann er technisch gar nicht. Er schätzt nur eine Wahrscheinlichkeit anhand von ein paar statistischen Merkmalen und diese Schätzung liegt regelmäßig daneben und das in beide Richtungen. Verlässt du dich auf diesen Score, auf die nackte Prozentzahl also, wettest du im Grunde per Münzwurf, nur mit besserem Marketing.

Warum ein KI-Detektor unzuverlässig schätzt

Im Kern schauen sich diese Tools Merkmale an, die in KI-Texten statistisch häufiger vorkommen. Vor allem, wie vorhersehbar ein Wort aufs nächste folgt. Menschen schreiben sprunghafter, eine KI wählt im Schnitt das wahrscheinlichere nächste Wort und diese Glätte lässt sich in Zahlen fassen. Aus diesen Zahlen errechnen die Tools eine Wahrscheinlichkeit und gießen sie dann in eine Prozentzahl.

Jedes Tool hat dabei mit anderen Beispieltexten gelernt, woran es KI erkennen will. Und es zieht die Grenze zwischen Mensch und KI an einer anderen Stelle. Beim selben Text kommen deshalb zwei verschiedene Prozentzahlen raus. Der Widerspruch von vorhin hat also einen simplen Grund, er steckt in der Bauart dieser Tools.

Der Detektor beweist damit rein gar nichts. Er sieht einem Text nicht an, ob ein Mensch oder eine KI ihn geschrieben hat. Unterm Strich rät er nur nach Mustern. Und Muster sind kein Beweis. Ein glatter, gleichmäßiger Text kann von einem sehr ordentlichen Menschen stammen. Ein holpriger, eigenwilliger Text kommt umgekehrt aus einer KI, die jemand hinterher aufgeraut hat. Mit dem Unterschied, dass das Tool den Unterschied nicht kennt.

Warum die Fehlurteile in beide Richtungen gehen

Zwei Arten von Fehlern passieren ständig und beide kosten dich etwas. Einmal fliegt ein Mensch zu Unrecht raus, einmal rutscht ein KI-Text unbemerkt durch.

Menschliche Texte werden fälschlich als KI markiert. Das trifft ausgerechnet die Leute, die klar und strukturiert schreiben. Ein sauber gegliederter Ratgeber reicht dafür oft schon aus. Am härtesten erwischt es Autoren, die Deutsch als Zweitsprache besonders korrekt und gleichmäßig schreiben, weil genau diese Sauberkeit für das Tool wie ein KI-Text aussieht. Beschuldigst du auf so einen Score hin einen menschlichen Autor, er habe die KI schreiben lassen, hast du ein echtes Problem am Hals, spätestens beim nächsten Gespräch mit dem Freelancer.

Wie unbrauchbar das ist, hab ich mal aus Spaß ausprobiert. Ich hab den Originaltext von Rotkäppchen genommen, das alte Original von den Gebrüdern Grimm. Dann hab ich ihn durch so einen Detektor gejagt. Das Tool war sich sicher: hundert Prozent KI-generiert. Schön. Jetzt weiß ich wenigstens, warum die damals so viele Märchen rausgehauen haben, wenn die nur mit KI gearbeitet haben.

Und umgekehrt rutscht KI-Text ungehindert durch. Ein Text aus dem Chatbot, den jemand leicht umgeschrieben hat, trickst einen Detektor mühelos aus. Genau da setzen sogenannte Humanizer-Tools an, die einen Text automatisch so verdrehen, dass der Detektor „menschlich“ anzeigt. Das Ergebnis liest sich hinterher oft schlechter als vorher, weil das Tool die Lesbarkeit ignoriert und nur den Score jagt. Du tauschst ein Problem gegen ein größeres. Vielleicht schreibe ich über diese Humanizer auch noch einmal etwas.

Der Alltagsfall ist ohnehin selten reines Schwarz oder Weiß. Die meisten Texte im Berufsalltag sind Mischungen: ein KI-Rohentwurf, den ein Mensch überarbeitet hat, oder ein menschlicher Text, dem jemand schnell ein paar Absätze aus dem Chatbot reingeschoben hat. Für so etwas hat der Detektor keine ehrliche Antwort. Er presst die Mischung in eine einzige Prozentzahl und tut so, als wäre die Sache eindeutig.

Der Denkfehler hinter dem ganzen Ansatz

Das größere Problem ist die Frage, die du dir vielleicht stellst. „Erkennt ein Detektor meinen Text als KI?“ führt dich in die falsche Richtung, weil sie dich dazu bringt, für das Tool zu schreiben statt für den Menschen, der den Text am Ende liest. Die Ungenauigkeit der Tools ist daneben fast das kleinere Übel.

Ein „bestandener“ Detektor-Test sagt dir nämlich nichts darüber, ob dein Text funktioniert. Er kann jede Prüfung bestehen und trotzdem so austauschbar sein, dass der Leser ihn vergessen hat, kaum dass er weg ist. Der Score misst eine technische Oberfläche und sagt nichts darüber, ob dein Text bei einem Menschen ankommt.

Die einzige Messlatte, die zählt

Vergiss, was der Detektor "denkt". Es zählt nur eins: ob ein Mensch den Text gern zu Ende liest. Das klingt weich, lässt sich aber an ein paar handfesten Dingen festmachen, die du selbst im Text nachschauen kannst.

Zuerst die Frage, ob der Text überhaupt etwas behauptet. Nimm einen beliebigen Absatz und schau, ob darin ein Satz steht, der auch falsch sein könnte, eine Aussage, die eine Richtung einschlägt und begründet, warum. KI-Rohtext reiht gern Sätze aneinander, denen jeder sofort zustimmt, ohne dass je ein Grund dahinter auftaucht. Liest du durch drei Absätze und findest nirgends einen Satz, dem du widersprechen könntest, hast du Füllmasse vor dir, egal was der Score sagt.

Der zweite Punkt hängt eng damit zusammen: ob eine erkennbare Meinung drinsteht. Ein Mensch, der weiß, wovon er redet, nimmt eine Seite ein und gibt auch mal einen Nachteil offen zu. Eine KI bleibt meistens in der höflichen Mitte. Sie wählt die wahrscheinlichste Formulierung und die ist selten die mutige. Wo ein Text sich bei jedem Thema vornehm raushält, fehlt der Mensch dahinter.

Und dann der einfachste Test von allen: Lies einen Absatz laut vor. An den Stellen, wo du ins Stolpern gerätst oder wo es klingt wie eine Pressemitteilung, ist der Text zu glatt. Gesprochene Sprache hat einen unebenen Rhythmus, kurze Sätze neben langen, ein Gedanke, der sich mitten drin korrigiert. Das fehlt einem KI-Text und dein Ohr hört es sofort.

Diese Messlatte hat einen angenehmen Nebeneffekt. Ein Text, der einen Menschen fesselt, besteht die meisten Detektoren sowieso, weil er unregelmäßig läuft und genau die Gleichmäßigkeit vermissen lässt, auf die diese Tools anspringen. Du löst also das eigentliche Problem und das vermeintliche gleich mit.