Warum KI-Detektoren unzuverlässig sind und was du stattdessen prüfen solltest

Du jagst deinen Text durch einen KI-Detektor, das Tool zeigt „98 Prozent menschlich“, und du lehnst dich zurück. Am nächsten Tag jagst du denselben Text durch ein anderes Tool, und plötzlich steht da „28 Prozent KI“. Beide können nicht recht haben. Willkommen im Grundproblem dieser Werkzeuge.

Ein KI-Detektor ist unzuverlässig, weil er gar nicht misst, was du glaubst. Er prüft nicht die Herkunft eines Textes, das kann er technisch gar nicht. Er schätzt eine Wahrscheinlichkeit anhand statistischer Merkmale, und diese Schätzung liegt regelmäßig daneben, in beide Richtungen. Verlässt du dich auf den Score, verlässt du dich auf einen Münzwurf mit besserem Marketing.

Warum ein KI-Detektor unzuverlässig schätzt

Im Kern schauen sich diese Tools Merkmale an, die in maschinell erzeugtem Text statistisch häufiger vorkommen. Vor allem, wie vorhersehbar ein Wort aufs nächste folgt. Menschen schreiben sprunghafter, ein Modell wählt im Schnitt das wahrscheinlichere nächste Wort, und diese Glätte lässt sich in Zahlen fassen. Aus diesen Merkmalen errechnen die Tools eine Wahrscheinlichkeit und gießen sie in eine Prozentzahl.

Und weil jedes Tool auf anderen Daten trainiert wurde und seine Grenze zwischen „Mensch“ und „Maschine“ woanders zieht, kommen beim selben Text zwei verschiedene Prozentzahlen raus. Der Widerspruch von vorhin ist kein Ausrutscher, er steckt in dieser fehlerhaften Methode.

Der KI-Detektor beweist damit nichts. Er sieht einen Text nicht an und weiß, ob ein Mensch oder ein Modell ihn geschrieben hat. Er rät, gestützt auf Muster, und Muster sind kein Beweis. Ein glatter, gleichmäßiger Text kann von einem sehr ordentlichen Menschen stammen. Und ein holpriger, eigenwilliger Text kommt manchmal aus einer KI, die jemand hinterher aufgeraut hat. Den Unterschied kennt das Tool leider nicht.

Warum die Fehlurteile in beide Richtungen gehen

Zwei Arten von Fehlern passieren ständig, und beide kosten dich etwas.

Menschliche Texte werden fälschlich als KI markiert. Das trifft ausgerechnet die Leute, die klar und strukturiert schreiben. Ein sauber gegliederter Ratgeber reicht dafür oft schon aus. Am härtesten erwischt es aber Autoren, die Deutsch als Zweitsprache besonders korrekt und gleichmäßig schreiben, weil genau diese Sauberkeit für das Tool wie eine Maschine aussieht. Und wenn du auf so einen Score hin einem menschlichen Autor unterstellst, er habe die KI schreiben lassen, hast du ein echtes Problem am Hals, spätestens beim nächsten Gespräch mit dem Freelancer, oder vielleicht deinem Kollegen.

Wie unbrauchbar das ist, hab ich mal aus Spaß ausprobiert. Ich hab den Originaltext von Rotkäppchen genommen, das alte Original von den Gebrüdern Grimm, und ihn durch so einen Detektor gejagt. Das Tool war sich sicher: hundert Prozent KI-generiert. Schön. Ich wusste gar nicht, dass die damals schon KI hatten. Aber jetzt weiß ich wenigstens, warum die so viele Märchen rausgehauen haben.

Und umgekehrt rutscht Maschinentext durch. Ein KI-Text, den jemand leicht umgeschrieben hat, trickst einen Detektor mühelos aus. Genau da setzen sogenannte Humanizer-Tools an, die einen Text automatisch so verdrehen, dass der Detektor „menschlich“ anzeigt. Das Ergebnis liest sich hinterher oft schlechter als vorher, weil das Tool nicht auf Lesbarkeit zielt, es zielt auf den Score. Du tauschst ein Problem gegen ein größeres.

Der Alltagsfall ist ohnehin selten reines Schwarz oder Weiß. Die meisten Texte im Redaktionsbetrieb sind Mischungen: ein KI-Rohentwurf, den ein Mensch überarbeitet hat, oder ein menschlicher Text, dem jemand schnell ein paar Absätze aus dem Chatbot reingeschoben hat. Für so etwas hat der Detektor keine ehrliche Antwort. Er presst die Mischung in eine einzige Prozentzahl und tut so, als wäre die Sache eindeutig.

Der Denkfehler hinter dem ganzen Ansatz

Die eigentliche Falle ist nicht die Ungenauigkeit der Tools. Sie steckt in der Frage, die du dir überhaupt stellst. „Erkennt ein Detektor meinen Text als KI?“ ist die falsche Frage, weil sie dich dazu bringt, für die Maschine zu schreiben statt für den Menschen, der den Text am Ende liest.

Ein „bestandener“ Detektor-Test sagt dir nämlich nichts darüber, ob dein Text funktioniert. Er kann jede Prüfung passieren und trotzdem so austauschbar sein, dass der Leser ihn vergessen hat, kaum dass er weggeklickt ist. Der Score misst eine technische Oberfläche, nicht die Wirkung, wie das ganze bei einem Mensche ankommt.

Die einzige Messlatte, die zählt

Mach dir keine Gedanken darüber, was ein Detektor denkt. Frag dich, ob ein Mensch den Text gerne zu Ende liest. Das mag weich klingen, lässt sich aber an ein paar handfesten Dingen festmachen, die du selbst im Text nachschauen kannst.

Zuerst die Frage, ob der Text überhaupt etwas behauptet. Nimm dazu einen beliebigen Absatz und prüfe, ob sich darin ein Satz findet, der auch falsch sein könnte. Überlege dir, welche Richtung die Aussage einschlägt und begründe deine Überlegung. KI-Rohtext neigt dazu, lauter Sätze aneinanderzureihen, denen jeder sofort zustimmt, ohne dass je ein Mechanismus dahinter auftaucht. Liest du durch drei Absätze und findest nirgends einen Satz, dem du widersprechen könntest, hast du Füllmasse vor dir, egal was der Score sagt.

Der zweite Punkt hängt eng damit zusammen: ob eine erkennbare Meinung drinsteht. Ein Mensch, der weiß, wovon er redet, empfiehlt auch mal gegen etwas, gibt einen Nachteil zu, nimmt eine Position ein. Ein Modell mittelt sich zur höflichen Mitte, weil es die wahrscheinlichste Formulierung wählt, und die ist selten die mutige. Wo ein Text sich bei jedem Thema vornehm raushält, fehlt der Mensch dahinter.

Und dann der einfachste Test von allen: Lies einen Absatz laut vor. An den Stellen, wo du ins Stolpern gerätst oder wo es klingt wie eine Pressemitteilung, ist der Text zu glatt. Gesprochene Rede hat einen unebenen Rhythmus, kurze Sätze neben langen, ein Gedanke, der sich mitten drin korrigiert. Das fehlt maschinellem Text, und dein Ohr hört es sofort. Also, eigentlich.

Diese Messlatte hat einen angenehmen Nebeneffekt. Ein Text, der einen Menschen fesselt, besteht die meisten Detektoren ohnehin, weil echte Lebendigkeit genau die gleichmäßigen Muster durchbricht, auf die diese Tools anspringen. Du löst also das eigentliche Problem und das vermeintliche gleich mit. Die typischen Muster, an denen du KI-Rohtext schon im Vorbeilesen erkennst, sind nochmal ein Thema für sich.

Sitzt du an Texten, die durch alle Detektoren rutschen und sich trotzdem nach Maschine anfühlen, liegt die Arbeit woanders. Ich überarbeite deine bestehenden KI-Texte, damit sie einen Menschen bis zum Schluss nahe kommen, nicht damit sie ein Tool zufriedenstellen. Schreib mir an rr@kundenheld.de