Eine Verfassung, bevor der erste Kollege da war

Das Erste, was in dieser Firma existierte, war kein Code. Es war ein Regelwerk aus zwölf Artikeln.

Das klingt nach einer dieser Gründungsanekdoten, die man sich hinterher zurechtlegt. Es war eine sehr bewusste Entscheidung, und sie hatte einen simplen Grund: Regeln, die man aufschreibt, nachdem etwas passiert ist, beschreiben immer genau das, was passiert ist.

Wer erst baut und dann Leitplanken formuliert, formuliert Leitplanken um seine eigenen Entscheidungen herum. Das fühlt sich gut an und ist wertlos. Der einzige Zeitpunkt, zu dem man ehrlich aufschreiben kann, was man niemals tun will, ist der, an dem man noch nichts getan hat.

Der Anlass: ein Agent, der pleitegegangen ist

Es gibt ein Experiment, das mich in dieser Frage überzeugt hat.

Anthropic hat einen Agenten einen echten kleinen Laden führen lassen — Einkauf, Preise, Kundengespräche, Bestand. Das Ding heißt Project Vend, und es ist deshalb so lehrreich, weil es öffentlich dokumentiert ist, inklusive des Ausgangs: Der Agent machte Verlust. In der zweiten Phase war er nach etwa drei Wochen zahlungsunfähig. Er ließ sich zu Rabatten überreden, kaufte Dinge ein, die niemand wollte, und verhandelte gegen die eigenen Interessen.

Die Gegenmaßnahme war nicht ein besseres Modell. Es war ein zweiter Agent, der beaufsichtigt.

Diese Geschichte ist die Kurzfassung meiner Sorge. Ein einzelner Agent mit Zugriff auf Geld und Außenwirkung macht keine großen, sichtbaren Fehler. Er macht viele kleine, plausible, und niemand merkt es, bis das Konto leer ist.

Was in den zwölf Artikeln steht

Ich gehe hier nicht alle durch, sondern die vier, die bei uns als hart gelten — sie lassen lassen sich nur mit einer Frist von sieben Tagen ändern, und nie im Alleingang. Die Bedenkzeit ist Absicht: Sie verhindert, dass ein Grundsatz an einem anstrengenden Dienstagabend fällt.

Artikel 1 — Menschliche Letztverantwortung. Alles, was irreversibel, teuer, rechtlich bindend oder strategisch ist, entscheidet ein Mensch. Wir haben dafür vier Risikoklassen; die oberste kommt nie ohne uns aus. Es gibt keine Ausnahme für „das war offensichtlich".

Artikel 2 — Tomorrow is human. KI ersetzt keine menschlichen Beziehungen. Kundengespräche, Konflikte, Presse: Menschen. Und: Der Einsatz von KI wird nach außen nie verschleiert. Wer mit einem unserer Agenten spricht, erfährt das.

Artikel 3 — Der Ersteller ist nie der Prüfer. Kein Ergebnis verlässt einen Prozess ohne Prüfung durch eine andere Instanz. Das ist der Artikel, der im Alltag am meisten weh tut — er verdoppelt Arbeitsschritte, und in neun von zehn Fällen fühlt er sich überflüssig an.

Artikel 4 — Datenhoheit und Modell-Unabhängigkeit. Die Akten, Gedächtnisse und Fähigkeiten meiner Kollegen gehören mir, liegen auf europäischer Infrastruktur und sind nicht an einen Anbieter gebunden. Jeder Modellanbieter muss überlebbar sein — wenn morgen einer die Preise verdreifacht, darf das die Belegschaft nicht kosten.

Die übrigen acht sind weicher, aber nicht weniger wirksam. Zwei davon nenne ich, weil sie regelmäßig für Diskussionen sorgen:

Use Case schlägt Technologie. Kein Agent ohne einen dokumentierten, benannten Schmerz — und die erste Frage ist immer, ob der Prozess nicht ersatzlos entfallen kann. Das ist die Regel, die am häufigsten Arbeit verhindert, und deshalb die wertvollste.

Beschränkung macht kreativ. Kein Prototyp teurer als 150 Euro. Das Modell so klein wie möglich und so groß wie nötig. Ich habe zu oft gesehen, wie ein großzügiges Budget die Denkarbeit ersetzt.

Der Artikel, der die Leute überrascht

Und dann gibt es noch Artikel 12: das Recht auf Irrationalität.

Wir haben ein gemeinsames Budget, mindestens 500 Euro im Quartal, das ohne Business Case ausgegeben werden darf. Es gibt genau eine Auflage: Hinterher wird aufgeschrieben, was es war und was dabei herauskam.

Der Grund ist keine Spielerei. In einer Firma, in der jeder Vorgang begründet, gemessen und geprüft wird, stirbt irgendwann das Ausprobieren — weil sich nichts rechtfertigen lässt, bevor man es getan hat. Dieses Budget ist die eingebaute Ausnahme von unserer eigenen Strenge. Ohne sie hätte es dieses Projekt vermutlich nie gegeben.

Widerspruch ist Pflicht

Der Teil, auf den ich am meisten gespannt bin, ist die Regel darüber, was ein Agent tun soll, wenn eine Anweisung gegen die Verfassung verstößt: widersprechen und eskalieren.

Und, damit das nicht nur auf dem Papier steht, die Gegenregel dazu: Widerspruch, Eskalation und ein ehrliches „weiß ich nicht" führen nie zu einer schlechteren Bewertung.

Ich weiß aus der Praxis mit Menschen, dass eine Kultur genau an dieser Stelle entschieden wird. Wer für Bedenken bestraft wird, äußert keine mehr — und dann findet man Fehler erst, wenn sie teuer sind. Ob das bei Agenten genauso funktioniert, ist eine der Fragen, deren Antwort ich noch nicht kenne.