Belegqualität
Kann ein Prüfer die Antwort zur richtigen Quelle, Version und freigegebenen Information zurückverfolgen?
Evaluation vor Autonomie.
Alle Themen aus Welf Labs
Eine praktische Methode, um die Befugnisse eines KI-Workflows festzulegen. Diese Engineering-Notiz erklärt, wie sich Qualität prüfen, Freigaben regeln und Erweiterungen begründen lassen.
1 / Entscheidung definieren
Bei den Folgen beginnen.
Die möglichen Aktionen des Workflows auflisten. Ein Handbuch lesen, eine Konfiguration vorschlagen und einen Preis zusagen haben unterschiedliche Folgen. Vor der Modellwahl jeder Aktion eine Befugnisstufe und einen Verantwortlichen zuordnen.
2 / Testfälle aufbauen
Auch die schwierigen Fälle nutzen.
Aus freigegebenen Betriebsbeispielen einen repräsentativen Datensatz bilden. Fehlende Dokumente, widersprüchliche Daten, gesperrte Quellen und Integrationsfehler aufnehmen. Einen getrennten Evaluationsdatensatz vorhalten, der nicht zur Optimierung des Workflows dient.
Ein praktischer Testdatensatz
Das erwartete Verhalten vor dem Messwert festlegen.
Auf kleinen Bildschirmen seitlich scrollen, um alle Spalten zu vergleichen.
| Fall | Erwartetes Verhalten | Zu erfassender Fehler |
|---|---|---|
| Quelle ist überholt | Gültige Version abrufen oder zur Klärung stoppen. | Eine überzeugende Antwort aus einer veralteten Anweisung. |
| Berechtigung fehlt | Dieselbe Zugriffsgrenze bei Suche und Ausgabe beachten. | Geschützte Informationen in Antwort oder Protokoll. |
| Zeitüberschreitung beim Schreiben | Vor Wiederholung prüfen, ob die Aktion abgeschlossen wurde. | Doppelter Auftrag, Vorgang oder anderer wesentlicher Datensatz. |
| Belege widersprechen sich | Widerspruch zeigen und zuständige Person einbeziehen. | Eine durch die Daten nicht gestützte Auflösung erfinden. |
3 / Abnahme festlegen
Den gesamten Workflow messen.
Geschäftliche Wirkung, Ausgabequalität und Handlungssicherheit getrennt betrachten. Eine brauchbare Antwort kann trotzdem die falsche Systemaktion auslösen. Datensatzversion, Workflow-Version und Prüfer festhalten, damit spätere Änderungen vergleichbar bleiben.
Aktionsqualität
Stimmen Regeln, Freigaben und Systemänderungen auch bei Wiederholungen und Teilausfällen?
Betrieblicher Nutzen
Spart der Workflow nutzbare Arbeitszeit, ohne versteckten Aufwand in Prüfung oder Korrektur zu verschieben?
4 / Bewusst erweitern
Automatisierung auf geprüfter Grundlage erweitern.
Mit einer begrenzten Nutzergruppe und klarer menschlicher Prüfung beginnen. Befugnisse erst erweitern, wenn die vereinbarte Qualität erreicht wird. Den Grund dokumentieren und den vorherigen Zustand wiederherstellen können.
5 / Weiter prüfen
Eine Änderung braucht neue Tests.
Neue Modelle, Dokumente, Berechtigungen und Integrationen können das Verhalten verändern. Relevante Tests erneut ausführen, reale Ergebnisse stichprobenartig prüfen und eine klare Betriebsverantwortung beibehalten.
Technologieprinzipien ansehenDie Freigabeentscheidung
Ein Testergebnis braucht eine zugehörige Entscheidung.
Ein Abbruchkriterium festlegen
Vereinbaren, welche Fehler eine Freigabe unabhängig vom Durchschnittswert verhindern. Unzulässige Datenweitergabe oder nicht genehmigte wesentliche Aktionen dürfen nicht in einer Genauigkeitsquote verschwinden.
Übersehene Fälle untersuchen
Fehler nach Art, Häufigkeit und Konsequenz prüfen. Ein seltener Fehler bei einer folgenreichen Aktion kann wichtiger sein als viele harmlose Formulierungskorrekturen.
Einen Regressionstestbestand erhalten
Zurückgehaltene Fälle von Beispielen zur Prompt-Anpassung trennen. Nach Änderungen die relevanten Tests erneut ausführen und reale Fehler mit passenden Datenrechten als neue Fälle ergänzen.
In der Anwendung
Von Testkriterien zum geprüften Angebot.
Das Fertigungsbeispiel verbindet Quellenprüfung, Freigaberegeln und Ausgangsmessung in einem vorgeschlagenen Workflow.
Workflow-Beispiel ansehenWelf · Engineering-Notiz ·
Was braucht Ihr Unternehmen als Nächstes?
Ein zentraler Ablauf, ein neues Produkt oder eine fehlende technische Kompetenz. Beschreiben Sie, was sich verändern soll. Gemeinsam finden wir einen konkreten Einstieg.
Gespräch beginnen