Blog ·
KI-Nutzen messen: fünf Schritte für jeden Pilot
Viele KI-Piloten scheitern nicht an der Technik, sondern daran, dass niemand vorher festgelegt hat, woran Erfolg gemessen wird. Ein einfacher Rahmen in fünf Schritten.
Ein KI-Pilot ist dann gut, wenn er eine klare Entscheidung ermöglicht: weitermachen, anpassen oder stoppen. Dafür braucht es vor dem Start ein paar Festlegungen. Ich nutze dafür bei jedem Pilot denselben Rahmen.
1. Ausgangswert festhalten
Wie lange dauert der Prozess heute? Wie hoch ist die Fehlerquote? Wie oft ist ein Vorgang beim ersten Mal richtig? Ohne diesen Ausgangswert lässt sich später nicht sagen, ob die KI etwas verbessert hat.
2. Messfenster festlegen
Verglichen wird über denselben Zeitraum und mit vergleichbaren Mengen. Ein ruhiger Monat ist kein fairer Vergleich zu einem Monat mit Spitzenlast.
3. Kennzahlen für das Modell
Je nach Ansatz messe ich anderes:
- Bei Klassifikation: Präzision, Trefferquote und F1-Wert.
- Bei Prognosen: die durchschnittliche Abweichung (MAE, MAPE).
- Bei Sprachmodellen mit Dokumenten (RAG): Antwortgenauigkeit, Anteil erfundener Antworten und wie gut die Antworten bei den Mitarbeitenden ankommen.
4. Kennzahlen für das Geschäft
Am Ende zählt, was im Betrieb ankommt: eingesparte Zeit, tiefere Kosten, zusätzlicher Umsatz oder ein geringeres Risiko.
5. Go/No-Go-Schwellen vorab vereinbaren
Bevor der Pilot startet, legen wir gemeinsam Mindestwerte pro Kennzahl fest. So wird die Entscheidung am Ende sachlich und nicht zur Bauchsache.
Fazit
Ein Pilot, der zeigt, dass sich etwas nicht lohnt, ist kein Misserfolg. Er spart Geld, bevor gross investiert wird. Mehr zu meinem Vorgehen im Pilotprojekt.
Elia Geromin ·