Generative KI im Unternehmen

Generative KI ist in den meisten Unternehmen längst angekommen, nur nicht als gemeinsames Werkzeug. Einzelne schreiben mit privaten Konten in Chatbots, ein Team hat sich ein Skript gebaut, und niemand kann sagen, was das bringt oder wohin die Daten dabei gehen.

Wir führen Assistenten ein und bauen eigene Anwendungen auf Sprachmodellen, mit Tests, Kostenkontrolle und einer kurzen Nutzungsrichtlinie. Die Suche in Unternehmensdokumenten und Agenten, die selbstständig in Systemen handeln, sind eigene Themen.

Assistent oder eigene Anwendung

Generative KI erzeugt Text, Code oder Bilder aus Eingaben in natürlicher Sprache. Im Unternehmen sind das meist Large Language Models (LLMs), und man erreicht sie auf zwei Wegen. Entweder öffnet jemand einen Assistenten und arbeitet darin, oder eine eigene Software ruft ein Modell über eine Schnittstelle (API) auf.

Der Assistent passt zu dem, was im Büro ständig anfällt: Mailentwürfe, Angebotstexte, Zusammenfassungen von Besprechungen und Mailverläufen, Übersetzungen mit festen Fachbegriffen, Recherche. Auch Entwicklungsteams nutzen ihn für Code, Tests und Dokumentation. Eine eigene Anwendung lohnt sich, wenn der Ablauf feststeht und das Ergebnis direkt in ein anderes System soll. Ein Beispiel ist das Einordnen eingehender Tickets nach Thema und Dringlichkeit. Dafür soll niemand einen Chat öffnen, das Ergebnis muss im Ticketsystem stehen. Für allgemeine Schreib- und Rechercheaufgaben wäre das zu viel Aufwand.

Einen Assistenten einführen

Die Wahl folgt zuerst der Arbeitsumgebung. Wer in Microsoft 365 arbeitet, prüft Microsoft Copilot, wer Google Workspace nutzt, den eingebauten Gemini-Assistenten. Bei Microsoft lohnt ein genauer Blick auf die Lizenzen, weil die Namen verwirren. Die App, die früher Microsoft 365 Copilot hieß, heißt jetzt Microsoft Copilot, die Zusatzlizenz trägt den alten Namen weiter. Copilot Chat ist mit geeigneten Microsoft-365-Lizenzen verfügbar und stützt sich vor allem auf Webdaten. Mit der Zusatzlizenz greift Copilot über Microsoft Graph auch auf E-Mails, Dateien und Besprechungen zu, soweit die jeweilige Person Zugriff hat.

Genau das macht die Einführung heikel. Ein solcher Assistent zeigt alles, worauf jemand Zugriff hat, und deckt damit schlechte Freigaben auf. Der Ordner, der seit Jahren für alle offen ist, taucht plötzlich in Antworten auf. Solche Rechte räumen wir vor dem Rollout auf.

Beim Datenschutz hängt viel an Tarif und Konfiguration. Laut Microsoft werden Prompts und Antworten nicht zum Training der Basismodelle genutzt, und für EU-Kunden gilt die EU Data Boundary. Ob einzelne Modelle oder Funktionen davon ausgenommen sind, prüfen wir vor der Freigabe. Auch OpenAI und Google geben an, Unternehmensdaten nicht zum Training zu verwenden. Bei ChatGPT Enterprise lassen sich Inhalte für berechtigte Workspaces in Europa speichern. Das heißt nicht, dass jeder Verarbeitungsschritt und jede Integration in der Region bleibt. Das klären wir mit dem Datenschutz, bevor ein Werkzeug freigegeben wird.

Mit Lizenzen allein ist es nicht getan. Wer sie an alle verteilt, ohne Anwendungsfälle zu klären, zahlt für Werkzeuge, die kaum jemand öffnet. Besser ist ein Pilot mit einer kleinen Gruppe und konkreten Aufgaben, begleitet von Nutzungsberichten. Fehlt dagegen ein freigegebenes Werkzeug, weichen Teams auf private Konten aus. Ein gutes Angebot ist das wirksamste Mittel dagegen.

Was in einer eigenen Anwendung steckt

Der Modellaufruf ist der kleinste Teil, die Arbeit liegt drumherum. Der Prompt braucht eine klare Aufgabe, eine Rolle, ein Format und Beispiele, und er gehört versioniert in den Code und nicht in verstreute Chatfenster. Statt Freitext soll das Modell Antworten in festem Format liefern, etwa JSON nach einem Schema, das mehrere Anbieter selbst prüfen. So lassen sich Ergebnisse direkt in andere Systeme übernehmen.

Leitplanken greifen vor und nach dem Modellaufruf. Eingaben werden gefiltert, Ausgaben gegen Regeln validiert, und bei Unsicherheit entscheidet ein Mensch. Dazu gehört der Schutz vor Prompt Injection, also vor versteckten Anweisungen in Texten, die das Modell verarbeitet. Viele Modelle lesen auch Bilder, PDFs und Audio, etwa das Foto einer Lieferung oder eine Sprachnachricht. Wie zuverlässig das bei den eigenen Dokumenten klappt, zeigt erst ein Test. Und die Anbindung will bedacht sein: Ausfälle, Wiederholungen und Mengenlimits der Schnittstelle müssen behandelt werden, bevor Ergebnisse im CRM oder im Data Warehouse landen.

Welches Modell

Das beste Modell gibt es nicht, nur eines, das zur Aufgabe passt. Proprietäre Modelle sind bei schwierigen Aufgaben oft stärker und über eine API oder die Plattformen der Cloud-Anbieter leicht erreichbar. Offene Modelle lassen sich selbst betreiben und anpassen, brauchen aber Infrastruktur und Betrieb, und ihre Lizenzbedingungen unterscheiden sich. Man sollte sie vor dem Einsatz lesen. Große Modelle liefern bei komplexen Aufgaben bessere Ergebnisse, kleine sind schneller und billiger. Zum Klassifizieren oder Extrahieren reichen sie oft.

Abgerechnet wird meist nach verarbeiteter Textmenge, getrennt nach Ein- und Ausgabe. Lange Eingaben und Modelle, die vor der Antwort länger rechnen, kosten mehr. Auch der Standort zählt, ob beim Anbieter direkt, in einer EU-Region einer Cloud-Plattform oder auf eigener Infrastruktur. Das wirkt sich auf Datenschutz und Kosten aus und ist im Schwerpunkt zu datenschutzkonformer KI beschrieben.

Modellnamen und Ranglisten ändern sich innerhalb weniger Monate. Wir bauen Anwendungen deshalb so, dass sich das Modell austauschen lässt, und entscheiden nach eigenen Tests statt nach Ranglisten.

Woran man erkennt, dass die Antworten reichen

Modelle formulieren überzeugend, auch wenn die Aussage falsch ist. Ohne Messung bleibt deshalb offen, ob eine Anwendung gut genug ist. Grundlage ist eine Sammlung typischer Eingaben mit erwarteten Ergebnissen aus den Fachbereichen. Wo das Ergebnis eindeutig ist, etwa bei Kategorien, prüft ein Skript automatisch. Bei freien Texten bewertet zusätzlich ein weiteres Modell, ergänzt durch Stichproben von Fachleuten. Bei jedem neuen Prompt und jeder neuen Modellversion laufen die Testfälle erneut. Sonst fällt ein Qualitätsverlust erst auf, wenn sich Nutzende beschweren.

Im Betrieb schauen wir auf Kosten je Anwendung und Aufruf, Antwortzeit, Fehlerquote und Korrekturen durch Nutzende. Ein Prototyp mit wenigen Aufrufen sagt wenig über die Rechnung im Betrieb, denn lange Dokumente und viele Nutzende ändern sie. Budgets und Warnungen je Anwendung verhindern Überraschungen. Inhalte mit Außenwirkung oder rechtlicher Folge prüft weiterhin ein Mensch.

Nutzungsrichtlinie und Schulung

Eine Nutzungsrichtlinie von ein bis zwei Seiten genügt. Sie legt fest, welche Werkzeuge erlaubt sind, welche Daten eingegeben werden dürfen, wer Ergebnisse prüft und wer dafür verantwortlich bleibt. Wichtiger als der Umfang ist, dass alle sie verstehen.

Schulungen zeigen, wie man gute Anweisungen formuliert, wo die Grenzen liegen und warum geprüft werden muss. Maßnahmen zur KI-Kompetenz sind außerdem Teil des EU AI Act. Die Einzelheiten stehen im Schwerpunkt dazu.