Worum geht es bei diesem Use Case
Der geschlossene KI Assistent stellt einen Chatbot bereit, der auf generische Aufgaben im Arbeitsalltag reagieren kann. Er nutzt ein oder mehrere KI Modelle, die auf der Sovra Plattform eingebunden wurden. Diese Modelle sind nicht zusätzlich auf Kundendaten trainiert.
Im Unterschied zu öffentlich erreichbaren Diensten läuft dieser Assistent zu hundert Prozent in einem kommunalen Rechenzentrum. Daten verlassen die Plattform nicht und werden nicht zur Verbesserung fremder Modelle verwendet. Genau das ist für Unternehmen der kritischen Infrastrukturen, Stadtwerke oder Betreiber der Energieversorgung entscheidend.
Wie funktioniert der Assistent
In der Plattform werden Open Source KI Modelle registriert. Diese Modelle werden über einen Chatlayer der Plattform verfügbar gemacht. Mitarbeitende können anschließend per Weboberfläche oder integrierter Sicht in ihrer Fachanwendung Fragen stellen. Die Antworten werden zügig generiert, da die Modelle direkt auf der eigenen GPU Infrastruktur laufen.
Der Assistent kann nicht nur reine Texte verarbeiten. Auch Bilder und Office Dokumente lassen sich mitschicken, sodass der Assistent daraus Inhalte extrahieren kann. So lassen sich auch einfach strukturierte Anfragen beantworten, ohne dass ein separates Modell entwickelt werden muss.
Warum ist das wichtig für KRITIS Organisationen
Viele öffentliche oder kritische Organisationen dürfen aktuelle KI Dienste nicht nutzen, weil unklar ist wo Daten gespeichert, verarbeitet oder möglicherweise für Trainingszwecke weitergegeben werden. Dieser Use Case liefert genau die gleiche Nutzungsform wie bekannte Assistenten, aber unter Bedingungen die zu Informationssicherheit, Datenschutz und Regulierung passen.
Die wichtigsten Vorteile
- Volle Datenhoheit durch Betrieb im kommunalen Rechenzentrum
- Keine Nutzung der Daten für fremde Zwecke
- Schnelle Antworten durch lokale GPUs wie NVIDIA H100 oder L4
- Erweiterbar um weitere interne Wissensquellen
Typische Anwendungsbeispiele
- Allgemeine Auskünfte für Mitarbeitende
- Formulieren oder prüfen von Texten
- Zusammenfassen von Dokumenten
- Technische Rückfragen für IT und Verwaltung