agorum® hat seinen KI-Server selbst aufgebaut, aber nicht selbst bedient

Wer heute über Künstliche Intelligenz im Unternehmen spricht, redet fast immer über fremde Server, über Verträge mit großen Anbietern und über die Frage, wessen Cloud die eigenen Dokumente durchläuft. agorum® hat diese Frage anders beantwortet und einen eigenen KI-Server in Betrieb genommen, ausgestattet mit einer NVIDIA RTX PRO 6000 Blackwell und 97.887 MiB Grafikspeicher (Quelle: agorum® Software GmbH, Erfahrungsbericht, August 2026). Darauf laufen gleichzeitig drei Dienste, das Sprachmodell Gemma 4 26B A4B für Chat und Textverarbeitung, Whisper large-v3 für Transkription und PaddleOCR-VL 1.6 für Dokumentenerkennung. Die Motivation dahinter ist keine ideologische, sondern eine architektonische. Wer die Hardware selbst betreibt, muss nicht mehr fragen, wem die Daten gehören, denn die Antwort steht im eigenen Serverschrank.

Die eigentliche Hürde liegt nicht in der Kaufentscheidung, sondern in der Inbetriebnahme. Neue Grafikkarten wie die Blackwell-Generation tragen die Architekturkennung sm_120, und viele vorkompilierte KI-Bibliotheken unterstützen diese Kennung noch nicht. Die offiziellen PaddleOCR-Pakete sind für sieben ältere Architekturen gebaut, die neue Karte gehört nicht dazu. Genau an dieser Stelle setzt üblicherweise stundenlange Fehlersuche ein, und genau hier hat agorum® den Prozess umgedreht.

Vertrauen entsteht durch Fehlerkorrektur

agorum® übertrug die Einrichtung an ALBERT | AI und beschränkte die eigene Rolle auf Entscheidungen. Die erste Frage war banal, Debian oder Ubuntu. Die KI empfahl zunächst Ubuntu, weil NVIDIA diese Plattform als Erstklassplattform führt. Auf Nachfrage prüfte sie das eigene Urteil erneut, fand im Paketrepository von NVIDIA einen vollständigen, tagesaktuellen Treiberzweig für Debian 13 und revidierte die Empfehlung mit Begründung. Am Ende lief der Server mit Debian 13.6 und Kernel 6.12.96, nicht weil die KI ihre erste Aussage verteidigte, sondern weil sie sie widerlegte. Genau dieses Verhalten unterscheidet Automatisierung mit Aufsicht von blindem Vertrauen in ein System, das immer Recht haben will.

Tempo im Alltag

Wie belastbar das Ergebnis ist, zeigen die Messwerte aus dem Betrieb. Bei einer einzelnen Anfrage liefert Gemma 4 137 Token pro Sekunde, bei 32 parallelen Anfragen steigt der Gesamtdurchsatz auf 1.724 Token pro Sekunde, ein Zuwachs um den Faktor 12,6 (Quelle: agorum® Software GmbH, eigene Messung mit vLLM 0.26.0, August 2026). Eine einzelne Grafikkarte bedient damit rechnerisch eine ganze Abteilung, ohne dass die Wartezeit bis zum ersten Wort merklich wächst. Noch aufschlussreicher ist der Effekt in einer laufenden Unterhaltung. Die erste Anfrage auf einem Kontext von 175.000 Token braucht 32,81 Sekunden bis zum ersten Wort, die zweite und dritte Anfrage in derselben Unterhaltung nur noch 0,57 beziehungsweise 0,56 Sekunden, ein Sprung um den Faktor 57 (Quelle: agorum® Software GmbH, eigene Messung mit vLLM 0.26.0, August 2026). Wer diese Zahl ohne den zweiten Messdurchlauf gelesen hätte, wäre zu einem falschen Schluss gekommen und hätte die Kontextlänge womöglich reduziert. Der Spitzenwert im Lasttest zählt hier weniger als das, was am Bildschirm tatsächlich ankommt.

Der Neustart-Test

Den größten Erkenntnisgewinn brachte kein Benchmark, sondern ein einfacher Stromausfall-Test. Nach einem simulierten Neustart kamen zwar alle Container zurück, jedoch gleichzeitig statt geordnet. Weil jeder Dienst beim Start selbst ermittelt, wie viel Grafikspeicher noch frei ist, verbuchte er die Reservierung der anderen als eigenen Verbrauch und dimensionierte sich zu klein. Der Dienst für die Dokumentenerkennung startete mit 73.168 statt 118.912 Token Zwischenspeicher, knapp 40 Prozent weniger, und das ohne jede Fehlermeldung (Quelle: agorum® Software GmbH, Erfahrungsbericht, August 2026). Ohne diesen Test hätte der Fehler monatelang unbemerkt Kapazität gekostet. Ein zusätzlicher Systemdienst, der die Container nach dem Hochfahren geordnet neu startet, behob das Problem, ein zweiter Test bestätigte die korrekten Werte. Wer lokale KI betreibt, testet nicht, ob ein System wieder hochkommt, sondern ob es richtig hochkommt.

Kontrolle nach der Inbetriebnahme

Kontrolle endet nicht mit der Inbetriebnahme, sie beginnt danach erst richtig. agorum® bindet den neuen Server in eine bereits vorhandene Zabbix-Überwachung ein, mit inzwischen 41 Prüfpunkten auf diesem einen Host (Quelle: agorum® Software GmbH, Erfahrungsbericht, August 2026). Entscheidend ist dabei eine Detailfrage, die leicht übersehen wird. Geprüft wird, ob die Dienste tatsächlich antworten, nicht ob ihre Container laufen, denn ein laufender Container sagt nichts über eine funktionierende Anwendung aus. Die erste Nacht im Dauerbetrieb protokollierte 1.013 Messpunkte über 8,4 Stunden, alle vier Dienste durchgehend erreichbar, kein einziger Fehleintrag. Wer lokale KI im eigenen Haus betreibt, tauscht damit die Unsicherheit über fremde Serviceverträge gegen eine Überwachung, die er selbst in der Hand hat.

Investitionssicherheit in der Praxis

Im Alltag zahlt sich das bereits aus. Auf dem Server laufen produktiv die automatische Verschlagwortung aller in agorum core pro gespeicherten Bilder, die Analyse sämtlicher Eingänge wie E-Mails, Notizen, Dateien und Aufgaben mit Prüfung auf Dringlichkeit, kontextbezogene Abwesenheitsantworten und die Transkription von Sprachnachrichten aus entgangenen Telefonaten (Quelle: agorum® Software GmbH, Erfahrungsbericht, August 2026). Jeder dieser Prozesse läuft im Rechtekontext der jeweiligen Mitarbeitenden, lückenlos protokollierbar, ohne dass eine einzige Anfrage das eigene Haus verlässt. Und weil ALBERT | AI Multi-LLM arbeitet, bleibt Gemma 4 austauschbar, sobald ein passenderes Modell verfügbar ist. Das Modell wechselt, die Prozesse, Berechtigungen und das Unternehmenswissen bleiben. Genau das ist der Unterschied zwischen einer Anschaffung und einer Investition.

Was bleibt, ist eine Lehre, die über die eigene IT-Abteilung von agorum® hinausreicht. Lokale KI ist heute kein Forschungsprojekt mehr, sondern ein Infrastrukturprojekt mit bekannten Stolperfallen, von der Treiberversion bis zur Startreihenfolge der Container. Wer diese Stolperfallen kennt und das Fundament einmal sauber baut, kann darauf beliebig viele Prozesse betreiben, ohne bei jedem neuen Anwendungsfall wieder bei null anzufangen. Entscheider, die noch zögern, sollten sich weniger fragen, ob eine eigene KI-Infrastruktur zu aufwendig ist, sondern was es kostet, diese Kontrolle dauerhaft an fremde Server abzugeben.

Dieser Beitrag beruht auf dem Erfahrungsbericht von Oliver Schulze, agorum® Software GmbH, Region Stuttgart, veröffentlicht am 4. August 2026 auf agorum.com/blog. Alle Messwerte stammen aus der eigenen Inbetriebnahme des beschriebenen Servers.