Am 3. Samstag des Monats haben wir uns wieder mal im PING Büro getroffen und diesmal den KI-Server aktualisiert. Da traf es sich gut, dass am Tag vorher das KI-Modell Qwen 3.8 27b von Alibaba zum Download freigegeben wurde.
Das Ergebnis: cogito, unser souveräner KI-Server hat jetzt die aktuellen Nvidia 610 Treiber, das aktuellste vLLM und das LLM Qwen 3.8 27b in einer 8-bit Quantisierung. Vorher hatten wir Qwen 3.6 27b in 4bit-Quantisierung im Einsatz. Es kann also etwas langsamer sein, dafür ist die Qualität aber besser. Die maximale Kontextgröße beträgt derzeit 230.000 Token. Mal sehen, ob wir das noch steigern können. Lasst mal hören, wie es euch gefällt per Mail an weiterbildung.
Falls ihr den KI-Server noch nicht nutzt, so findet ihr die Infos im Wiki, oder probiert einfach mal unser Open WebUI-Chatinterface aus.
Viel Spaß damit!