Deployment lokaler und On-Premise-LLMs

dgm betreibt Open-Weights-LLMs lokal (On-Device) oder on-premise im eigenen Rechenzentrum bzw. Cloud-Konto, sodass Daten und Inferenz vollständig unter Ihrer Kontrolle bleiben. Das umfasst Modellauswahl, Hardware-/Quantisierungsberatung, Integration und Betrieb — auf Basis von osFoundry mit llama.cpp für lokale Inferenz.

Für hochsensible Daten (Gesundheit, Recht, Finanz, Personal), Offline-Szenarien und höchste Souveränitätsanforderungen. Die Wirtschaftlichkeit hängt von Last und Hardware ab: Bei hohem, konstantem Volumen kann es günstiger sein als Cloud-APIs. dgm bewertet die Wirtschaftlichkeit.

Open-Weights-Modelle (etwa Llama oder offene Mistral-Gewichte), deren Gewichte verfügbar sind und die sich selbst betreiben lassen. dgm wählt das passende Modell nach Anforderung. dgm ist unabhängig und hat bisher keine abgeschlossenen Kundenintegrationen.