LLMKube

llmkube.com

Kubernetes-Operator für selbst gehostete LLM-Inferenz mit austauschbaren Laufzeiten (llama.cpp, vLLM, TGI, Ollama, vllm-swift), Multi-GPU-Sharding, NVIDIA-CUDA- und Apple-Silicon-Metal-Unterstützung sowie OpenAI-kompatibler API.

Beliebtheit
★ 198
Kategorien
Generative KI (GenAI)
Plattform
Go, Docker, K8S
Lizenz
Apache-2.0
Letzte Version
v0.9.20 (2026-08-24)
Status
Aktiv

Ähnliche Apps