Aufbau, Betrieb und Skalierung von LLM-Plattformen und On-Prem GPU-Clustern für LLM-Workloads (NVIDIA). Monitoring von Token-Durchsatz, Latenzen, GPU-Auslastung und Kosten. Aufbau von Hybrid-Architekturen (Cloud + On-Prem). Umsetzung von Compliance-,...
- Azure
- NVIDIA
- vLLM
- Bicep
- AWS
- MLflow
- Kubeflow
- Linux
- Google Cloud Platform
- Terraform
- +6
- +7