Job
- Level
- Erfahren
- Job Feld
- IT, Software, DevOps
- Anstellung
- Vollzeit
- Vertragsart
- Unbefristetes Dienstverhältnis
- Ort
- Berlin
- Arbeitsmodell
- Hybrid, Onsite
Job Zusammenfassung
In dieser Rolle entwickelst du fortlaufend unseren LLM-Proxy weiter, gestaltest den Zugang zu LLM-Anbietern, sorgst für Datenschutz und unterstützt Produktteams bei Integration und Modellauswahl.
Job Technologien
Deine Rolle im Team
- Du betreibst und entwickelst unseren LiteLLM-basierten LLM-Proxy kontinuierlich weiter und stellst Produktteams zuverlässigen, konsistenten Zugang zu LLM-Anbietern (Azure OpenAI, AWS Bedrock u. a.) bereit.
- Du betreibst das Gateway als produktionskritischen Service, definierst SLOs, Provider-Failover und Rate-Limiting und übernimmst die Leitung im Incident Response.
- Du stellst den Datenschutz am Gateway sicher - durch DSGVO-konformes Routing, EU-Datenresidenz, klare Grenzen der Auftragsverarbeitung durch Anbieter sowie den Umgang mit personenbezogenen Daten - und behältst die für KI im Bildungsbereich relevanten Vorgaben des EU AI Act im Blick.
- Du berätst Produktteams frühzeitig zu Modellauswahl, Integrationsmustern und Prompt-Strategien und bringst dich ein, bevor Probleme in Produktion gelangen.
- Du erstellst klare, praxisnahe Entwickler*innendokumentation und Best-Practice-Beispiele und unterstützt Teams beim Onboarding und in der täglichen Nutzung der Plattform.
- Du bist erste Ansprechperson für Produktteams, die mit LLMs arbeiten.
- Du etablierst zentrale Observability für LLM- und Agent-Anwendungen, einschließlich Tracing, Logging und Monitoring über Langfuse.
Unsere Erwartungen an dich
Qualifikationen
- Du besitzt solide Kubernetes-Kenntnisse und bist mit mindestens einer Cloud-Plattform (Azure, AWS oder GCP) vertraut.
- Du bist mit Azure OpenAI, AWS Bedrock oder vergleichbaren Modellanbietern vertraut.
- Du hast eine echte Beratungsmentalität - du hilfst anderen Engineers gern zum Erfolg und kannst ohne formale Weisungsbefugnis überzeugen.
- Du bringst die Fähigkeit mit, technische Abwägungen klar an Produktteams und nicht-technische Stakeholder zu vermitteln.
- Du hast ausgeprägte Fähigkeiten in Dokumentation und Wissensvermittlung.
- Sehr gute Deutsch- und Englischkenntnisse runden dein Profil ab.
Erfahrung
- Du bringst praktische Erfahrung im Betrieb eines LLM-Proxys / Gateways in Produktion mit- LiteLLM stark bevorzugt oder eine vergleichbare Lösung.
- Du besitzt Erfahrung mit Observability-Tooling, idealerweise Langfuse oder einem ähnlichen Tracing- und Monitoring-Stack.
Unser Angebot
- Gestalte die Zukunft der Bildung in einem sinnstiftenden Umfeld.
- Erlebe optimale Work-Life-Balance mit 30 Tagen Urlaub und flexiblen Arbeitszeiten.
- Arbeite flexibel mobil bis zu 3 Tage pro Woche und genieße bis zu 20 Tage Workation in Europa (EWR) pro Jahr.
- Arbeite agil in dynamischen und crossfunktionalen Teams.
- Stärke deine Gesundheit und dein Wohlbefinden mit den Angeboten von evermood und Wellhub.
- Profitiere von attraktiven Vorteilen wie Kita- und Hort-Zuschuss, Rabatten auf Bücher, betrieblicher Altersvorsorge und vermögenswirksamen Leistungen.
- Setze auf nachhaltige Mobilität mit Dienstrad-Leasing und reduziertem Deutschlandticket - gut für dich und unsere Umwelt.
- Genieße biologisch-regionales Essen in unserer hauseigenen Kantine bei gemeinsamen Mittagessen mit deinen Kolleg*innen.
- Entfalte dein Potenzial durch persönliche und fachliche Entwicklungsmöglichkeiten (Weiterbildungen, Fachkonferenzen, E-Learnings & Networking).
- Erlebe starken Teamgeist bei Sportveranstaltungen, Events und Mitarbeiter*innenfesten.
Benefits
Work-Life-Integration
Themen mit denen du dich im Job beschäftigst
Job Standorte
Das ist dein Arbeitgeber
Cornelsen Gruppe
Mit Unternehmen und Marken wie dem Cornelsen Verlag, DUDEN, VERITAS oder Verlag an der Ruhr zählt die Cornelsen Gruppe zum führenden Bildungsmedienanbieter im deutschsprachigen Raum. Seit über sieben Jahrzehnten lernen und unterrichten Menschen mit Bildungsmedien von Cornelsen. Seitdem haben Millionen von Lehrenden und Lernenden die starken Marken der Cornelsen Gruppe genutzt, um sich weiter zu entwickeln.
Description
- Gründungsjahr
- 1946
- Unternehmenstyp
- Etablierte Firma
- Arbeitsmodell
- Hybrid, Onsite
- Branche
- Medien, Verlagswesen, Internet, IT, Telekom
Platform Engineer LLMOps/AI Infrastructure
- Ort
- Berlin
- Arbeitsmodell
- Hybrid, Onsite
- Diversität
- Für alle Personen geeignet (m/w/d)
