Job
In dieser Rolle analysierst du die Leistung von KI-Systemen, entwickelst Tests für KI-Anwendungen und sicherst die Qualität über den gesamten Lebenszyklus durch automatisierte Tests, Berichte und Logging-Mechanismen.
Job-Technologien
Deine Rolle im Team
Monitoring
- Performance- und E2E-Monitoring, Auswertung von Antwortzeiten, Tracing
- Alerting über die gegebene Infrastruktur
- Erstellung von technischen und fachlichen Dashboards zur Überwachung aus Auswertung
- Konzeption und Umsetzung von Logging-/ Audit-Mechanismen
- Sicherstellung kontrollierter KI-Ausgaben und Nachverfolgbarkeit
QS-Management und Testkonzepte
- Konzeption, Dokumentation und Durchführung von Maßnahmen zur Sicherstellung hoher Qualität über den gesamten Lebenszyklus
- Dokumentation der etablierten Prozesse, Maßnahmen, Werkzeuge und Artefakte zur Qualitätssicherung (z.B. Testkonzept, Testhandbuch)
- Unterstützung bei der kontinuierlichen Qualitätssicherung im CI/CD-Prozess (z.B. automatische Smoke-Tests, Nightly Builds)
- Erstellung von Berichten und Analysen zur Entscheidungsunterstützung
- Konzeption und Umsetzung von Logging- und Audit-Mechanismen
Anforderungsbezogene QS / Testdatengenerierung
- Unterstützung bei der funktionalen und technischen Anforderungsspezifikation, -dokumentation und Validierung
- Konzeption und Erstellung von Testdaten (Gold-Standard) zur Definition und Verifikation von Qualitätsstandards der Konversation
- Unterstützung beim Aufbau redaktioneller Qualitätssicherung (Tonalität, Verständlichkeit, Nutzungsadäquanz)
Konzeption, Umsetzung und Durchführung von Tests
- Unterstützung bei der Umsetzung von Komponententest (Modul- und Unit-Tests in React, Java, Python)
- Unterstützung bei der Umsetzung von Schnittstellentests (PACT, OpenAPI)
- Konzeption und Umsetzung von Integrationstests
- Konzeption und Umsetzung automatisierter End-to-End-Tests (Catchpoint)
- Konzeption und Umsetzung automatisierter Oberflächentests
- Konzeption, Dokumentation und Durchführung risikobasierter Tests
KI-spezifische QS
- Konzeption und Umsetzung ML- und LLM-spezifischer Tests (z.B. Prompt-Stabilität, Regression, Antwortverhalten)
- GenAI-Pentesting, Vermeidung von Prompt-Injection
- Simulation und Validierung dialogischer Kontexte (z.B. Übergänge regelbasiert/generativ)
- Analyse und Bewertung generativer Antworten (z.B. Relevanz, Konformität)
- Validierung und Nachverfolgbarkeit von KI-Ausgaben inkl. Logging und Audit-Trails
Usability, Barrierefreiheit und Performanz
- Konzeption, Durchführung und Evaluation von Usability-Tests mit Zielgruppe(n)
- Vorbereitung und Begleitung von Usability- und Accessibility-Tests (BITV 2.0)
- Konzeption, Vorbereitung und Begleitung von Last- und Performance-Tests
- Konzeption und Umsetzung technischer und fachlicher Reporting-Dashboards sowie Alerting (z.B. Grafana, Loki)
Übergabe in den Linienbetrieb
- Vollständige Dokumentation aller Artefakte und Ergebnisse
- Qualitätssicherung der technischen und fachlichen Lieferartefakte
- Aufbau und Übergabe von Betriebs- und Wartungskonzepten inkl. Störfallmanagement und Eskalationswegen
- Durchführung von Workshops, Schulungen und Übergabegesprächen mit dem Linienbetriebsteam
- Übergabe von CI/CD-Pipelines und Deployment-Skripten, sowie Monitoring- und Logging-Strukturen an die Betriebsverantwortlichen
- Erstellung eines Übergabeberichts mit Handlungsempfehlungen und Dokumentation offener Punkte
- Detaillierte Spezifikation die zur Ausschreibung/Beschaffung von betrieblichen Leistungen geeignet sind
Unsere Erwartungen an dich
Qualifikationen
Muss-Kriterien:
- Gute Kenntnisse in ISO 25010
- Kenntnisse in Testautomatisierung und Konzeption von Testautomatisierung
- Additiv die gängigen Voraussetzungen eines Testmanagers
Erfahrung
- Nachweisliche Erfahrung im Test von KI-Anwendungen
- Sehr gute Erfahrung mit NFR Reviews
Benefits
Work-Life-Integration
Gesundheit, Fitness & Fun
Themen, mit denen du dich im Job beschäftigst
Job-Standorte
Mehr zur Recruiting-Agentur
Die mindheads GmbH ist ein spezialisiertes Unternehmen im Bereich IT- und Personaldienstleistungen, das IT-Experten und Führungskräfte rekrutiert und vermittelt. Zudem bietet es maßgeschneiderte Schulungs- und Coaching-Angebote an.
- Recruiting Agentur
- Onsite, Hybrid, Full Remote
- Internet, IT, Telekom
Weitere Jobs
Diese Jobs könnten dich auch interessieren
Wer hier einsteigt, gestaltet nicht nur Software – er bringt Maschinen zum Laufen, die man auf echten Baustellen wiedererkennt. Software-Entwickler (m/w/d) Basic Engineering Unser Auftraggeber ist ein international führender Hersteller von technisch...
Tätigkeitsbereich Die „DRV Bund IT“ ist der Service-Provider für die Deutsche Rentenversicherung Bund und entwickelt und betreibt in enger Kundenabstimmung eine komplexe IT-Systemlandschaft. Unsere Fachdomäne „IT4IT“ schafft durch die transparente...
Lead our Stuttgart IT team, both professionally and as line manager, set priorities, and support each team member's development. Ensure the secure, reliable, and efficient operation of our heterogeneous IT infrastructure, including networks, servers,...
