Quality- und Testmanager Full Stack KI-Systeme

Monitoring

• Performance- und E2E-Monitoring, Auswertung von Antwortzeiten, Tracing
• Alerting über die gegebene Infrastruktur
• Erstellung von technischen und fachlichen Dashboards zur Überwachung aus Auswertung
• Konzeption und Umsetzung von Logging-/ Audit-Mechanismen
• Sicherstellung kontrollierter KI-Ausgaben und Nachverfolgbarkeit

QS-Management und Testkonzepte

• Konzeption, Dokumentation und Durchführung von Maßnahmen zur Sicherstellung hoher Qualität über den gesamten Lebenszyklus
• Dokumentation der etablierten Prozesse, Maßnahmen, Werkzeuge und Artefakte zur Qualitätssicherung (z.B. Testkonzept, Testhandbuch)
• Unterstützung bei der kontinuierlichen Qualitätssicherung im CI/CD-Prozess (z.B. automatische Smoke-Tests, Nightly Builds)
• Erstellung von Berichten und Analysen zur Entscheidungsunterstützung
• Konzeption und Umsetzung von Logging- und Audit-Mechanismen

Anforderungsbezogene QS / Testdatengenerierung

• Unterstützung bei der funktionalen und technischen Anforderungsspezifikation, -dokumentation und Validierung
• Konzeption und Erstellung von Testdaten (Gold-Standard) zur Definition und Verifikation von Qualitätsstandards der Konversation
• Unterstützung beim Aufbau redaktioneller Qualitätssicherung (Tonalität, Verständlichkeit, Nutzungsadäquanz)

Konzeption, Umsetzung und Durchführung von Tests

• Unterstützung bei der Umsetzung von Komponententest (Modul- und Unit-Tests in React, Java, Python)
• Unterstützung bei der Umsetzung von Schnittstellentests (PACT, OpenAPI)
• Konzeption und Umsetzung von Integrationstests
• Konzeption und Umsetzung automatisierter End-to-End-Tests (Catchpoint)
• Konzeption und Umsetzung automatisierter Oberflächentests
• Konzeption, Dokumentation und Durchführung risikobasierter Tests

KI-spezifische QS

• Konzeption und Umsetzung ML- und LLM-spezifischer Tests (z.B. Prompt-Stabilität, Regression, Antwortverhalten)
• GenAI-Pentesting, Vermeidung von Prompt-Injection
• Simulation und Validierung dialogischer Kontexte (z.B. Übergänge regelbasiert/generativ)
• Analyse und Bewertung generativer Antworten (z.B. Relevanz, Konformität)
• Validierung und Nachverfolgbarkeit von KI-Ausgaben inkl. Logging und Audit-Trails

Usability, Barrierefreiheit und Performanz

• Konzeption, Durchführung und Evaluation von Usability-Tests mit Zielgruppe(n)
• Vorbereitung und Begleitung von Usability- und Accessibility-Tests (BITV 2.0)
• Konzeption, Vorbereitung und Begleitung von Last- und Performance-Tests
• Konzeption und Umsetzung technischer und fachlicher Reporting-Dashboards sowie Alerting (z.B. Grafana, Loki)

Übergabe in den Linienbetrieb

• Vollständige Dokumentation aller Artefakte und Ergebnisse
• Qualitätssicherung der technischen und fachlichen Lieferartefakte
• Aufbau und Übergabe von Betriebs- und Wartungskonzepten inkl. Störfallmanagement und Eskalationswegen
• Durchführung von Workshops, Schulungen und Übergabegesprächen mit dem Linienbetriebsteam
• Übergabe von CI/CD-Pipelines und Deployment-Skripten, sowie Monitoring- und Logging-Strukturen an die Betriebsverantwortlichen
• Erstellung eines Übergabeberichts mit Handlungsempfehlungen und Dokumentation offener Punkte
• Detaillierte Spezifikation die zur Ausschreibung/Beschaffung von betrieblichen Leistungen geeignet sind