Job
In dieser Rolle übernimmst du die Verantwortung für die operative Qualität und QA-Überwachung, analysierst KI-Antworten in Echtzeit und prüfst deren Einhaltung der genauen Richtlinien sowie mit Protokollen im Jira oder Linear.
Job-Technologien
Deine Rolle im Team
- You will own end-to-end overnight operational quality, prompt analysis, and QA monitoring across all live customer channels.
- Monitor live AI customer conversations and system alerts across chat, phone, and email channels in real time.
- Evaluate AI responses against stringent insurance guidelines and exact policy wording for compliance and accuracy.
- Inspect system prompts, rules, and underlying logs to diagnose root causes for model failures and edge cases.
- Run regression test suites across new prompt iterations and system version updates.
- Log detailed bug reports with reproducible context, evidence, and clear severity ratings in Jira or Linear.
- Deliver concise, actionable handover shift reports for the European morning team.
Unsere Erwartungen an dich
Qualifikationen
- AI-native professional comfortable reading system prompts and evaluating LLM outputs.
- Highly autonomous operator thriving in dedicated asynchronous ~21:00-06:00 UTC shifts.
- Strong written communicator who logs clean, evidence-backed bug reports.
- Regulated industry background (fintech, insurance, legal) is a strong plus.
- Professional German proficiency (C1+) is a significant advantage.
Erfahrung
- 2+ years of QA or structured software/AI testing experience.
Unser Angebot
- Extreme operational autonomy with high ownership over critical live systems.
- Zero corporate red tape: no steering committees, no endless sprints, same-day deployments.
- Direct impact working on cutting-edge production AI applications serving real customers.
- Flexible remote schedule ideally suited for daytime/afternoon hours in APAC and Americas timezones.
Themen, mit denen du dich im Job beschäftigst
Job-Standorte
Das ist dein Arbeitgeber
WhyBrilliant GmbH ist ein innovatives HR-Tech-Unternehmen mit Sitz in Berlin, das sich auf KI-gestützte Karriere- und Recruiting-Prozesse fokussiert. Die Plattform verbindet Jobsuchende und Unternehmen durch konversationelle Assistenz und bietet Unterstützung für beide Seiten. Das Unternehmen wurde 2026 gegründet und verfolgt ein erfolgsbasiertes Vermittlungsmodell.
- Startup
- Full Remote, Hybrid, Onsite
- Personaldienstleistung
Weitere Jobs
Diese Jobs könnten dich auch interessieren
Mitwirkung bei Sicherheitsanalysen und Bewertung von Anwendungen und IT-Systemen. Unterstützung bei der Konzeption und Umsetzung von technischen Sicherheitsmaßnahmen (z. B. WAF, Load Balancing, Firewall, etc.). Durchführung und Begleitung von...
Betrieb, Überwachung und Weiterentwicklung der Netzwerk-Infrastruktur. Administration und Konfiguration von Firewalls, Routern und Switches. Sicherstellung der Netzverfügbarkeit, -performance und -sicherheit. Mitwirkung bei IT‐Sicherheitskonzepten und...
Du steigst in einer Phase ein, in der wir unsere neue CRM-Plattform aufbauen und weiterentwickeln. Genau das macht die Rolle besonders: Hier entwickelst du nicht nur Features, sondern gestaltest die technische Basis für ein modernes CRM-Ökosystem aktiv...