Diese Seite als wiederverwendbare QA-Checkliste nutzen
Diese Seite ist hilfreich, wenn du eine konsistente Testroutine vor dem Launch willst, die mehrere Personen im Team befolgen können.Pre-Launch-Checkliste
Gehe diese Checkliste vor jedem Launch oder jeder größeren Änderung durch:| Kategorie | Was du prüfen solltest |
|---|---|
| Begrüßung | Der Agent stellt sich korrekt vor und schafft Kontext |
| Prompt | Der Agent folgt deinem Prompt und bleibt im Rahmen |
| Wissen | Der Agent ruft genaue Informationen aus der Wissensdatenbank ab |
| Tools | Transfers, Buchungen und benutzerdefinierte Aktionen funktionieren korrekt |
| Ziele | Gesprächsziele werden verfolgt und bewertet |
| Edge Cases | Der Agent behandelt Unterbrechungen, Stille und Off-Topic-Eingaben |
| Sprachqualität | Natürliches Tempo, korrekte Aussprache, keine seltsamen Pausen |
Begrüßung & Vorstellung
Teste den ersten Eindruck, den Anrufende erhalten. Szenarien:Standardbegrüßung
Standardbegrüßung
Auslöser: Starte einen neuen Anruf und bleibe still.Prüfen:
- Der Agent spricht die konfigurierte Begrüßung
- Die Begrüßung klingt natürlich und passt zu deinem Markenstil
- Der Agent wartet nach der Begrüßung auf eine Antwort
Anrufer spricht zuerst
Anrufer spricht zuerst
Auslöser: Starte einen Anruf und sage sofort etwas, bevor der Agent begrüßt.Prüfen:
- Der Agent behandelt die Unterbrechung sauber
- Der Agent stellt trotzdem Kontext her (wer er ist, wie er helfen kann)
- Das Gespräch geht natürlich von der Eröffnung der anrufenden Person aus weiter
Anrufer fragt 'Wer ist das?'
Anrufer fragt 'Wer ist das?'
Auslöser: Frage nach der Begrüßung: “Mit wem spreche ich?” oder “Welche Firma ist das?”Prüfen:
- Der Agent stellt sich mit dem konfigurierten Namen und Unternehmen vor
- Die Antwort passt zu deinen Identitätseinstellungen
Wissensdatenbank-Abfrage
Teste, ob dein Agent Inhalte aus der Wissensdatenbank korrekt nutzt. Szenarien:Direkte Übereinstimmung
Direkte Übereinstimmung
Auslöser: Stelle eine Frage, die direkt zu Inhalten in deiner Wissensdatenbank passt, z. B. “Wie sind eure Öffnungszeiten?”Prüfen:
- Der Agent ruft die richtigen Informationen ab
- Die Antwort ist korrekt und vollständig
- Prüfe die Markierungen zur Wissensabfrage in den Gesprächsdetails, um zu bestätigen, dass die richtigen Chunks verwendet wurden
Paraphrasierte Frage
Paraphrasierte Frage
Auslöser: Stelle dieselbe Frage auf verschiedene Arten, z. B. “Wann habt ihr offen?”, “Wann schließt ihr?” oder “Kann ich sonntags vorbeikommen?”Prüfen:
- Der Agent findet relevante Inhalte unabhängig von der Formulierung
- Die Antworten bleiben über verschiedene Formulierungen hinweg konsistent
Frage ohne passende Inhalte
Frage ohne passende Inhalte
Auslöser: Frage nach etwas, das in deiner Wissensdatenbank nicht abgedeckt ist.Prüfen:
- Der Agent halluziniert keine Antwort
- Der Agent sagt ehrlich, dass ihm diese Information fehlt
- Der Agent bietet Alternativen an (Transfer, Rückruf, E-Mail)
Mehrthemenfrage
Mehrthemenfrage
Auslöser: Stelle eine Frage, die mehrere Wissensobjekte betrifft, z. B. “Wie ist eure Rückgaberichtlinie und bietet ihr Umtausch an?”Prüfen:
- Der Agent beantwortet beide Teile der Frage
- Die Informationen stammen aus den richtigen Wissenseinträgen
Tool-Ausführung
Teste jedes Tool, das dein Agent verwenden soll. Szenarien:Anrufweiterleitung
Anrufweiterleitung
Auslöser: Bitte darum, mit einem Menschen oder einer bestimmten Abteilung zu sprechen, oder löse eine Transfer-Bedingung aus.Prüfen:
- Der Transfer startet zur richtigen Nummer oder SIP-Zieladresse
- Der Agent kündigt den Transfer vor der Ausführung an
- Das Gespräch verbindet tatsächlich zum Ziel
Kalenderbuchung
Kalenderbuchung
Auslöser: Bitte um einen Termin oder eine Buchung.Prüfen:
- Der Agent sammelt die nötigen Informationen (Datum, Uhrzeit, Name, Kontakt)
- Die Buchung wird im verbundenen Kalender erstellt
- Der Anrufer erhält eine Bestätigung
Benutzerdefinierte API-Aktion
Benutzerdefinierte API-Aktion
Auslöser: Sage etwas, das eine benutzerdefinierte API-Aktion auslösen sollte, z. B. “Prüfe meinen Bestellstatus”.Prüfen:
- Die API wird mit den richtigen Parametern aufgerufen
- Der Agent verarbeitet die Antwort und kommuniziert das Ergebnis
- Fehlerfälle liefern eine hilfreiche Nachricht und keinen rohen Fehler
Mehrere Tools in einem Anruf
Mehrere Tools in einem Anruf
Auslöser: Löse in einem einzigen Gespräch zwei oder mehr verschiedene Tools aus.Prüfen:
- Jedes Tool läuft unabhängig
- Der Kontext des Agents bleibt zwischen den Tool-Calls erhalten
- Es gibt keine gegenseitige Beeinflussung zwischen den Tools
Gesprächsziele
Teste, ob Ziele korrekt verfolgt werden. Szenarien:Ziel erreicht
Ziel erreicht
Auslöser: Schließe ein Gespräch ab, das das Primärziel erreichen sollte, z. B. einen Termin planen oder eine Anfrage lösen.Prüfen:
- Das Ziel erscheint im Tab Analytik der Gesprächsdetails als “Erreicht”
- Die Begründung ist plausibel
Ziel nicht erreicht
Ziel nicht erreicht
Auslöser: Beende ein Gespräch, ohne das Ziel zu erreichen, z. B. früh auflegen oder Informationen verweigern.Prüfen:
- Das Ziel erscheint als “Nicht erreicht”
- Die Begründung erklärt korrekt warum
Sekundäre Ziele
Sekundäre Ziele
Auslöser: Schließe einen Anruf ab, bei dem sekundäre Ziele verfolgt werden sollen, z. B. E-Mail erfasst oder Produktinteresse identifiziert.Prüfen:
- Sekundäre Ziele werden unabhängig vom Primärziel bewertet
- Jedes Ziel zeigt im Tab Analytik korrekte Ergebnisse
Insights sammeln
Wenn du Insights sammeln konfiguriert hast, prüfe, ob es korrekt läuft.- Schließe einen Testanruf ab
- Öffne das Gespräch in der Detailansicht
- Prüfe im Tab Analytik die Ergebnisse der gesammelten Insights
- Verifiziere, dass die Antworten auf deine konfigurierten Fragen korrekt sind
Insights sammeln läuft nach jedem Anruf automatisch. Die Ergebnisse erscheinen nach wenigen Sekunden in den Gesprächsdetails. Siehe Insights sammeln für die Konfiguration.
Sprach- & Gesprächsqualität
Diese Szenarien testest du am besten mit Telefonanrufen statt mit Browser-Tests.Natürliches Tempo
Natürliches Tempo
Test: Führe ein normales Gespräch und achte auf:
- angemessene Pausen zwischen den Gesprächszügen
- kein Unterbrechen der anrufenden Person
- keine unnatürlich langen Stillephasen
- natürlichen Sprachrhythmus
Aussprache
Aussprache
Test: Löse Antworten aus, die enthalten:
- deinen Firmennamen
- Produktnamen
- technische Begriffe
- Telefonnummern, E-Mail-Adressen, URLs
Umgang mit Hintergrundgeräuschen
Umgang mit Hintergrundgeräuschen
Test: Rufe aus einer lauten Umgebung an oder spiele Hintergrundgeräusche ab.Prüfen:
- Der Agent versteht den Anrufer weiterhin
- Die Transkription bleibt korrekt
- Der Agent bittet bei Bedarf um Klarstellung
Mehrsprachige Tests
Wenn dein Agent mehrere Sprachen unterstützt:- Starte einen Anruf in jeder konfigurierten Sprache
- Prüfe, ob der Agent in der richtigen Sprache antwortet
- Teste einen Sprachwechsel mitten im Gespräch, falls unterstützt
- Prüfe, ob Wissensdatenbank-Inhalte in der richtigen Sprache abgerufen werden