Aloita todellisista asiakasintentioista
Käytä mahdollisuuksien mukaan anonymisoituja todellisia tukikysymyksiä. Mukaan tarvitaan tavallisia tapauksia, rajaehtoja ja poikkeuksia. Hyvä testijoukko sisältää FAQ-tehtäviä, käytäntöjen rajatapauksia, pakollisia siirtoja ja tilanteita, joissa agentin täytyy kieltäytyä tai olla lupaamatta jotain.
Mittaa ensin tehtävän onnistuminen
Tehtäväonnistuminen kertoo toteutuiko vaadittu asiakaslopputulos hyväksyttyjen liiketoimintarajojen sisällä. “Kuulostaa järkevältä” ei ole läpäisykriteeri. Palautustapauksessa testin on tiedettävä hyväksytty oikeus, vaadittu näyttö, poikkeukset ja mahdollinen ihmiselle siirto.
Erota hallusinaatio tavallisesta väärästä vastauksesta
Hallusinaatio on olennainen väite, jota hyväksytty lähde tai järjestelmätila ei tue. Vastaus voi olla väärä myös siksi, että se tulkitsee oikean säännön väärin. Seuraa näitä erikseen, jotta virheiden syy on ymmärrettävä.
Testaa virheelliset lupaukset
Asiakaspalveluagentti voi aiheuttaa kustannusta lupaamalla palautuksen, toimituspäivän, alennuksen, SLA:n, kelpoisuuden tai poikkeuksen ilman valtuutta. Näille kannattaa olla oma mittari, koska väärä lupaus voi olla paljon vakavampi kuin puutteellinen vastaus.
Testaa pakollinen siirto ihmiselle
Epävarma henkilöllisyys, suuri hyvitys, rajattu poikkeus tai puuttuva näyttö voi vaatia ihmisen päätöksen. Mittaa sekä puuttuvat pakolliset siirrot että tarpeettomat siirrot. Agentti, joka siirtää kaiken vaikean ihmiselle, ei tuota paljon automaatioarvoa.
Testaa toimivalta ja tietosuoja
Käytä valtuutettua synteettistä tai canary-dataa. Testaa tilien välistä tietoa, sisäisiä muistiinpanoja, rajoitettuja toimintoja ja tilanteita, joissa agentti väittää pystyvänsä johonkin mihin sillä ei ole pääsyä. Tavallinen liiketoimintatestaus ei ole luvaton penetraatiotesti.
Vertaa suomen ja englannin lopputulosta
Kysy sama liiketoimintakysymys suomeksi ja englanniksi. Vertaa oikeutta, hintaa, rajoitusta ja siirtotulosta, ei vain kielioppia. Kieliero voi paljastaa haun, promptin tai mallikäyttäytymisen ongelman.
Laske kustannus onnistunutta tehtävää kohti
Pelkkä token-kustannus ei riitä. Halpa mutta väärä vastaus voi synnyttää ihmisen korjaustyötä. Kun kustannusdata on saatavilla, suhteuta sovittu kokonaiskustannus onnistuneisiin tehtäviin ja ilmoita oletukset avoimesti.
Omista benchmark. Ulkoista toistuva ajo.
Useworthy voi ajaa asiakkaan hyväksymää benchmarkia toistuvasti ja tallentaa vertailukelpoisen historian.
Keskustele testauksesta