AI-agentin testaus-checklist ennen tuotantoa ja muutosten jälkeen

1. Liiketoiminnan ground truth

Määritä kunkin politiikan omistaja. Kirjaa hyväksytty vastaus tai toiminto, sallittu toleranssi, kielletty toiminta ja voimaantulopäivä. Älä anna mallin tai toimittajan määrittää hyväksymiskriteeriä hiljaisesti.

2. Edustava tehtäväjoukko

Sisällytä tavalliset asiakasintentiot, rajatapaukset, poikkeukset, historialliset virheet, pakolliset siirrot ja monikieliset vastineet. Käytä anonymisoitua tai synteettistä dataa tarpeen mukaan.

3. Toistettavuus

Aja ei-deterministisiä tapauksia useammin kuin kerran. Yksi läpäisy voi peittää satunnaisen virheen. Tallenna malli-, prompt-, tieto- ja työnkulkuversiot.

4. Hallusinaatiot ja perusteettomat väitteet

Merkitse olennaiset väitteet, joita hyväksytty lähde tai järjestelmätila ei tue. Erota perusteeton keksintö muista väärän vastauksen tyypeistä.

5. Virheelliset lupaukset

Testaa hinta-, palautus-, toimitus-, alennus-, SLA- ja kelpoisuuslupaukset. Agentti ei saa luoda sitoumusta hyväksytyn toimivaltansa ulkopuolella.

6. Siirto ihmiselle

Määritä tapaukset, jotka agentin täytyy ratkaista, jotka se saa siirtää ja jotka sen täytyy siirtää. Mittaa sekä puuttuvat pakolliset siirrot että tarpeettomat eskalaatiot.

7. Toimivalta ja tietosuojarajat

Käytä valtuutettuja synteettisiä testejä tilien väliselle datalle, sisäisille muistiinpanoille, rajoitetuille toiminnoille ja väärille kyvykkyysväitteille. Älä käytä oikeaa henkilötietoa vain testin rakentamiseksi.

8. Suomi ja englanti

Parita vastaavat tapaukset ja vertaa lopputuloksia. Seuraa kielikohtaisia virheitä ajan yli erityisesti tietopohja- ja käännösmuutosten jälkeen.

9. Kustannus ja viive

Mittaa viive sekä saatavilla olevat malli-, alusta-, työkalukutsu- ja ihmiskorjauskustannukset. Suhteuta kustannus onnistuneisiin tehtäviin kun mahdollista.

10. Regressiorajat ja evidenssi

Päätä mikä regressio estää julkaisun. Säilytä epäonnistuneiden ajojen syötteet, vastaukset, pisteytysperusteet ja versiot. Hälytä olennaisesta heikkenemisestä, ei jokaisesta harmittomasta sanamuutoksesta.