עלייה לאוויר עם סוכן AI היא לא סוף הפרויקט. במובנים רבים, זו רק תחילת הדרך.
דווקא אחרי העלייה לאוויר מתחילה העבודה שמאפשרת לנו להבין איך הסוכן באמת מתמודד עם לקוחות, איפה הוא מצליח, איפה פחות, מה לא צפינו בשלב האפיון ומה צריך להמשיך ולשפר. בתקופה הראשונה נרצה לעשות את זה בצמוד ובתדירות גבוהה במיוחד, אבל גם בהמשך סוכן AI דורש ניטור, בקרה ולמידה שוטפת. אני מקווה שאני לא מאכזבת בזה שאני מזכירה שניהול הוא המשימה המרכזית – גם מול טכנולוגיה :).

אז בואו נדבר על הניהול של סוכנים. חלק משמעותי מהניהול הזה הוא להסתכל על המדדים הנכונים ובעיקר להבין מה עומד מאחוריהם. נתון שנראה מצוין על פניו יכול לקבל משמעות אחרת לגמרי כשמעמיקים לתוך השיחות וההתנהגות של הלקוחות. לכן, בין אם אתםן רק מתחיליםות לאפיין את הסוכן ובין אם הוא כבר מטפל בלקוחות שלכםן, אלה המדדים שכדאי להכיר והמשמעויות שכדאי להבין מאחוריהם.

המדדים שכדאי להכיר לניהול סוכן AI במוקד

Containment Rate | שיעור הפניות שנשארו באוטומציה

המדד בוחן כמה מהלקוחות שהתחילו טיפול עם סוכן ה־AI לא עברו לטיפול אנושי. למשל, אם 1,000 לקוחות התחילו שיחה עם הסוכן ו־700 מהם לא עברו לנציג.ה, ה־Containment Rate עומד על  70%. די ברור שזהו נתון חשוב, אבל העובדה שהלקוח נשאר באוטומציה עדיין לא אומרת שקיבל פתרון. כדי לקבל תמונה מלאה יותר צריך לראות לצד ה־Containment גם מדדים נוספים עליהם מיד נרחיב. בכל הקשור למדד הזה ההמלצה היא לפרק את הנתון לפי סוגי פניות ו־Intents (הציצו במאמר הזה אם לא ברור למה אני מתכוונת). יכול להיות שהסוכן מציג Containment מצוין בבירור סטטוס הזמנה, אבל מתקשה מאוד בפניות בנושא חיובים ואלו נתונים שחשוב לכם להכיר כדי לשכלל את הסוכן.

Resolution Rate | שיעור הפניות שנפתרו

את המונח הזה אנחנו מכירים עוד הרבה לפני ששמענו על AI ובהקשר הנוכחי הוא נועד לענות על שאלה משמעותית ביותר: בכמה מהפניות הסוכן באמת הצליח לפתור את הצורך של הלקוח?
במקרים שהם הסוכן התבקש לבצע פעולה ויש לנו אינדיקציה מערכתית שהיא הושלמה בהצלחה כמו שינוי כתובת, קביעת תור או ביטול הזמנה, קל יחסית לזהות Resolution. האתגר נמצא דווקא במקרים שבהם אין לנו מידע תומך כזה.
לדוגמא, לקוח שאל שאלה, קיבל תשובה וסיים את השיחה. האם הוא קיבל פתרון? האם התשובה הייתה נכונה ומספקת? האם הוא פשוט ויתר? כאן לא נכון באמת להסתפק רק בהגדרה הטכנית של המדד. כדי לדעת שאפשר לסמוך על המדד הזה צריך להיכנס לקריאות עצמן, לדגום שיחות ולבדוק שהאירועים שהמערכת מסווגת כ־Resolution אכן נראים כך גם במציאות. העבודה הזו חשובה במיוחד בשלבים הראשונים. היא מאפשרת לדייק את ההגדרות ולוודא שהדשבורד שאנחנו מסתכלים עליו מספר את מה שבאמת קורה בשיחות ולא רק את מה שהגדרנו למערכת לספור.

Handoff Rate | שיעור ההעברות לנציגים

המדד מציג כמה מהשיחות שהתחילו אצל סוכן ה־AI הגיעו בסופו של דבר לנציג.ה אנושי.ת. פה חשוב לציין ולהדגיש ולחדד Handoff הוא לא בהכרח כישלון. במקרים מסוימים זו בדיוק הפעולה שאנחנו רוצים שהסוכן יבצע, למשל כשהוא מגיע לנושא רגיש, למקרה מורכב ובעצם לכל פעולה שהחלטנו להשאיר בידי נציגים.
לכן לצד שיעור ההעברה חשוב לראות למה בוצע ה־Handoff, באיזה שלב בשיחה, באילו נושאים ולאילו תורים השיחות מועברות. ובנוסף, וחשוב לא פחות יש לנו כאן עוד היבט איכות משמעותי: איך ה־Handoff בוצע.
בהקשר של טיב ההעברה, השאלות שצריכות להעסיק אתכםן הן – האם הנציג.ה קיבל.ה את ההקשר המלא? האם עברו סיבת הפנייה, פרטי הזיהוי, המידע שכבר נאסף והפעולות שהסוכן ביצע? האם הלקוח יכול להמשיך מאותה נקודה או שהוא נדרש להתחיל מחדש?
אפשר לייצר Handoff שעובד טכנולוגית מצוין ועדיין לייצר חוויית שירות גרועה. לכן איכות ההעברה חשובה לא פחות מעצם ההעברה.

Fallback Rate | שיעור המקרים שבהם הסוכן לא יכול להמשיך

Fallback מתרחש כשהסוכן לא יכול או לא אמור להמשיך במסלול הטיפול ונכנס למנגנון החלופי שהוגדר עבורו. גם כאן, הכמות לבדה מספרת מעט מאוד. חשוב וצריך להסתכל על הנושאים שמייצרים Fallback ולהבין מה עומד מאחוריהם. לפעמים נגלה ידע שחסר במאגר, Intent שלא אופיין מספיק טוב או פעולה שלקוחות מבקשים ושעדיין לא אפשרנו לסוכן לבצע. אבל Fallback יכול להיות גם סימן לכך שהסוכן עושה בדיוק את מה שתכננו. למשל, הוא מזהה נושא שבו אסור לו לתת תשובה בגלל מגבלה רגולטורית, נמנע מהתחייבות שהארגון לא רוצה שייתן או עוצר לפני פעולה שדורשת אישור אנושי. לכן לא נכון לשאוף אוטומטית להוריד את ה־Fallback Rate. צריך להבין איפה הוא מעיד על פער שאנחנו רוצים לתקן ואיפה הוא מעיד על Guardrail שעובד ושומר עלינו.

Abandonment Rate | שיעור נטישה

זה אחד המדדים היותר מורכבים כשעובדים עם סוכן AI. בעולם המוקדים אנחנו רגילים לחשוב על נטישה כאירוע שלילי יחסית ברור. בשיחה עם סוכן AI, לקוח יכול פשוט להפסיק להגיב והמשמעות של זה הרבה פחות ברורה. למשל, לקוח שואל 'מה הכתובת של קבלת קהל?', קיבל תשובה ונעלם. במקרה כזה, סביר מאוד שהטיפול הושלם.
לעומת זאת לקוח שמנסה שלוש פעמים להסביר בעיה, מקבל תשובות שלא עוזרות ונעלם, זו כבר מציאות אחרת לגמרי.
אם נדייק, עצם היעלמות הלקוח מהשיחה לא מאפשרת לנו לקבוע אם מדובר בנטישה או בהשלמת טיפול.
גם פה דגימה איכותנית של השיחות תוכל לסייע. עם הזמן תוכלו לזהות דפוסים של התקשרות מצד הלקוחות שלכם ולהגדיר במדויק יותר מה מבחינתכם נחשב שיחה שהושלמה ומה שיחה שננטשה.
עוד נתונים שיוכלו לסייע בהבחנה בין שני המצבים הללו הם: האם הסוכן ביקש מידע נוסף והלקוח פשוט לא השיב, כיצד זוהתה הכוונה הראשונית והאם הלקוח פנה בערוצים אחרים.

Automation Rate | שיעור האוטומציה

המדד מתייחס להיקף הפניות, התהליכים או הפעולות שמבוצעים באמצעות אוטומציה מלאה ללא צורך בטיפול אנושי.
זה נתון תפעולי חשוב במיוחד אם הסוכן שלכם כבר מבצע פעולות מגוונות באופן עצמאי. אבל גם כאן חשוב להדגיש –  יותר אוטומציה אינה בהכרח יותר הצלחה. אפשר להציג שיעור אוטומציה מרשים מאוד ועדיין לגלות שהעברנו לאוטומציה תהליכים שבהם איכות השירות נפגעה, שהלקוחות מתקשים להשלים אותם או שחלק גדול מהם חוזר בסופו של דבר למוקד. אז, חווית הלקוח נפגעת ויהיה קשה לחזור ולהשיב את האמון בסוכן. המטרה בעבודה עם סוכן היא להגיע למקסימום אוטומציה בצמתים הנכונות ולרוב, זה תהליך שמצריך אמון בטכנולוגיה (של הארגון ושל הלקוחות) ובחינת התנהגות לקוחות וקורה באופן הדרגתי. קחו את הזמן, זה ישתלם לכםן.

CSAT | שביעות רצון הלקוחות

CSAT הוא גם מדד מוכר מאוד בעולם המוקדים, אבל כשסוכן AI נכנס לתמונה צריך להסתכל גם על מי בדיוק נכנס למדידה ובאיזו נקודה בחוויה. אם הסקר נשלח רק ללקוחות שסיימו שיחה אצל הסוכן אנחנו בעצם מפספסים את אלה שנתקעו, נטשו או עברו לנציג.ה ובוודאי שהציונים מהסוכן בלבד אינם יכולים להיות מדגם מייצג באופן הזה. אני כמובן ממליצה בחום למדוד ולעקוב אחר הנתון אך לצד הציון עצמו חשוב להבין את אוכלוסיית המשיבים, את נקודת שליחת הסקר ואת מסלול הטיפול שעברו.

אז איזה מדד אומר שהסוכן מצליח?

ובכן, ממש כמו עם נציגים אנושיים כנראה שאף אחד מהמדדים לא מספיק כדי שנוכל לענות על שאלת מידת ההצלחה של הסוכן. וזה אולי הדבר החשוב ביותר שתוכלו לקחת מהמאמר הזה.
Containment גבוה בלי Resolution יכול להסתיר לקוחות שלא קיבלו פתרון.
Automation גבוה בלי CSAT יכול להסתיר חוויית שירות לא טובה.
Handoff נמוך יכול להיראות מצוין עד שמגלים שהסוכן פשוט לא מעביר לקוחות גם כשהוא צריך.
וגם המספרים עצמם לא מספיקים. במיוחד בתחילת הדרך, חשוב להשקיע זמן להעמיק ולנתח את הפניות; לדגום, לקרוא, לזהות דפוסים ולוודא שהדרך שבה הגדרנו הצלחה אכן תואמת למה שקורה בפועל.
ובדיוק כמו בניהול מוקד אנושי, גם כאן הנתונים הם רק ההתחלה.
השאלה הניהולית החשובה באמת היא מה עומד מאחוריהם ומה אנחנו עושים עם מה שגילינו.

להתראות אונליין 😊
שלכםן,
אורית מאוטוריטה

הגיע הזמן לפיתוח ארגז הכלים לניהול המוקד?
צרו עמנו קשר– בשביל זה אנחנו כאן!