ארגונים בוחנים סוכני AI כדי לתאם משימות, לאסוף מידע ולהפעיל כלים. הפוטנציאל נובע מרצף הפעולה, וגם הסיכון: תכנון שגוי יכול להתגלגל בין מערכות. מודל פיקוח אפקטיבי אינו מבטל אוטונומיה, אלא קובע רמות, תנאי מעבר וראיות שמראות מתי הסוכן רשאי לפעול ומתי עליו לעצור.
ברמה הראשונה הסוכן מסביר ומציע; בשנייה הוא מכין תוכנית; בשלישית הוא מפעיל כלי תחת אישור; וברביעית הוא מבצע משימה מוגבלת אוטומטית. לכל תרחיש נקבעת רמה בנפרד. אין לקדם מערכת לרמה גבוהה רק משום שהטכנולוגיה מאפשרת זאת. ההשפעה וההפיכות קובעות.
הכרטיס מתעד מטרה, בעל תהליך, משתמשים, כלים, מידע, הרשאות, מודל, גרסה ותאריך סקירה. הוא כולל פעולות אסורות ומי מאשר חריגה. הכרטיס נשמר במלאי מערכות AI ומתעדכן עם כל חיבור. כך ניתן לדעת מה פועל בפועל ולא להסתמך על מצגת הפיילוט.
פעולה שגרתית והפיכה יכולה לקבל ניטור בדיעבד. פעולה בעלת השפעה כספית, משפטית או אנושית דורשת אישור מראש. דגימה אקראית משלימה את הבדיקות, משום שתקלות אינן תמיד מדווחות. קצב הפיקוח משתנה לפי היסטוריית חריגים, ולא נשאר קבוע לנצח.
מסמך, אתר או הודעה שהסוכן קורא עשויים לכלול הנחיה שמנסה לשנות את מטרתו. מפרידים בין נתונים להוראות, מאשרים מקורות ומגבילים כלים. פעולה רגישה אינה נשענת על תוכן חיצוני יחיד. תרחישי בדיקה כוללים הוראה מוסווית, קישור שגוי וקובץ שנראה רשמי.
שומרים אילו כלים הופעלו, מה נשלח, היכן הסוכן עצר ומי אישר. מדדים כוללים הצלחת משימה, ניסיונות חריגה, עלות, זמן והתערבויות. דוח קצר מציג מגמה ודוגמה. ניטור מפורט מדי עלול ליצור עומס וחשיפה, ולכן שומרים מידע בהתאם לצורך ולמדיניות.
לאחר פיילוט מוצלח, בודקים אם קיימים תמיכה, בעלים, בדיקות ותקציב. מרחיבים קבוצה, כלי או רמת אוטונומיה אחד בכל פעם. שינוי יחיד מאפשר ללמוד מה השפיע. אם החריגים גדלים, חוזרים רמה או מצמצמים הרשאות במקום להוסיף עוד פרומפט.
הסוכן קרא סטטוסים, הציע משימות והכין תזכורות. הוא לא שינה תאריך יעד ולא שלח הודעה ללא אישור. לאחר חודש, הפעולות בעלות סיכון נמוך עברו לשליחה אוטומטית לקבוצה פנימית; שינויי לו״ז נשארו באישור מנהל. כרטיס הסוכן עודכן והבדיקות כללו הודעה זדונית שמנסה להרחיב הרשאה.
אירוע עשוי להיות פעולה אסורה, חשיפת מידע, שרשרת שגויה או אובדן שליטה. הנוהל מגדיר עצירה, ביטול הרשאות, שמירת לוגים, הערכת השפעה ותיקון. לאחר מכן מעדכנים בדיקות והכשרה. חזרה לפעילות דורשת אישור בעל התהליך ואבטחה, ולא רק תיקון טכני.
בעל התהליך קובע מטרה; צוות טכני מחזיק בכלים; אבטחה ופרטיות מגדירות מגבלות; והמשתמשים מדווחים על חריגים. ועדת ממשל קובעת רמות וכללים משותפים. אין להעביר אחריות למודל או לספק. לכל פעולה מהותית יש אדם בעל סמכות ותאריך סקירה.
בשבוע הראשון בונים כרטיס והרשאות; בשני מריצים תרחישי קצה; בשלישי מאפשרים שימוש לקבוצה קטנה; וברביעי בוחנים לוגים והחלטות. הרחבה דורשת יציבות ואמון משתמשים. אם נדרש אישור כמעט בכל משימה, ייתכן שהרמה הסוכנית גבוהה מדי לתרחיש.הסקירה כוללת דוגמה מוצלחת, כשל אחד והחלטה לשינוי. כך למידה אינה נשארת בתוך צוות הפיתוח.
יחידות עשויות לבנות סוכנים דומים על כלים שונים. מלאי מרכזי מציג מטרה, בעלים, עלות והרשאות ומאפשר לזהות כפילות. אין חובה לאחד כל ניסוי, אך תשתיות משותפות כמו בדיקות, לוגים והכשרה צריכות להיות ניתנות לשימוש חוזר. כך הארגון לומד בין צוותים ומפחית סוכנים ללא בעלים.סוכן שלא עבר סקירה או שאין לו משתמשים פעילים נסגר באופן מסודר.בכל סקירה נשאלת גם שאלה פשוטה: האם היינו מאשרים היום את אותן הרשאות? אם התשובה שלילית, מצמצמים לפני פתיחת שימוש חדש.הבעלים מתעד את ההחלטה ואת מועד הבדיקה הבא.
יישום סוכני AI דורש חיבור בין אבטחה, תהליך וממשל. המסגרות מציעות עקרונות; את רמת הפיקוח קובעים לפי המידע, הפעולות והסיכון המקומי.
לא. סוכן יכול לתכנן ולהציע בעוד אדם מבצע. זו לעיתים נקודת התחלה בטוחה ובעלת ערך.
המדיניות קובעת כללים כלליים; הכרטיס מתעד תרחיש מסוים, הרשאות, בעלים, גרסה ומגבלות.
לפי חומרת השפעה, הפיכות, מידע והיסטוריית ביצועים. רמת הפיקוח יכולה להשתנות עם ראיות.
כאשר חריגים גדלים, מקור משתנה, הסבר חסר או הבקרות אינן פועלות. נסיגה היא חלק מתכנון תקין.
בחרו סוכן אחד ומפו את הפעולות, הכלים וההשפעה שלו. THE IMPACT יכולה לסייע בכרטיס סוכן, בתרחישי בדיקה ובהכשרת מנהלים ומאשרים. שיחת היכרות תראה כיצד גבולות ברורים מאפשרים לארגון להתנסות, ללמוד ולהרחיב בלי לאבד אחריות.