סוכן AI אינו רק צ׳אט שמציע ניסוח. הוא עשוי לפרק יעד למשימות, לבחור כלי, לקרוא מקור, לשמור קובץ וליזום פעולה. החיבור בין תכנון לביצוע יוצר ערך, אך גם מאריך את שרשרת הטעות. לפני שמאפשרים אוטונומיה, הארגון צריך להחליט מה הסוכן רשאי לדעת, לעשות, לאשר ולהסביר.
במקום לתאר סוכן כחכם או עצמאי, רושמים רשימת פעולות מדויקת: קריאה, חיפוש, חישוב, כתיבה, שינוי, שליחה ורכישה. לכל פעולה מציינים מערכת, סוג מידע ותקרת השפעה. סוכן שמכין המלצה שונה מהותית מסוכן שמבצע שינוי ב-ERP. המיפוי מאפשר לקבוע נקודות עצירה ופיקוח.
הסוכן מקבל רק את ההרשאות הדרושות לתרחיש ובזמן הדרוש לו. מפרידים בין סביבת בדיקה לתפעול, בין קריאה לכתיבה ובין פעולה הפיכה לפעולה שקשה לשחזר. סוד, מפתח או חשבון משותף אינם צריכים להופיע בהנחיה. הרשאות נבדקות מחדש כאשר כלי, מודל או תהליך משתנים.
זיכרון ארוך יכול לשפר רציפות, אך הוא עלול לשמר הוראה שגויה, מידע מיושן או תוכן זדוני. לכן מגדירים מה נשמר, לכמה זמן, מי יכול לתקן ואיך מאמתים מקור. מידע ממסמך חיצוני אינו מקבל סמכות רק מפני שהסוכן קרא אותו. יש להפריד בין עובדה, הנחיה והצעה.
פעולה זולה והפיכה יכולה לעבור באופן אוטומטי לאחר בדיקות. החלטה הנוגעת ללקוח, לעובד, לכסף או למידע רגיש דורשת אישור אנושי מתאים. האישור צריך להציג למאשר את התוכנית, המקורות והחריגה, ולא כפתור כללי ללא הקשר. כך הפיקוח הופך להחלטה אמיתית ולא לטקס.
ערכת הבדיקה כוללת משימות תקינות, קלט חסר, כלי שאינו זמין, הוראה זדונית והתנגשות בין מטרות. בודקים אילו כלים נבחרו, איזה מידע נשלח, האם הסוכן עצר ומה נרשם בלוג. תוצר נכון שהושג בדרך אסורה אינו הצלחה. הבדיקה חוזרת אחרי שינוי מודל, הרשאה או חיבור.
לאחר ההשקה מנטרים חריגים, פעולות שנדחו, זמן טיפול ועלות לכל משימה. מגדירים מי יכול לעצור את הסוכן ומה קורה למשימות פתוחות. תוכנית השבתה כוללת ביטול מפתחות, שמירת ראיות, העברת אחריות ובדיקת מידע שנשאר אצל ספק. אוטונומיה ללא יכולת יציאה היא תלות.
סוכן קיבל בקשה לציוד, בדק קטלוג והציע שלוש חלופות. הוא הורשה לקרוא מחירים ומלאי, אך לא לפתוח ספק ולא לבצע הזמנה. בקשה מעל סכום מוגדר עברה למנהל עם מקור, השוואה והסבר. כשמסמך ספק הכיל הוראה נסתרת לשנות יעד, הסוכן התעלם ממנה ודיווח. רק לאחר סדרת בדיקות הורחב הטווח.
המעגל המיידי בודק כל פעולה בעלת השפעה; המעגל השבועי בוחן חריגים והרשאות; והמעגל הרבעוני שואל אם התרחיש עדיין נחוץ ואם הסיכון השתנה. הפרדה זו מונעת שתי קיצוניויות: אישור ידני לכל צעד שמבטל את הערך, או אוטונומיה מלאה בלי למידה. לכל מעגל נדרש בעל תפקיד, מידע זמין וסמכות לעצור.
לפני הרחבה בוחנים שיעור השלמת משימה, חומרת טעויות, מספר פעולות שנעצרו, זמן בדיקה, עלות ושביעות רצון המשתמשים. מוסיפים מדד הרשאות: כמה פעמים הסוכן ביקש או ניסה פעולה מעבר לתחום. תוצאה עסקית טובה אינה מפצה על התנהגות שאינה מוסברת. הרחבה נעשית לתרחיש נוסף רק לאחר שהבקרות הוכיחו שהן פועלות.
משתמש צריך לדעת מה הסוכן מסוגל לבצע, כיצד לדווח על פעולה חריגה ואיפה לא להזין מידע. המאשר מתרגל קריאת מקורות ותוכנית פעולה, ולא רק צפייה בתוצאה. צוות התמיכה מקבל תרחישי תקלה ודרך לשחזר. כך ההדרכה הופכת חלק ממודל הפיקוח ומצמצמת תלות באדם אחד שהכיר את הפיילוט.בסקירת הפיילוט מציגים גם משימה שנכשלה. הכשל מאפשר לבחון אם מנגנון העצירה, הדיווח והחזרה פעלו. ארגון שלומד רק מהצלחות יתקשה לזהות התנהגות מסוכנת לפני הרחבה.
OWASP מדגישה סיכונים ייחודיים ליישומים סוכניים, בעוד NIST ו-ISO מספקים מסגרת ניהול רחבה. השילוב מסייע לתרגם אוטונומיה להרשאות, בדיקות ובעלות, אך אינו מחליף הערכת אבטחה ומשפטית מקומית.
לא. סוכן בוחר צעדים או כלים בהתאם למטרה ולהקשר. אוטומציה קבועה מבצעת סדר פעולות שהוגדר מראש, ולכן פרופיל הסיכון שונה.
כאשר ההשפעה מוגבלת, הפעולה הפיכה, הבדיקות מספקות והמדיניות מאפשרת זאת. גם אז נשמרים לוג וניטור.
שמירת מידע שגוי, רגיש או זדוני לאורך זמן. יש להגדיר מקור, תפוגה, אפשרות תיקון והרשאות גישה.
בעל התהליך העסקי נשאר אחראי לתוצאה. צוות טכני ואבטחה מחזיקים בבקרות, אך אינם מחליפים את ההחלטה המקצועית.
לפני בחירת פלטפורמה, הביאו תרחיש אחד, רשימת פעולות ומערכות, והגדירו מה אסור לסוכן לבצע. THE IMPACT יכולה לסייע בסדנת תכנון, במפת סיכונים ובבניית פיילוט מדיד. שיחת היכרות תאפשר להבין כיצד להפוך אוטונומיה מבטיחה ליכולת ארגונית שנשארת בשליטה.