Computer Use הוא מצב שבו סוכן בינה מלאכותית (AI) רואה ממשק גרפי ומפעיל עכבר ומקלדת כדי לבצע משימה, בדומה לעובד. הוא יכול להתאים לתהליכים שחוצים מערכות ללא API נוח, אך הוא גם רגיש לשינויי מסך, הוראות זדוניות, שגיאות פרשנות ופעולות בלתי הפיכות. פיילוט נכון מתחיל בסביבה מבודדת, בהרשאה מצומצמת, בתצוגה מקדימה לפני פעולה ובתיעוד של כל צעד.
אוטומציה מסורתית משתמשת לרוב ב-API או בסקריפט שמכיר שדות ופעולות מוגדרים. סוכן Computer Use מפרש צילום מסך או ממשק, מזהה כפתור, תפריט ושדה ופועל באמצעות עכבר ומקלדת. הוא גמיש יותר כאשר אין אינטגרציה, אך פחות ודאי כאשר הממשק משתנה או מציג מידע לא צפוי. היכולת מרחיבה את מספר התהליכים שאפשר לבדוק, במיוחד במערכות ישנות. עם זאת, היא אינה סיבה לדלג על אינטגרציה יציבה כאשר קיימת. הבחירה צריכה להתבסס על סיכון, תדירות, עלות תחזוקה ויכולת בקרה.
איסוף והכנת מידעהסוכן יכול לעבור בין מערכות, לאסוף נתונים ולהכין טיוטת דוח. עדיף להתחיל בקריאה בלבד ולהשאיר את האישור והשליחה לאדם.
תהליכים חוזרים במערכות Legacyכאשר אין API, ניתן לבחון עדכון מוגבל של שדות, הורדת מסמך או פתיחת קריאה. הפיילוט צריך לעבוד על חשבון בדיקה ולהציג את השינוי לפני שמירה.
תיאום בין כליםסוכן עשוי להכין פגישה, לאסוף מסמכים ולנסח הודעה. החיבור בין מערכות מגדיל ערך, אך גם מצריך הרשאות נפרדות והבחנה בין הכנה לפעולה חיצונית.
פרשנות חזותית שגויהכפתורים דומים, חלון קופץ, שינוי שפה או טעינה חלקית עלולים להוביל לפעולה אחרת מהמתוכנן. לכן יש לאמת לא רק שהסוכן לחץ, אלא שהמצב במערכת השתנה נכון.
Prompt Injection מתוך המסךדף אינטרנט או מסמך יכולים לכלול טקסט שמנסה לשנות את מטרת הסוכן. המערכת חייבת להבחין בין תוכן לצורך קריאה לבין הוראה מוסמכת. מקורות חיצוניים אינם מקבלים סמכות רק מפני שהם מוצגים על המסך.
זליגת סמכותאם הסוכן פועל דרך חשבון של עובד, הוא עלול לקבל גישה לתיקיות, לקוחות ופעולות שאינן דרושות למשימה. זהות נפרדת והרשאות מינימליות מצמצמות את שטח הפגיעה.
בוחרים תהליך הפיך ובסיכון נמוךהתחילו במשימה שאפשר לבדוק ולבטל, עם נפח קטן ובלי התחייבות כספית או פגיעה באדם. הגדירו במפורש מה הסוכן רשאי לעשות ומה נחשב עצירה.
מפרידים צפייה, הכנה וביצועשלב ראשון הוא צפייה והמלצה. שלב שני הוא מילוי טיוטה. רק לאחר בדיקות עוברים לביצוע, וגם אז פעולות רגישות מחייבות אישור נקודתי שמציג מה עומד להשתנות.
בודקים כל מצב סיוםהסוכן צריך לדעת להבחין בין הצלחה, כשל, חוסר הרשאה, מידע חסר ומצב לא ודאי. "סיימתי" אינו מדד. אמתו את הרשומה, הקובץ או ההודעה במערכת היעד.
שיעור משימות שהושלמו נכון מקצה לקצה.
שיעור פעולות שנדרשו לתיקון אנושי.
מספר עצירות נכונות מול המשך מסוכן.
זמן ועלות לעומת התהליך הקיים.
כשל בעקבות שינוי ממשק או מידע בלתי צפוי.
יכולת לשחזר כל פעולה מהיומן.
כדאי להריץ את אותו תרחיש בכמה גרסאות ממשק ולכלול חלונות קופצים, טעינה איטית ושינוי סדר. אם השימוש תלוי בפריסת מסך אחת, הוא עדיין ניסוי שברירי.
לא תמיד. RPA מתאים לתהליך יציב ומוגדר, ו-Computer Use עשוי להתמודד טוב יותר עם שונות והוראות בשפה טבעית. לעיתים השילוב נכון: סוכן מפרש את המקרה, ואוטומציה דטרמיניסטית מבצעת פעולה רגישה.
טכנית לעיתים אך ארגונית יש לבחון השפעה, סמכות ויכולת ביטול. ברכישה, שליחה חיצונית, מחיקה או שינוי בעל משמעות מומלץ לדרוש אישור אנושי ברור לפני הפעולה.
כאשר התהליך תדיר, קריטי או דורש ביצועים צפויים. API מאפשר חוזה פעולה ברור, בדיקות מדויקות והרשאות ברמת פונקציה. Computer Use מתאים במיוחד לגישור זמני, ניסוי או "זנב ארוך" של מערכות ללא חיבור.
NIST CAISI: סיכוני אבטחה במערכות סוכני AI
יישום מקצועי של Computer Use בארגון: כשסוכן AI מפעיל דפדפן ומערכות במקום עובד אינו מתחיל בבחירת כלי או בהכרזה על פרויקט רחב. מתחילים בתוצאה עסקית או מקצועית שאפשר להסביר ולבדוק: החלטה שצריך לשפר, זמן טיפול שרוצים לקצר, מידע שצריך לארגן או איכות תוצר שרוצים להעלות. לאחר מכן מגדירים מי בעל התהליך, מי משתמש בתוצאה, איזה מידע מותר להזין ומה נשאר באחריות אנושית. ההגדרה הזו מונעת מצב שבו המערכת מייצרת טיוטות מרשימות, אך אין דרך לקבוע אם הן נכונות, בטוחות או מועילות. היא גם מאפשרת להשוות בין עבודה קיימת לעבודה בסיוע בינה מלאכותית על בסיס נתונים ולא על בסיס תחושה.
בשלב הראשון מתארים את המשימה מתחילתה ועד סופה ומזהים את נקודות ההחלטה. קובעים אילו מקורות נחשבים מוסמכים, איזה מידע רגיש או חסוי אינו נכנס למערכת, מי רשאי לשנות את ההנחיות ומי מאשר את התוצר. כדאי לנסח גם תנאי עצירה: מידע חסר, סתירה בין מקורות, פעולה בלתי הפיכה או השפעה מהותית על אדם. כאשר הגבולות גלויים, העובדים אינם צריכים לנחש בכל שימוש מחדש מה מותר ומה אסור.
בשלב השני בוחרים כמה מקרים אמיתיים ומייצגים, מסירים מהם מידע שאינו נחוץ ומכינים תוצאה אנושית להשוואה. מודדים את המצב הקיים: זמן עד תוצר מאושר, מספר תיקונים, טעויות חוזרות, תלות במומחה ושביעות רצון המשתמשים. את תוצרי הבינה המלאכותית בודקים באותם קריטריונים. חשוב לכלול גם מקרי קצה ותשובות שאינן ודאיות, משום שמערכת שנראית טובה בדוגמה פשוטה עלולה להיכשל דווקא במצבים שבהם נדרשת שיקול דעת.
בשלב השלישי עובדים במחזורים קצרים. המשתמשים מתרגלים על משימות מהעבודה, מתעדים אילו תיקונים ביצעו ומדווחים על תוצאה לא מדויקת, חריגה מהרשאה או קושי בהסבר. אחת לתקופה בוחנים אם ההנחיות, המקורות וההרשאות עדיין מתאימים. הרחבה לצוותים נוספים מתבצעת רק לאחר שהאיכות יציבה, האחריות ברורה וקיימת דרך לטפל בחריגים. כך ההטמעה הופכת ללמידה ארגונית ולא לאוסף שימושים פרטיים שאיש אינו מנהל.
זמן עד טיוטה ראשונה הוא מדד חלקי בלבד. המדד החשוב יותר הוא זמן עד תוצר מאושר, לצד דיוק, שלמות, התאמה לקהל ושיעור התיקונים שנדרשו. יש למדוד גם סיכון: חשיפת מידע, המצאת עובדות, שימוש במקור לא עדכני, החלטה ללא הסבר או פעולה שבוצעה בלי אישור. לכל מדד יעילות מומלץ להצמיד מדד איכות אחד לפחות. אם המערכת חוסכת דקות אך מעבירה את העומס לבדיקת מומחה, ייתכן שלא נוצר שיפור אמיתי.
המנהל אינו צריך לכתוב כל הנחיה בעצמו, אך עליו להגדיר את התוצאה, את גבולות הסיכון ואת חלוקת האחריות. עליו לאפשר זמן לתרגול, לבקש דוגמאות של הצלחות וכישלונות ולוודא שהעובדים יודעים מתי לעצור ולהתייעץ. בתהליכים רגישים משלבים לפי הצורך אבטחת מידע, פרטיות, ייעוץ משפטי, משאבי אנוש ומערכות מידע. ניהול נכון יוצר שפה משותפת: מה נחשב שימוש מועיל, כיצד בודקים תוצאה ומי מוסמך לאשר מעבר מניסוי לשגרה.
רוצים להפוך את הידע ליכולת עבודה מעשית? אפשר להעמיק באמצעות סדנת בינה מלאכותית לארגונים, לבחור הרצאת בינה מלאכותית לארגונים או לבנות הדרכת בינה מלאכותית לארגונים. לתכנון מסלול מתאים לצוות, פנו לצוות THE IMPACT.