הטיה ב־AI אינה תקלה אחת שמסירים לפני ההשקה. היא יכולה להיכנס דרך נתוני עבר, הגדרת יעד, בחירת מדד, ממשק או דרך שבה אדם מפרש המלצה. גם מערכת מדויקת בממוצע עלולה לפעול אחרת עבור קבוצות שונות. לכן תהליך הוגן דורש לשאול מי מושפע, איזה פער חשוב, מהו הסבר סביר ומי יכול לערער. המטרה אינה להבטיח אפס פער, אלא לזהות, לצמצם, לתעד ולנהל.
מתחילים מתיאור החלטה: מה המערכת מציעה, מי משתמש ומי מושפע. מבדילים בין סיוע לטיוטה לבין דירוג או סינון. ככל שהתוצאה קשה יותר לתיקון, נדרשת בדיקה עמוקה יותר. חשוב לתעד גם החלטה אנושית שמגיעה אחרי המודל, משום שהטיה יכולה להיווצר בפרשנות.מגדירים תוצאה רצויה מעבר לדיוק. לדוגמה זמן שירות, הזדמנות הוגנת או איכות המלצה. שואלים אילו קבוצות עשויות לחוות תוצאה שונה ואילו נתונים מייצגים אותן. ההגדרה נעשית עם אנשי תחום ומשתמשים, לא רק עם צוות הנתונים.
נתוני עבר משקפים החלטות ותנאים קודמים. אם קבוצה קיבלה פחות הזדמנויות, המודל עלול ללמוד את הפער. בודקים ייצוג, חוסרים, תוויות ודרך איסוף. נתון רגיש דורש בסיס חוקי והגנה; לעיתים נדרש לצורך בדיקת הוגנות אך אסור לשמש בפעולה עצמה.מילון נתונים מתעד משמעות, מקור ובעלים. לצד בדיקה סטטיסטית אוספים ידע איכותני: מדוע שדה חסר, האם תהליך השתנה והאם תווית משקפת איכות או נוחות תפעולית. בלי ההקשר, תיקון מספרי יכול להסתיר בעיה אחרת.
אין מדד הוגנות יחיד שמתאים לכל שימוש, ולעיתים מדדים מתנגשים. בוחרים מדד לפי סוג ההחלטה והנזק האפשרי. משווים שיעורי טעות, דחייה או איכות בין קבוצות ובודקים גם גודל מדגם. פער קטן במספרים מעטים דורש פרשנות זהירה.מגדירים סף פעולה לפני הבדיקה ככל האפשר. אם פער חוצה סף, עוצרים, מנתחים או מגבילים שימוש. ההחלטה מתועדת עם הנימוק והחלופות. אין להסתיר פער רק משום שהמדד הכללי השתפר; מציגים להנהלה גם תמונת קבוצות.
אדם מאשר יכול להפחית נזק רק אם יש לו זמן, מידע וסמכות לסטות מההמלצה. מציגים לו מקור, רמת ביטחון ומגבלות. בודקים האם הוא נוטה לאשר אוטומטית או להעדיף המלצת מערכת גם כשיש סימן אזהרה.מתרגלים מקרים גבוליים ומבקשים מהמאשר להסביר החלטה. אם שיעור הסטייה אפסי, ייתכן שהפיקוח סמלי. אם הוא גבוה מאוד, המערכת אינה מסייעת. המדד הנכון אינו מקסימום התאמה למודל אלא החלטה איכותית שניתנת להסבר.
מי שמושפע צריך לדעת כאשר AI ממלא תפקיד משמעותי ומהי דרך לפנות לאדם. מנגנון השגה צריך להיות נגיש ולא לדרוש הבנה טכנית. הבקשה מגיעה לגורם מוסמך שיכול לשנות החלטה ולא רק להסביר את המערכת.תלונות והשגות הן מקור למידה. מסווגים אותן, מחברים לגרסה ולתהליך ובודקים דפוס. תיקון פרטני חשוב, אך אם אותו מקרה חוזר מעדכנים נתונים, ממשק או כלל החלטה. משתפים לקחים בלי לחשוף מידע אישי.
ביצועים יכולים להשתנות כאשר קהל, שפה או מדיניות משתנים. קובעים תדירות בדיקה ומדדים לפי סיכון. שינוי גרסה, ספק או נתונים מפעיל בדיקה חוזרת. לא מסתמכים על בדיקה שנעשתה לפני שנה על אוכלוסייה אחרת.לכל מדד יש בעלים וסף. אם נוצר פער, יודעים מי יכול לעצור ומהו תהליך חלופי. פעם ברבעון מציגים מגמה, אירועים ותיקונים. הדיווח נועד לקבל החלטה ולא רק להוכיח שהבדיקה בוצעה.
בוחרים מדגם שמייצג גם מקרים נפוצים וגם קצוות. מריצים את המערכת לצד התהליך הקיים ובודקים תוצאה לפי קבוצות. אם חסר נתון רגיש הדרוש לבדיקה, מתייעצים עם פרטיות ומשפטית על דרך חוקית ומצומצמת, ולא מוותרים אוטומטית על הניתוח.מזמינים משתמשים לבחון הסבר ומנגנון השגה. לעיתים הבעיה אינה המודל אלא ממשק שמציג המלצה כפקודה. משנים ניסוח, סדר מידע או ברירת מחדל ומריצים שוב. כך הוגנות מטופלת גם ברמת עיצוב התהליך.בסוף הפיילוט כותבים החלטה: אילו פערים נמצאו, מה תוקן, מה נותר, מי אישר ומהם תנאי הניטור. אם הסיכון אינו סביר, מגבילים או עוצרים. תיעוד החלטת עצירה חשוב לא פחות מתיעוד אישור.
NIST AI RMF כוללת מאפיינים של AI מהימן ומדגישה מדידה בהקשר. עקרונות OECD מדגישים זכויות והוגנות. המסגרת האירופית מחזקת ניהול מבוסס סיכון ופיקוח. המדדים צריכים להיבחר עם מומחי תחום ומשפטית לפי השימוש.
לא בהכרח. משתנים אחרים יכולים לשמש כתחליף, והטיה יכולה להגיע מהיעד או מהתהליך. נדרשת בדיקת תוצאה וקבוצות.
לא באופן מוחלט. אפשר לזהות פערים, לצמצם, לתעד ולהקים מנגנון תיקון. שקיפות לגבי מגבלות היא חלק מהוגנות.
צוות נתונים, בעל תהליך, משפטית או פרטיות, משתמשים ונציגי הקבוצות המושפעות לפי הצורך. זו אינה רק בדיקה טכנית.
היא מאפשרת למשתמשים לתרגל זיהוי פער, פיקוח, הסבר והשגה. ההתאמה לתפקיד חשובה יותר מהרצאה כללית על אתיקה.
רוצים לבדוק שימוש קיים או להכין צוותים לפני פיילוט? פנו ל־THE IMPACT. נמפה החלטה, קבוצות ובקרות ונבנה סדנת AI לארגונים עם תרחישים, צ׳קליסט ומדדים. בשיחת ההיכרות תוכלו לראות כיצד הופכים עיקרון של הוגנות לתהליך מתועד שניתן לשיפור. במסגרת ההתאמה נבדוק גם את תפקיד הממשק, את זמן הבדיקה של המאשר ואת דרך ההשגה, כדי שהבקרה תהיה מעשית ולא הצהרה בלבד. נבחר יחד החלטה אחת, קבוצות רלוונטיות ומדד פער שניתן לבדוק שוב לאחר שינוי התהליך. התוצר יכלול צ׳קליסט קצר, בעלים ומועד בדיקה חוזרת כדי שהלמידה תישמר.