ניהול מוצר עם AI מתחיל בהחלטה מוצרית, לא בבחירת מודל. מנהלי מוצר נדרשים לחבר בין בעיה של משתמשים, נתונים זמינים, מגבלות טכנולוגיות וסיכון עסקי. מערכת יכולה להפיק תשובה שנראית משכנעת, אך פיצ׳ר טוב נמדד ביכולת לפתור צורך חוזר, להשתלב במסע המשתמש ולהפיק תוצאה שניתן לבדוק. לכן אפיון מוצר מבוסס בינה מלאכותית כולל כבר מהיום הראשון גם איכות, שקיפות, אחריות ותוכנית למקרה שהמודל טועה.
במוצר דטרמיניסטי מצפים שאותו קלט יוביל בדרך כלל לאותו פלט. במוצר AI קיימת הסתברות: התוצאה יכולה להשתנות, להיות חלקית או להישען על הנחה שגויה. המשמעות היא שמסמך הדרישות אינו מסתיים בתרחיש הצלחה. הוא צריך להגדיר גם רמת ודאות רצויה, מקורות מוסמכים, מקרי קצה, כללי הסלמה ונקודה שבה המשתמש חייב לאשר את הפעולה. צוות מוצר שמגדיר מראש מהי טעות נסבלת מונע ויכוח מאוחר בין פיתוח, משפטי, שירות והנהלה.
במקום לכתוב “נוסיף עוזר חכם”, מתארים משימה: מי המשתמש, באיזה רגע הוא פונה למערכת, איזה מידע ברשותו ומהי התוצאה שהוא צריך לקבל. רצוי לבחור תרחיש בעל נפח עבודה ברור וכאב שניתן לכמת, למשל זמן חיפוש ארוך, ריבוי החזרות לתיקון או קושי באיתור מידע. האפיון כולל קו בסיס של זמן, איכות ועלות. בלעדיו אפשר להתרשם מהדגמה, אך אי אפשר לדעת אם המוצר באמת השתפר.
יש לקבוע איזה מידע מותר להזין, מה אסור לשמור, אילו פעולות הן בלתי הפיכות ומי בעל האחריות הסופית. אם הפלט משפיע על כסף, זכויות, בטיחות או החלטה מקצועית, נדרש פיקוח אנושי משמעותי ולא אישור אוטומטי. מסגרת NIST AI RMF מציעה לחשוב על ממשל, מיפוי, מדידה וניהול לאורך מחזור החיים. זו אינה רק דרישת ציות; היא עוזרת למנהל המוצר להפוך סיכון לאוסף החלטות תכנון ברורות.
פיילוט טוב הוא ניסוי מוגבל עם השערה. מגדירים מי ישתמש, כמה מקרים ייבדקו, מה נחשב שיפור ומה יוביל לעצירה. כדאי להרכיב ערכת בדיקה הכוללת מקרים פשוטים, מקרים שכיחים ומקרי קצה. כל תוצאה נבדקת לפי דיוק, שלמות, התאמה לקהל והצורך בתיקון אנושי. מתעדים גם תשובות שגויות ולא רק הצלחות, משום שדווקא הכישלונות מלמדים אילו מקורות, הנחיות והרשאות דורשים שינוי.
מדד יעילות ללא מדד איכות עלול להטעות. אם המודל מקצר את ההפקה אך מכפיל את זמן הבקרה, לא נוצר ערך. גם שביעות רצון לבדה אינה מספיקה: משתמשים עשויים לאהוב תשובה מהירה גם כשהיא אינה מדויקת. לכן צוות המוצר משלב נתוני שימוש, הערכת מומחים ותוצאות עסקיות.
המעבר לייצור דורש יותר מממשק נוח. צריך בעל מוצר, בעל נתונים, נוהל עדכון, ניטור ביצועים ודרך לחזור לגרסה קודמת. שינוי במודל, במקור מידע או בהרשאות עשוי לשנות את ההתנהגות גם בלי שינוי חזותי. כדאי לנהל יומן החלטות ולבחון תקופתית האם התרחיש עדיין מוצדק. עקרונות OECD לבינה מלאכותית מדגישים אמינות, שקיפות ואחריות, והם מספקים שפה משותפת בין המוצר, הטכנולוגיה והניהול.
פיצ׳ר AI נכשל לעיתים מפני שהמשתמשים לא יודעים מתי לסמוך עליו ומתי לבדוק. לכן ההדרכה אינה שלב שיווקי בסוף הפיתוח. היא חלק מחוויית המשתמש: דוגמאות טובות, סימני אזהרה, תרגול של מקרי קצה והסבר קצר על גבולות המערכת. הדרכת AI לארגונים יכולה לחבר בין התהליך, המדיניות והעבודה היומיומית, בעוד סדנת AI לארגונים מאפשרת לצוות לתרגל על תרחישים אמיתיים ולשפר אותם.
התעדוף צריך לשקלל ארבעה צירים: ערך למשתמש, זמינות ואיכות הנתונים, מורכבות ההטמעה ורמת הסיכון. פיצ׳ר נוצץ בעל תלות בנתונים לא יציבים עשוי להיות בחירה חלשה יותר משיפור קטן בתהליך חוזר. מומלץ לתת לכל יוזמה ציון, לתעד את ההנחות ולהחליט מראש מה צריך להתברר בפיילוט. כך ה־backlog הופך לכלי למידה: יוזמות אינן מתקדמות בגלל התלהבות רגעית, אלא מפני שהצטברו ראיות שהן פותרות בעיה, ניתנות לתפעול ומתאימות למדיניות הארגון.
כאשר קיימת משימה ברורה, נתונים מתאימים ודרך למדוד תוצאה. אם הצורך אינו מוגדר או שאין מי שיבדוק איכות, כדאי להתחיל במחקר משתמשים ולא בפיתוח.
לא קובעים רק לפי לוח שנה. הפיילוט צריך לכלול מספיק מקרים מייצגים כדי לזהות איכות, חריגים ועלות תפעולית. לעיתים מספר שבועות ממוקדים עדיפים על ניסוי פתוח ללא קריטריונים.
ההחלטה משותפת לבעל המוצר, לבעל התהליך ולגורמי הסיכון הרלוונטיים. במוצר רגיש משתפים גם פרטיות, אבטחת מידע, משפטי או משאבי אנוש לפי ההשפעה.
כאשר הוא משפר תוצאה עסקית או מקצועית, נשמר לאורך זמן ואינו מגדיל טעויות או עומס בקרה. שימוש רב הוא אות חשוב, אך אינו תחליף למדידת איכות ותועלת.
אם אתם בוחנים מוצר, שירות או תהליך מבוסס AI, צוות THE IMPACT יכול לסייע במיפוי התרחיש, בניית פיילוט, הגדרת מדדים והכשרת המשתמשים. הכירו את שיטת THE IMPACT או צרו קשר לתיאום שיחת היכרות. יחד נבחן כיצד לעבור מהדגמה מבטיחה ליכולת ארגונית יציבה, בטוחה ובעלת ערך.