הסכם ה-AI בבית הלבן הוא התחלה. ברפואה, רגולציה עצמית לא מספיקה

ההסכם הוולונטרי שנחתם השבוע בבית הלבן בין ממשל ארצות הברית לבין כמה מחברות ה-AI הגדולות בעולם הוא צעד חשוב. הוא מבטא הכרה בכך שבינה מלאכותית מתקדמת אינה יכולה להתפתח ללא מנגנוני בטיחות, בקרה ופיקוח. בין היתר, החברות התחייבו לחזק בקרות פנימיות, לקיים ביקורות חיצוניות ולהעלות את האחריות לרמת ההנהלה והדירקטוריון.

זה חשוב. אבל זה גם מדגים היטב את הגבול של רגולציה עצמית.

01 /הבעיה אינה כוונות. היא תמריצים

קל למסגר את הדיון כאילו מצד אחד נמצאות חברות טכנולוגיה שרוצות לחדש, ומצד שני רגולטורים שרוצים להאט אותן. המציאות מורכבת יותר. גם חברות שפועלות בתום לב פועלות בתוך מערכת תמריצים שבה מהירות, נתח שוק, שווי ותחרות על כישרונות ומודלים הם גורמים חזקים מאוד.

במערכת כזו יש מתח מובנה בין הרצון לבדוק עוד, להמתין לעוד תיקוף, לחשוף מגבלות או להזמין ביקורת חיצונית לבין הרצון להיות הראשונים בשוק. ככל שהתחרות מתעצמת, כך גובר הסיכון שבטיחות תהפוך ממשהו שמגדיר את המוצר למשהו שמנסים "להוסיף" אליו לפני ההשקה.

בטיחות אינה יכולה להיות תלויה רק בשאלה כמה זמן חברה מסחרית מוכנה לעכב השקה.

זו בדיוק הסיבה שהתחייבויות וולונטריות הן התחלה טובה, אך אינן יכולות להיות שכבת ההגנה היחידה. מערכת בטיחות ציבורית אינה יכולה להישען רק על רצון טוב, גם כשהוא כן.

02 /וברפואה, המשמעות אחרת לגמרי

ברפואה, הדיון הזה מקבל משמעות אחרת לגמרי: ככל שה-AI מתקרב להחלטות קליניות ולטיפול במטופלים, כך גם מחיר הטעות עולה.

לא כל שימוש ב-AI ברפואה הוא שימוש בסיכון גבוה. מערכות מסוימות מסייעות בתיעוד, תפעול, תזמון או עבודה אדמיניסטרטיבית. אבל ככל שהמערכת מתקרבת להחלטה קלינית, למיון, לאבחון, להמלצה טיפולית או לניטור מטופלים, כך מחיר הטעות עלול להיות משמעותי יותר.

כאן לא מספיק לשאול אם המודל "מדויק". צריך לשאול גם על מי הוא נבדק, באילו אוכלוסיות, באילו תנאים, מה קורה כאשר הנתונים משתנים, איך מזהים ירידה בביצועים, מה המשתמש הקליני יודע על המגבלות שלו, ומה קורה כאשר התוצאה שלו מתנגשת בשיקול דעת מקצועי.

ברפואה, השאלה אינה רק אם המודל טוב בממוצע. צריך לדעת למי הוא עובד, מתי הוא נכשל ומי נושא באחריות.

זה לב ה-Responsible AI in Medicine: לא להסתפק בביצועים טכניים, אלא לבחון את המערכת לאורך כל מחזור החיים שלה ובתוך ההקשר הקליני שבו היא פועלת.

03 /לא כל "קופסה שחורה" פסולה, אבל שקיפות היא תנאי לשימוש אחראי

אחת הטענות הנפוצות היא שמערכת רפואית מבוססת AI חייבת להיות "ניתנת להסבר". בפועל, הדרישה צריכה להיות מדויקת יותר.

גם ה-FDA, יחד עם רגולטורים מקנדה ובריטניה, מדגיש כי שקיפות אינה בהכרח חשיפה מלאה של כל מנגנון פנימי במודל. היא מחייבת שמידע רלוונטי על הייעוד, הביצועים, המגבלות, הנתונים, הסיכונים והאופן שבו המערכת משתלבת בקבלת החלטות יהיה ברור למי שצריך להשתמש בה.

כלומר, רופא לא חייב להבין כל פרמטר במודל. אבל הוא כן צריך להבין מספיק כדי לדעת מתי אפשר לסמוך על התוצאה, מתי צריך לפקפק בה, מה האוכלוסייה שעליה המערכת נבדקה, ומהן מגבלותיה הידועות.

04 /חשוב לומר: רגולציה כבר קיימת

גם כאן חשוב לדייק. בארצות הברית אין ואקום רגולטורי מוחלט. ה-FDA כבר מסדיר מכשירים רפואיים מבוססי AI דרך מסלולי האישור הקיימים, פרסם עקרונות ל-Good Machine Learning Practice, עקרונות לשקיפות, והנחיות לגבי שינויים מתוכננים במערכות AI לאחר אישורן.

ב-2025 פורסמה גם הנחיה סופית בנושא Predetermined Change Control Plans, שמאפשרת ליצרנים להגדיר מראש אילו שינויים במערכת הם צפויים לבצע, כיצד יתוקפו ומה תהיה הערכת ההשפעה שלהם, כדי לאפשר שיפור איטרטיבי מבלי לוותר על בטיחות ואפקטיביות.

אבל גם מסגרות אלה אינן פותרות הכול. ה-FDA עצמו מבהיר שהוא אינו "מסדיר AI" כמושג, אלא מוצרים שנכנסים להגדרה רגולטורית של מכשיר רפואי. חלק מהכלים החדשים, ובמיוחד מערכות GenAI כלליות שמשולבות בתוך תהליכי עבודה, עלולים לשבת באזורי ביניים מורכבים יותר.

ופה בדיוק נדרש הממד המערכתי.

05 /מה צריך להיות מעבר לרגולציה עצמית

מערכת בריאות אחראית לא יכולה להסתפק בשאלה אם מוצר אושר לשיווק או אם היצרן פרסם עקרונות אתיים. היא צריכה לבנות שכבות נוספות של בקרה:

תיקוף עצמאי. לא רק נתוני היצרן, אלא בדיקה באוכלוסייה ובסביבה שבה המערכת באמת אמורה לפעול.

ניטור לאחר הטמעה. מודלים עלולים להשתנות בביצועיהם כאשר משתנים הנתונים, האוכלוסייה או דפוסי השימוש. אישור בנקודת זמן אחת אינו סוף הסיפור.

בדיקת שונות והוגנות. ממוצע ביצועים טוב יכול להסתיר פערים בין קבוצות. מערכת צריכה להיבחן גם לפי תתי-אוכלוסיות רלוונטיות.

שקיפות למשתמשים. אנשי מקצוע צריכים לדעת מה המערכת עושה, מה היא אינה עושה, ומהן נקודות הכשל הידועות שלה.

אחריות מוגדרת. כאשר מתקבלת החלטה שגויה, לא ניתן להשאיר עמימות בין יצרן המודל, בית החולים, ספק התוכנה והקלינאי. אחריות צריכה להיות מוגדרת מראש, לא בדיעבד.

ממשל מקומי. גם מערכת שעברה מסלול רגולטורי אינה פוטרת ארגון בריאות מוועדת AI, מדיניות רכש, נהלי בקרה, מנגנוני דיווח על אירועים והחלטה ברורה מי רשאי להפעיל את הכלי ובאילו תנאים.

06 /המטרה אינה להאט חדשנות

רגולציה טובה אינה אמורה להפוך חדשנות לבלתי אפשרית. להפך. בבריאות, אמון הוא תנאי להטמעה.

מערכת שאינה נבדקת מספיק אולי תגיע לשוק מהר יותר, אבל אירוע בטיחות משמעותי אחד עלול לפגוע לא רק במוצר מסוים אלא באמון של אנשי מקצוע ומטופלים בתחום כולו. לכן בטיחות, שקיפות ותיקוף אינם "חיכוך" מיותר. הם חלק מהתשתית שמאפשרת לטכנולוגיה להישאר במערכת לאורך זמן.

ההסכם בבית הלבן מסמן שינוי חשוב בשיח: גם התעשייה עצמה מכירה בכך שלא ניתן לפתח מערכות AI מתקדמות ללא מנגנוני פיקוח.

אבל ברפואה צריך ללכת צעד נוסף.

המודל הנכון אינו לבחור בין חדשנות לרגולציה, אלא לבנות רגולציה שמאפשרת חדשנות אחראית. שילוב של אחריות פנימית בחברות, ביקורת חיצונית עצמאית, רגולציה מבוססת סיכון, ממשל ארגוני וניטור מתמשך.

כי כאשר AI נכנס לתוך החלטות רפואיות, האחריות לבטיחות אינה יכולה להיות וולונטרית.

07 /מקורות