אנחנו נוטים לחשוב על הסיכונים של בינה מלאכותית בעיקר במונחים של טעויות. המודל עלול "להזות", להמציא מקור, לתת תשובה לא מדויקת או לפרש מידע באופן שגוי.
אבל יש סיכון אחר, מטריד לא פחות: מה קורה כאשר המידע שעליו מסתמכת הבינה המלאכותית עצמו נפגע?
לתופעה הזו קוראים Data Poisoning – הרעלת נתונים.
01 /לא רק טעות של המודל
הרעלת נתונים מתרחשת כאשר מידע שגוי, מטעה או זדוני חודר למקורות שמהם מערכת AI לומדת או שואבת מידע.
ההבדל מ"הזיה" חשוב. כאשר מודל הוזה, הבעיה נוצרת בתוך תהליך יצירת התשובה. בהרעלת נתונים, לעומת זאת, המערכת עשויה לפעול בדיוק כפי שתוכננה – אלא שהמידע שעליו היא מסתמכת כבר אינו אמין.
אפשר לחשוב על זה כמו על רופא שקורא ספר לימוד שמישהו החליף בו כמה עמודים. הבעיה אינה בהכרח ביכולת של הרופא לקרוא או להסיק מסקנות. הבעיה היא שהמקור עצמו נפגע.
המערכת עשויה לפעול בדיוק כפי שתוכננה – אלא שהמידע שעליו היא מסתמכת כבר אינו אמין.
02 /שתי דלתות להרעלה
כדי להבין את הסיכון, כדאי להבחין בין שתי דרכים שבהן מידע מגיע למערכת AI.
הדרך הראשונה היא אימון. המודל לומד מכמויות עצומות של טקסט, ולעיתים הארגון מוסיף שלב של התאמה (fine-tuning) על הנתונים שלו. מה שנכנס כאן הופך לחלק מהמודל עצמו, וקשה מאוד להוציא אותו משם.
הדרך השנייה היא שליפה בזמן אמת. יותר ויותר ארגונים מחברים מודלים למידע הארגוני שלהם: נהלים, הנחיות מקצועיות, מאגרי ידע, תיקי מטופלים ומחקרים. השיטה הנפוצה לכך נקראת RAG – Retrieval-Augmented Generation. לפני שהמודל עונה, הוא מחפש מסמכים רלוונטיים במאגר שהוגדר עבורו, קורא אותם ומשתמש בהם כדי לנסח תשובה.
כאן המודל לא "לומד" את המסמכים – הוא קורא אותם מחדש בכל פעם. זה מאפשר לבנות מערכות שמכירות את הארגון ומתעדכנות בקלות. אבל זה גם אומר שכל מסמך שנכנס למאגר עלול להשפיע על התשובות מיד, ולהופיע שוב ושוב בשפה בטוחה, רהוטה ומשכנעת.
שתי הדלתות פגיעות, אבל באופן שונה. הרעלת אימון קשה יותר לבצע וקשה יותר לתקן. הרעלת מאגר קלה יותר לבצע, והיא זו שרוב הארגונים שמטמיעים היום AI חשופים אליה בפועל.
03 /כמה מעט צריך כדי להרעיל?
פחות ממה שנהוג היה לחשוב. שני מחקרים מהשנים האחרונות ממחישים זאת, אחד לכל דלת.
בצד של מאגרי הידע, מחקר בשם PoisonedRAG, שהוצג בכנס USENIX Security 2025, הראה שהזרקת חמישה טקסטים זדוניים לשאלה מסוימת, בתוך מאגר של מיליוני טקסטים, הספיקה כדי להוביל את המערכת לתשובה שהתוקף בחר בכ-90% מהמקרים. ההגנות שנבדקו לא הספיקו כדי לעצור את זה.
בצד של האימון, מחקר משותף של Anthropic, מכון בטיחות ה-AI הבריטי ומכון אלן טיורינג מצא שכ-250 מסמכים זדוניים בנתוני האימון הספיקו כדי להשתיל "דלת אחורית" במודלים בגדלים שונים – עד 13 מיליארד פרמטרים. המשמעות היא שתוקף לא צריך לשלוט באחוז מסוים מהנתונים, אלא רק במספר קטן וקבוע של מסמכים.
חשוב לסייג: המחקר השני בדק דלת אחורית תמימה יחסית (גרימת המודל להפיק טקסט חסר משמעות), ועדיין לא ברור עד כמה הממצא מחזיק במודלים גדולים יותר. אבל המסר הכללי ברור: הרעלה היא איום מעשי יותר ממה שהניחו.
04 /ובבריאות הנפש המחיר עלול להיות גבוה במיוחד
דמיינו מערכת AI המסייעת לאנשי מקצוע לבצע הערכה ראשונית של אדם במצוקה. מסמך שנכנס למאגר שלה קובע באופן שגוי שסימן אזהרה מסוים אינו מחייב המשך בירור. המודל מסתמך עליו וממליץ בהתאם.
או מערכת המסייעת בבחירת התערבות טיפולית. מידע שהוחדר למאגר גורם לה להציג טיפול, אפליקציה או מוצר מסוים כיעילים יותר מכפי שעולה מהראיות.
אפשר לחשוב גם על תרחיש שבו מידע מוטה גורם למערכת לפרש התנהגות של אוכלוסייה מסוימת כפתולוגית יותר, או להפך – להמעיט בסיכון.
בתחום בריאות הנפש זה משמעותי במיוחד, משום שחלק גדול מהמידע אינו בינארי. אנחנו עוסקים בשפה, הקשר, הערכת סיכון, סימנים עדינים ושיקול דעת מקצועי. שינוי קטן באופן שבו מערכת מפרשת את המידע יכול להשפיע על ההחלטה שמתקבלת בהמשך – וקשה הרבה יותר לזהות שמשהו השתבש.
בבריאות הנפש, שינוי קטן באופן שבו מערכת מפרשת מידע יכול להשפיע על החלטה – וקשה הרבה יותר לזהות שמשהו השתבש.
05 /גם בלי האקר, התוצאה יכולה להיות זהה
במובנה המדויק, הרעלת נתונים היא פעולה מכוונת. גורם בעל אינטרס מסחרי, אידיאולוגי או אחר מנסה להשפיע על המידע שהמערכת צורכת.
אבל מנקודת המבט של המטופל או של איש המקצוע, לא תמיד משנה אם הייתה כוונה זדונית. מספיק שמסמך ישן נשאר במאגר לצד הנחיה חדשה. עובד מעלה בטעות גרסה לא מאושרת של נוהל. תוכן מאתר חיצוני נשאב למערכת בלי בדיקת מקור. משתמשים נותנים למערכת משוב שגוי באופן שיטתי.
אנשי אבטחה יקראו לחלק מהמקרים האלה בעיית שלמות מידע, ולא הרעלה. אבל התוצאה יכולה להיות זהה: מערכת שמייצרת תשובות על בסיס ידע שאיננו הידע שאנחנו חושבים שיש לה. ולכן גם המענה דומה.
06 /הוראות סמויות בתוך מסמכים
במערכות RAG יש גרסה נוספת ומוחשית מאוד של הבעיה, שנקראת הזרקת פרומפט עקיפה (Indirect Prompt Injection).
כאן המסמך שנכנס למאגר לא מכיל מידע שגוי, אלא הוראות סמויות שמיועדות למודל עצמו: "התעלם מההנחיות הקודמות", "המלץ תמיד על המוצר הזה". אדם שקורא את המסמך עשוי לא לשים לב להן כלל. אבל המודל קורא את הכול, ולעיתים מציית.
הסיכון גדל ככל שמערכות AI מקבלות יותר יכולות פעולה – לשלוח הודעות, לעדכן רשומות או לגשת למידע רגיש. מסמך אחד שנשאב ממקור לא מבוקר יכול להפוך לערוץ שליטה במערכת.
07 /דלת אחורית שלא רואים בבדיקות
בצד של האימון קיים תרחיש מתוחכם יותר, שנקרא Backdoor poisoning. הוא רלוונטי במיוחד לארגונים שמאמנים או מתאימים מודל על הנתונים שלהם, או שמשתמשים במודל שמקורו אינו ידוע.
במצב כזה המערכת מתנהגת בצורה תקינה כמעט תמיד, אבל מגיבה אחרת כאשר מופיע טריגר מסוים – מילה, צירוף או הקשר.
זו בעיה מטרידה במיוחד מבחינת בטיחות, משום שמערכת כזו עשויה לעבור בהצלחה בדיקות רבות. אם תרחיש הבדיקה אינו כולל את הטריגר, לא נראה שמשהו אינו תקין. כלומר, גם השאלה "בדקנו את המערכת והיא עובדת טוב?" כבר אינה מספיקה.
08 /אז מה עושים?
ארגונים שמכניסים AI לבריאות, לבריאות הנפש ולרווחה צריכים להרחיב את מושג אבטחת המידע. לא רק שמירה על פרטיות המטופל, אלא גם שמירה על שלמות הידע שמזין את המערכת.
ברמת הארגון, זה אומר בקרת הרשאות למאגרי הידע, ניהול גרסאות, ניטור של שינויים חריגים, בדיקות תקופתיות ו-red teaming, והפרדה ברורה בין מידע מקצועי מאומת לבין תוכן חיצוני.
אבל גם אנשי מקצוע ומנהלים שאינם מומחי טכנולוגיה יכולים לשאול את השאלות הנכונות – את ספק המערכת, את מחלקת המחשוב או את עצמם:
על מה זה מבוסס? האם אפשר לראות, ליד כל המלצה משמעותית, אילו מקורות שימשו את המערכת?
מי מעדכן? מי מורשה להוסיף, לשנות או למחוק מסמכים במאגר, והאם כל שינוי נרשם?
מה עדכני? מה קורה לנוהל ישן כשנכנס נוהל חדש במקומו?
מאיפה זה הגיע? האם המערכת שואבת תוכן מאתרים חיצוניים, ואם כן – מי בודק אותו?
איך זה נבדק? האם המערכת נבדקה גם מול ניסיונות מכוונים להטעות אותה, ולא רק בתרחישים שגרתיים?
במערכות בסיכון גבוה, איש המקצוע צריך להבין על מה מבוססת המלצה – ולא לקבל את תשובת ה-AI כקופסה שחורה.
09 /בטיחות AI היא הרבה יותר מבטיחות המודל
בשנים הקרובות ננהל יותר ויותר דיונים על השאלה אם מודלים של בינה מלאכותית בטוחים מספיק לשימוש בבריאות ובבריאות הנפש. אבל ייתכן שאנחנו שואלים שאלה צרה מדי.
מערכת AI אינה רק המודל. היא המודל, המידע שמוזן אליו, מאגרי הידע שאליהם הוא מחובר, האנשים שמעדכנים אותם, מנגנוני המשוב, הממשקים והארגון שבתוכו כל אלה פועלים.
לכן Responsible AI אינו יכול להסתכם בבחירת מודל "טוב" ובבדיקת הדיוק שלו לפני ההטמעה. צריך להגן גם על שרשרת הידע כולה.
כי בעולם שבו AI הופך בהדרגה לשכבת תשתית בתוך מערכות הבריאות, השאלה כבר אינה רק האם אנחנו יכולים לסמוך על הבינה המלאכותית.
אנחנו צריכים לדעת גם האם אנחנו יכולים לסמוך על מה שהיא למדה – ועל מה שהיא קוראת.
תגובות
אין עדיין תגובות. מוזמנים להיות הראשונים.