דער בלעטערער ווי אַ באַקדאָר: קליענט-זייַט LLM סוד עקסטראַקטיאָן דעמיסטאַפייד

פֿאַר צו לאַנג, מיר האָבן באהאנדלט "AI זיכערהייט וואָרנינגז" ווי ווייַט טרעץ אָדער אַקאַדעמיק קיוריאַסאַטיז. מיר האָבן געהערט וועגן פּינטלעך ינדזשעקשאַן, דזשאַילברייקס, און דאַטן ליקאַדזש אין כאַשט טאָנעס, אָפט נאכגעגאנגען דורך אַ שלייף און אַ "מיר וועלן באַקומען צו עס." אָבער, פריש ינטעראַקטיוו דעמאַנסטריישאַנז האָבן שאַטערד אַז באַקוועם אילוזיע. דאָס איז ניט מער אַ טעאָרעטיש וואַלנעראַביליטי; עס איז אַ לעבן, בלעטערער-באזירט, קליענט-זייַט גווורע פֿאַר עקסטראַקט שפּירעוודיק אינפֿאָרמאַציע פון ​​גרויס שפּראַך מאָדעלס (LLMs) [2]. אויב איר דיפּלייינג LLM-Powered אַפּלאַקיישאַנז, ספּעציעל אַלץ וואָס איז פייסינג אויף די וועב, דיין "צוקונפט פּראָבלעם" איז געווארן אַ זייער פאָרשטעלן, זייער עפנטלעך און פּאַטענטשאַלי זייער ימבעראַסינג אַכרייַעס.

דאָס איז נישט אן אנדער דזשאַנעריק "AI איז ריזיקאַליש" כעדליין. דאָס איז אַ ספּעציפיש, מאַמאָשעסדיק דעמאַנסטריישאַן פון ווי אַ בייזע אַקטיאָר, ניצן בלויז זייער בלעטערער, ​​קענען צווינגען דיין LLM צו אַנטדעקן שפּירעוודיק אינפֿאָרמאַציע. באַטראַכטן אַז פֿאַר אַ מאָמענט. עס איז נישט וועגן קאָמפּלעקס סערווער זייַט אנפאלן אָדער טיף מאָדעל ינטראַספּעקשאַן. עס איז וועגן די ינטעראַקשאַן שיכטע - די פראָנט טיר פון דיין אַפּלאַקיישאַן - איז עקספּלויטאַד מיט עטלעכע קערפאַלי קראַפטעד אותיות. עס איז דער דיגיטאַל עקוויוואַלענט פון עמעצער וואָס קראַפטינג די רעכט פראַזע צו דיין סאַפּאָוזאַדלי זיכער טשאַטבאָט, און עס ריספּאַנד דורך פליכט קריטיש דאַטן, אָפט ביסל דורך ביסל.

די אילוזיע פון מאָדעל זיכערהייט

פילע ענטערפּריסעס האָבן ינוועסטאַד שווער אין "זיכער" LLMs, אָדער פיין-טונינג פּראַפּרייאַטערי מאָדעלס אָדער פאַרלאָזנ אויף פאַרנעמונג-מיינונג אַפּיס מיט געמיינט גאַרדריילז. די ימפּליסאַט האַשאָרע איז אַז אויב די מאָדעל זיך איז געזונט, די אַפּלאַקיישאַן געבויט אויף שפּיץ פון עס וועט ירשענען די זיכערהייט. לעצטע דעמאַנסטריישאַנז ויסשטעלן דאָס ווי אַ געפערלעך מיסקאַנסעפּשאַן. די וואַלנעראַביליטי איז נישט אין די מאָדעל ס האַרץ סייכל אָדער זיין טריינינג דאַטן; עס איז אין די * צובינד * מיר בויען אַרום אים [1]. דאָס איז דער קלאַסיש "שטאַרק וואָלט, נישטיק פראָנט טיר" פּראָבלעם. איר קען האָבן די מערסט אַוואַנסירטע, פאַרגליווערט LLM אין דער וועלט, אָבער אויב די אַרייַנשרייַב פּאַרסער פון דיין אַפּלאַקיישאַן איז נאַיוו, אָדער דיין רעזולטאַט פילטער איז ניט-עגזיסטאַנט, איר יסענשאַלי לאָזן קריטיש אינפֿאָרמאַציע יקספּאָוזד פֿאַר ווער עס יז צו געפֿינען.

די טעכניק פון "פּינטלעך ינדזשעקשאַן" איז דער הויפּט וועגן ווייַל עס לעוועראַדזשאַז די טאָכיק נאַטור פון די LLM: זיין פיייקייט צו נאָכפאָלגן ינסטראַקשאַנז און פאַרענדיקן פּאַטערנז. דורך ינדזשעקטינג אַ קערפאַלי קאַנסטראַקטאַד פּרעפיקס אין אַ באַניצער ס אַרייַנשרייַב, די אַטאַקער קענען מאַניפּולירן די ינערלעך שטאַט פון די מאָדעל, צווינגען עס צו אַנטדעקן אינפֿאָרמאַציע וואָס עס איז קיינמאָל בדעה צו [3]. דער "איין-ביסל" אָדער יטעראַטיוו אַספּעקט איז קריטיש דאָ. עס ימפּלייז אַ מעטאַדיקאַל, קאַנטראָולד עקספילטריישאַן, ניט נאָר אַ כאַאָטיש דאַטן דאַמפּ. ימאַדזשאַן אַ אַטאַקער יטעראַטיוולי אַסקינג, "איז דער ערשטער כאַראַקטער פון די סוד 'א'?" דעמאָלט "איז עס 'ב'?" און אזוי ווייטער. עס איז פּאַמעלעך, יאָ, אָבער עס איז אויך ינקרעדאַבלי עפעקטיוו און שווער צו דעטעקט אויב איר זענט נישט ספּאַסיפיקלי קוקן פֿאַר עס.

דיין בלעטערער, זייער וואָפן

דער פאַקט אַז דאָס איז אַ * בלעטערער-באזירט * גווורע ענדערונגען די שפּיל לעגאַמרע. עס מיטל:

• ** נידעריק באַריער צו פּאָזיציע: ** ווער עס יז מיט יקערדיק וועב אַנטוויקלונג סקילז און אַ בלעטערער קענען פּרווון דעם. קיין ספּעשאַלייזד מכשירים אָדער טיף אַי וויסן זענען פארלאנגט.
• ** קליענט-זייַט דורכפירונג: ** די באַפאַלן ערידזשאַנייץ פון דער באַניצער 'ס מאַשין, וואָס מאכט עס שווער צו ויסטיילן פון לאַדזשיטאַמאַט באַניצער אַרייַנשרייַב אין די נעץ ברעג.
• ** באַלדיק טרעט: ** אויב דיין LLM אַפּלאַקיישאַן איז לעבן און צוטריטלעך דורך אַ וועב צובינד, עס איז * שוין * שפּירעוודיק צו דעם וועקטאָר. דאָס איז נישט אַ צוקונפֿט לאַטע; עס ס אַ פאָרשטעלן נויטפאַל.

באַטראַכטן די ימפּלאַקיישאַנז: פּראַפּרייאַטערי קאָד סניפּאַץ, ינערלעך דאַקיומענטיישאַן, קונה דאַטן, אַפּי שליסלען, אָדער אפילו סאַטאַל מאַניפּיאַליישאַן פון דיין LLM ס נאַטור צו פאַרשפּרייטן מיס אינפֿאָרמאַציע אָדער דזשענערייט שעדלעך אינהאַלט. אַלע דעם קענען זיין יקסטראַקטיד אָדער ינפלואַנסט, ביסל דורך פּיינסטייקינג ביסל, דורך אַ פּשוט טעקסט קעסטל.

# # די פאראנטווארטליכקייט איז איהר

דאָס איז נישט אַ פּראָבלעם פֿאַר מאָדעל פּראַוויידערז ווי OpenAI אָדער Google צו פאַרריכטן אין זייער ווייַטער מאָדעל דערהייַנטיקן. דאָס איז אַ * אַפּלאַקיישאַן זיכערהייט * פּראָבלעם, און די פֿאַראַנטוואָרטלעכקייט פֿאַר מיטיגיישאַן פאלן סקווערלי אויף די פּלייצעס פון דעוועלאָפּערס, זיכערהייט טימז און קטאָס וואָס דיפּלויד די סיסטעמען. דיין LLM איז אַ שטאַרק, אָבער לעסאָף נאַיוו, מאָטאָר. עס וועט טאָן וואָס עס איז געזאָגט, אפילו אויב די ינסטראַקשאַנז זענען פאַרבאָרגן אין אַ פּאָנעם אומשולדיק באַניצער אַרייַנשרייַב.

אַזוי, וואָס טאָן איר טאָן * איצט *?

באַלדיק קאָונטערמעזשערז:

1. ** אַגרעסיוו ינפּוט סאַניטיזאַטיאָן: ** דאָס גייט ווייַטער פון פּרעווענטינג סקל ינדזשעקשאַן אָדער XSS. איר דאַרפֿן צו ונטערזוכן * יעדער כאַראַקטער * אַרייַן דיין LLM. קוק פֿאַר פּאַטערנז וואָס ינדיקייץ פּינטלעך ינדזשעקשאַן, ומגעוויינטלעך כאַראַקטער סיקוואַנסיז, אָדער פרווון צו ברעכן אויס פון דערוואַרט קאַנווערסיישאַנאַל פלאָוז [4]. דאָס איז נישט וועגן בלאַקינג "שלעכט ווערטער"; עס איז וועגן ידענטיפיצירן קעגנערסיאַל פּראַמפּס. ווייַטער פון יקערדיק רעגעקס און כיוריסטיק אַנאַליסיס, ינסטרומענט סעמאַנטיק אַנאַליסיס צו דעטעקט בייזע קאַוואָנע. ניצן טאָקעניזאַטיאָן און עמבעדדינג אַנאַליסיס צו ידענטיפיצירן אַנאַמאַלאַס אַרייַנשרייַב פּאַטערנז. באַטראַכטן ניצן אַ צווייטיק, קלענערער LLM אָדער אַ הערשן-באזירט סיסטעם ספּאַסיפיקלי טריינד צו דעטעקט פּינטלעך ינדזשעקשאַן פרווון. קוק פֿאַר פּאַטערנז ווי ראָלע-פּלייינג ינסטראַקשאַנז, יקספּליסאַט דאַטן יקסטראַקשאַן ריקוועס אָדער פרווון צו בייפּאַס די פריערדיקע ינסטראַקשאַנז.
2. ** שטאַרק רעזולטאַט פֿילטרירונג און וואַלאַדיישאַן: ** קיינמאָל צוטרוי די LLM ס רעזולטאַט ימפּליסאַטלי. איידער קיין LLM-דזשענערייטאַד טעקסט איז געוויזן צו אַ באַניצער אָדער געוויינט דורך אן אנדער סיסטעם, עס * מוזן * פאָרן דורך אַ שטרענג וואַלאַדיישאַן שיכטע. טוט עס אַנטהאַלטן שפּירעוודיק טערמינען? צי עס גלייַכן געריכט פֿאָרמאַטירונגען? צי עס פּרווון צו ויספירן קאָד אָדער אַנטדעקן ינערלעך סיסטעם פּראַמפּס? אויב דיין LLM איז געמיינט צו סאַמערייז אַ דאָקומענט, אָבער עס סטאַרץ ליסטינג טעקע פּאַטס, איר האָבן אַ פּראָבלעם.
3. ** לייַערד פּינטלעך אינזשעניריע: ** כאָטש ניט אַ גאַנץ לייזונג, געזונט-דיזיינד סיסטעם פּראַמפּס און ביסל-שאָס ביישפילן קענען העלפן פאַרשטאַרקן די געוואלט נאַטור און מאַכן עס שווער פֿאַר אַ אַטאַקער צו כיידזשאַק די מאָדעל. אָבער, פֿאַרשטיין אַז פּינטלעך ינזשעניעריע אַליין איז ניט גענוגיק; עס איז אַ פאַרטיידיקונג אין טיף, נישט אַ ערשטיק שילד.
4. **קלענסטער פּריווילעגיע פֿאַר LLM ינטעראַקטיאָנס: ** צי דיין LLM טאַקע דאַרפֿן אַקסעס צו יעדער שטיק פון דאַטן וואָס עס קען זיין פּראַמפּטיד צו אַנטדעקן? ינסטרומענט שטרענג אַקסעס קאָנטראָלס. אויב די LLM איז בלויז געמיינט צו ענטפֿערן פֿראגן וועגן עפנטלעך דאַקיומענטיישאַן, ענשור אַז עס האט קיין פּראָגראַממאַטיק אַקסעס צו ינערלעך דאַטאַבייסיז אָדער שפּירעוודיק אַפּיס.
5. ** מאָניטאָרינג און אַנאַמאַלי דעטעקשאַן: ** איר דאַרפֿן צו זיין אַקטיוולי קוקן פֿאַר ומגעוויינטלעך LLM נאַטור. ספּייקס אין ספּעציפיש טייפּס פון פֿראגן, אַוטפּוץ וואָס אָפּנייגן פון נאָרמאַל פּאַטערנז, אָדער ריפּיטיד פרווון צו עקסטראַקט אינפֿאָרמאַציע זאָל צינגל גלייך אַלערץ.

דאָס איז ניט מער וועגן ברייט "AI זיכערהייט". דאָס איז וועגן סיקיורינג די ינטעראַקשאַן שיכטע פון ​​דיין LLM אַפּלאַקיישאַנז קעגן אַ ספּעציפיש, דעמאַנסטרייטיד און גלייך עקספּלויטאַבאַל באַפאַלן וועקטאָר. מיר האָבן געבויט די גלייבן, שטאַרק סיסטעמען, אָפט מיט ינאַדאַקוואַט זיכערהייט מיטלען אין די צובינד. לעצטע דעמאַנסטריישאַנז האָבן געוויזן אונדז פּונקט ווי גרינג עס איז צו גווורע די גאַפּס. די צייט פֿאַר טעאָרעטיש דיסקוסיעס איז פאַרגאַנגענהייט. גלייך קאַמף איז פארלאנגט צו באַוואָרענען LLM אַפּלאַקיישאַנז.

# קוואלן

[1] OWASP Top 10 פֿאַר אַפּפּליקאַטיאָנס פֿאַר גרויס שפּראַך מאָדעל - https://owasp.org/www-project-top-10-for-large-language-model-applications/ [2] Lakera Gandalf: אַן ינטעראַקטיווע פּינטלעך ינדזשעקשאַן אַרויסרופן - https://gandalf.lakera.ai/ [3] פּינטלעך ינדזשעקשאַן אנפאלן | וועב זיכערהייט אַקאַדעמי - https://portswigger.net/web-security/llm-attacks/prompt-injection [4] וואָס איז פּינטלעך ינדזשעקשאַן און ווי צו פאַרהיטן עס? - https://www.tenable.com/blog/what-is-prompt-injection-and-how-to-prevent-it