توركۆرگۈچ ئارقا ئىشىك سۈپىتىدە: خېرىدار تەرەپ LLM مەخپىي چىقىرىش ئۈلگە كۆرسىتىش
بەك ئۇزۇن ۋاقىتتىن بۇيان ، بىز «سۈنئىي ئەقىل بىخەتەرلىك ئاگاھلاندۇرۇشى» نى يىراق تەھدىد ياكى ئىلمىي قىزىقىش دەپ قارىدۇق. بىز تېزلىكتە ئوكۇل سېلىش ، تۈرمىدىن قېچىش ۋە يۇمىلاق ئاھاڭدا سانلىق مەلۇماتلارنىڭ ئېقىپ كېتىش ۋەقەسىنى ئاڭلىدۇق ، دائىم كىچىكلەپ تۇرۇپ «ئۇنىڭغا يېتىمىز». قانداقلا بولمىسۇن ، يېقىنقى ئۆز-ئارا تەسىر كۆرسىتىش نامايىشى بۇ راھەت خام خىيالنى بەربات قىلدى. بۇ ئەمدى نەزەرىيەۋى يوچۇق ئەمەس. ئۇ جانلىق ، توركۆرگۈچنى ئاساس قىلغان ، خېرىدارلار تەرىپىدىن چوڭ تىل مودېللىرى (LLMs) دىن سەزگۈر ئۇچۇرلارنى چىقىرىش ئۈچۈن ئىشلىتىلىدۇ. ئەگەر سىز LLM سىستېمىسى قاچىلانغان قوللىنىشچان پروگراممىلارنى ئورۇنلاشتۇرسىڭىز ، بولۇپمۇ تورغا يۈزلەنگەن ھەر قانداق ئىش بولسا ، سىزنىڭ «كەلگۈسى مەسىلىڭىز» پەقەت ناھايىتى ھازىرقى ، ناھايىتى ئوچۇق-ئاشكارە ، شۇنداقلا كىشىنى تولىمۇ خىجىل قىلىدىغان جاۋابكارلىققا ئايلاندى.
بۇ باشقا ئومۇمىي «سۈنئىي ئەقىل خەتەرلىك» تېمىسى ئەمەس. بۇ بىر يامان غەرەزلىك ئارتىسنىڭ پەقەت ئۇلارنىڭ تور كۆرگۈسىنىلا ئىشلىتىپ ، LLM نى زورلاپ سەزگۈر ئۇچۇرلارنى ئاشكارىلايدىغانلىقىنىڭ كونكرېت ، كۆرۈنەرلىك نامايەندىسى. بىر ئاز ئويلىنىپ بېقىڭ. بۇ مۇرەككەپ مۇلازىمېتىر تەرەپتىكى ھۇجۇم ياكى چوڭقۇر مودېلنى تەكشۈرۈش ئەمەس. ئۇ ئۆز-ئارا تەسىر كۆرسىتىش قەۋىتى - قوللىنىشچان پروگراممىڭىزنىڭ ئەڭ ئالدى ئىشىكى بولۇپ ، بىر قانچە ئىنچىكە لايىھەلەنگەن ھەرپلەر بىلەن پايدىلىنىدۇ. بۇ سىزنىڭ بىخەتەر پاراڭلىشىدىغان پاراڭلىشىڭىزغا توغرا جۈملە تۈزگەن كىشىنىڭ رەقەملىك باراۋەرلىكى بولۇپ ، ئۇ ئەستايىدىللىق بىلەن ھالقىلىق سانلىق مەلۇماتلارنى تاپشۇرۇپ بېرىدۇ.
مودېل بىخەتەرلىكنىڭ تەسەۋۋۇرى
نۇرغۇن كارخانىلار «بىخەتەر» LLM غا كۆپلەپ مەبلەغ سالدى ، مەيلى شەخسىي مودېللارنى ئىنچىكە تەڭشەش ياكى قاراۋۇللىرى بار كارخانا دەرىجىلىك API لارغا تايىنىش. يوشۇرۇن پەرەز شۇكى ، ئەگەر مودېلنىڭ ئۆزى پۇختا بولسا ، ئۇنىڭ ئۈستىگە ياسالغان پروگرامما بۇ بىخەتەرلىككە ۋارىسلىق قىلىدۇ. يېقىنقى نامايىشلار بۇنى خەتەرلىك خاتا قاراش دەپ ئاشكارىلىدى. يوچۇق مودېلنىڭ يادرولۇق ئەقلىي ئىقتىدارى ياكى تەربىيىلەش سانلىق مەلۇماتلىرىدا ئەمەس. ئۇ بىز ئەتراپىمىزدا قۇرغان * كۆرۈنمە يۈزىدە [1]. بۇ كلاسسىك «مۇستەھكەم قوتان ، چاققان ئىشىك» مەسىلىسى. سىز بەلكىم دۇنيادىكى ئەڭ ئىلغار ، قاتتىقلاشتۇرۇلغان LLM بولۇشىڭىز مۇمكىن ، ئەمما ئەگەر قوللىنىشچان پروگراممىڭىزنىڭ كىرگۈزۈش ئانالىزچىسى ساددا بولسا ياكى چىقىرىش سۈزگۈچىڭىز بولمىسا ، ماھىيەتتە مۇھىم ئۇچۇرلارنى ئاشكارىلاپ قويسىڭىز بولىدۇ.
بۇ «تېز ئوكۇل ئۇرۇش» تېخنىكىسى ئالاھىدە مۇناسىۋەتلىك ، چۈنكى ئۇ LLM نىڭ ئۆزىگە خاس خاراكتېرىنى قوللىنىدۇ: ئۇنىڭ كۆرسەتمىگە ئەمەل قىلىش ۋە مۇكەممەل ئەندىزە. ئېھتىياتچانلىق بىلەن ياسالغان ئالدى قوشۇلغۇچىنى ئىشلەتكۈچىنىڭ كىرگۈزۈشىگە كىرگۈزۈش ئارقىلىق ، ھۇجۇم قىلغۇچى مودېلنىڭ ئىچكى ھالىتىنى كونترول قىلالايدۇ ، ھەمدە ئۇنى ئەزەلدىن ئويلاپ باقمىغان ئۇچۇرلارنى ئاشكارىلاشقا مەجبۇرلايدۇ [3]. بۇ يەردە «بىر بىتلىق» ياكى تەكرارلىنىش ئىنتايىن مۇھىم. ئۇ پەقەت قالايمىقان سانلىق مەلۇمات تۆكمە قىلىپلا قالماي ، ئۇسۇللۇق ، كونترول قىلىنىدىغان سىرتقا چىقىرىشنى كۆرسىتىدۇ. بىر ھۇجۇمچىنىڭ «A» نىڭ بىرىنچى خاراكتېرىمۇ؟ ئاندىن "B" مۇ؟ " ۋە باشقىلار. ئۇ ئاستا ، شۇنداق ، ئەمما ئۇنى ئالاھىدە ئىزدىمىسىڭىزمۇ ئاجايىپ ئۈنۈملۈك ۋە بايقاش تەس.
توركۆرگۈڭىز ، ئۇلارنىڭ قورالى
بۇنىڭ * توركۆرگۈنى ئاساس قىلغان * ئېكىسپېدىتسىيە بولۇشى ئويۇننى پۈتۈنلەي ئۆزگەرتىدۇ. ئۇنىڭ مەنىسى:
- ** كىرىشتىكى توسالغۇ: ** ئاساسىي تور ئېچىش ئىقتىدارى ۋە توركۆرگۈسى بارلار بۇنى سىناپ باقسا بولىدۇ. ھېچقانداق ئالاھىدە قورال ياكى چوڭقۇر سۈنئىي ئەقىل بىلىملىرى تەلەپ قىلىنمايدۇ.
- ** خېرىدارلار تەرەپ ئىجرا قىلىش: ** ھۇجۇم ئىشلەتكۈچىنىڭ ماشىنىسىدىن كېلىپ چىققان بولۇپ ، تور چېتىدىكى قانۇنلۇق ئىشلەتكۈچى كىرگۈزۈشتىن پەرقلەندۈرۈش تەسكە توختايدۇ.
- ** دەرھال تەھدىد: ** ئەگەر LLM قوللىنىشچان پروگراممىڭىز تور كۆرۈنمە يۈزى ئارقىلىق بىۋاسىتە ۋە زىيارەت قىلغىلى بولسا ، بۇ ۋېكتورغا * ئاللىبۇرۇن * ئاجىز. بۇ كەلگۈسىدىكى ياماق ئەمەس. بۇ ھازىرقى جىددىي ئەھۋال.
بۇنىڭ ئەھمىيىتىنى ئويلاڭ: شەخسىي كود پارچىلىرى ، ئىچكى ھۆججەتلەر ، خېرىدارلارنىڭ سانلىق مەلۇماتلىرى ، API كۇنۇپكىلىرى ، ھەتتا LLM نىڭ ھەرىكىتىنى ئىنچىكە كونترول قىلىپ ، خاتا ئۇچۇر تارقىتىش ياكى زىيانلىق مەزمۇن ھاسىل قىلىش. بۇلارنىڭ ھەممىسىنى ئاددىي تېكىست قۇتىسى ئارقىلىق جاپالىق ئاز-ئازدىن تارتىپ چىقارغىلى ياكى تەسىرلەندۈرگىلى بولىدۇ.
مەسئۇلىيەت سىزنىڭ
بۇ OpenAI ياكى Google غا ئوخشاش مودېل تەمىنلىگۈچىلەرنىڭ كېيىنكى مودېل يېڭىلىنىشىدا ئوڭشىلىشىدىكى مەسىلە ئەمەس. بۇ * قوللىنىشچان بىخەتەرلىك * مەسىلىسى بولۇپ ، ئازايتىش مەسئۇلىيىتى ئاچقۇچىلار ، بىخەتەرلىك گۇرۇپپىلىرى ۋە بۇ سىستېمىلارنى ئورۇنلاشتۇرىدىغان CTO نىڭ زىممىسىگە يۈكلىنىدۇ. سىزنىڭ LLM كۈچلۈك ، ئەمما ئەڭ ئاخىرىدا ساددا ماتور. ئۇ كۆرسەتمىلەرنى قىلىدۇ ، گەرچە بۇ كۆرسەتمىلەر قارىماققا گۇناھسىز كۆرۈنگەن ئىشلەتكۈچى كىرگۈزۈش ئىچىدە يوشۇرۇنغان تەقدىردىمۇ.
ئۇنداقتا ، ھازىر * نېمە قىلىسىز؟
دەرھال تاقابىل تۇرۇش تەدبىرلىرى:
- ** تاجاۋۇزچىلىق كىرگۈزۈش تازىلىقى: ** بۇ SQL ئوكۇل ياكى XSS نىڭ ئالدىنى ئالىدۇ. LLM غا كىرگەن ھەر بىر ھەرپ * نى تەكشۈرۈشىڭىز كېرەك. تېز ئوكۇل سېلىش ، ئادەتتىن تاشقىرى ھەرپ تەرتىپى ياكى مۆلچەردىكى سۆھبەت ئېقىمىدىن بۆسۈپ ئۆتمەكچى بولغان ئەندىزىلەرنى ئىزدەڭ [4]. بۇ «ناچار سۆز» لەرنى توسۇش ئەمەس. ئۇ قارشى تەرەپ ئەسكەرتمىسىنى پەرقلەندۈرۈشكە مۇناسىۋەتلىك. ئاساسىي regex ۋە heuristic تەھلىلدىن باشقا ، يامان غەرەزنى بايقاش ئۈچۈن مەنىلىك تەھلىل يۈرگۈزۈڭ. بەلگە سېلىش ۋە قىستۇرۇش ئانالىزىدىن پايدىلىنىپ نورمالسىز كىرگۈزۈش ئەندىزىسىنى ئېنىقلاڭ. تېزرەك ئوكۇل ئۇرۇشنى بايقاش ئۈچۈن مەخسۇس تەربىيەلەنگەن ئىككىلەمچى ، كىچىك LLM ياكى قائىدە ئاساسىدىكى سىستېمىنى ئىشلىتىشنى ئويلاڭ. رول ئېلىش كۆرسەتمىسى ، ئېنىق سانلىق مەلۇمات ئېلىش تەلىپى ياكى ئىلگىرىكى كۆرسەتمىلەرنى ئايلىنىپ ئۆتۈشكە ئۇرۇنۇش قاتارلىق ئەندىزىلەرنى ئىزدەڭ.
- ** كۈچلۈك چىقىرىش سۈزۈش ۋە دەلىللەش: ** LLM نىڭ چىقىرىشىغا ھەرگىز ئىشەنمەڭ. LLM ھاسىل قىلغان ھەر قانداق تېكىستنى ئىشلەتكۈچىگە كۆرسىتىش ياكى باشقا سىستېما ئىشلىتىشتىن بۇرۇن ، ئۇ چوقۇم * قاتتىق دەلىللەش قەۋىتىدىن ئۆتۈشى كېرەك. ئۇنىڭدا سەزگۈر ئاچقۇچلۇق سۆزلەر بارمۇ؟ مۆلچەردىكى فورماتلارغا ماس كېلەمدۇ؟ ئۇ كودنى ئىجرا قىلماقچىمۇ ياكى ئىچكى سىستېما ئەسكەرتمىسىنى ئاشكارىلىماقچىمۇ؟ ئەگەر سىزنىڭ LLM ھۆججىتىڭىزنى يىغىنچاقلاشقا توغرا كەلسە ، ئەمما ئۇ ھۆججەت يولىنى تىزىشقا باشلىسا ، سىزدە مەسىلە بار.
- ** قاتلاملىق تېز قۇرۇلۇش: ** گەرچە مۇكەممەل ھەل قىلىش چارىسى بولمىسىمۇ ، ئەمما ياخشى لايىھەلەنگەن سىستېما ئەسكەرتمىسى ۋە بىر قانچە ئېتىلغان مىساللار كۆڭۈلدىكىدەك ھەرىكەتنى كۈچەيتىپ ، ھۇجۇم قىلغۇچىنىڭ مودېلنى بۇلىشىنى قىيىنلاشتۇرۇۋېتىدۇ. قانداقلا بولمىسۇن ، تېز قۇرۇلۇشنىڭلا كۇپايە قىلمايدىغانلىقىنى چۈشىنىڭ. ئۇ دەسلەپكى مۇداپىئە ئەمەس ، چوڭقۇرلۇقتىكى مۇداپىئە. L. قاتتىق زىيارەت كونتروللىرىنى يولغا قويۇڭ. ئەگەر LLM پەقەت ئاممىۋى ھۆججەتلەر توغرىسىدىكى سوئاللارغا جاۋاب بەرمەكچى بولسا ، ئۇنىڭ ئىچكى سانلىق مەلۇمات ئامبىرى ياكى سەزگۈر API لارنى پروگراممىلىق زىيارەت قىلالماسلىقىغا كاپالەتلىك قىلىڭ.
- ** نازارەت قىلىش ۋە نورمالسىزلىقنى بايقاش: ** سىز ئاكتىپلىق بىلەن LLM ھەرىكىتىنى ئىزدەشىڭىز كېرەك. ئالاھىدە تۈردىكى سوئاللار ، نورمال ئەندىزىلەردىن چەتنەپ كەتكەن ئۇچۇرلار ياكى قايتا-قايتا ئۇچۇر ئېلىش ئۇرۇنۇشى دەرھال ئاگاھلاندۇرۇشنى قوزغىتىشى كېرەك.
بۇ ئەمدى كەڭ «سۈنئىي ئەقىل بىخەتەرلىكى» توغرىسىدا ئەمەس. بۇ سىزنىڭ LLM قوللىنىشچان پروگراممىڭىزنىڭ ئۆز-ئارا تەسىر كۆرسىتىش قەۋىتىنى مۇئەييەن ، كۆرسىتىلگەن ۋە دەرھال پايدىلىنالايدىغان ھۇجۇم ۋېكتورىغا قارشى تۇرۇشقا مۇناسىۋەتلىك. بىز بۇ ئىشەنگۈسىز ، كۈچلۈك سىستېمىلارنى قۇردۇق ، دائىم كۆرۈنمە يۈزىدە بىخەتەرلىك تەدبىرلىرى يېتەرلىك ئەمەس. يېقىنقى نامايىشلار بىزگە بۇ بوشلۇقلارنى ئىشلىتىشنىڭ نەقەدەر ئاسان ئىكەنلىكىنى كۆرسىتىپ بەردى. نەزەرىيەۋى مۇلاھىزىلەرنىڭ ۋاقتى ئۆتۈپ كەتتى. LLM قوللىنىشچان پروگراممىلىرىغا كاپالەتلىك قىلىش ئۈچۈن دەرھال ھەرىكەت تەلەپ قىلىنىدۇ.
مەنبە
[1] چوڭ تىل مودېل قوللىنىشچان پروگراممىلىرى ئۈچۈن OWASP ئالدىنقى 10 - https://owasp.org/www-project-top-10-for-large-language-model-applications/ [2] لاكېرا گاندالف: ئۆز-ئارا تېز ئوكۇل ئۇرۇش خىرىسى - https://gandalf.lakera.ai/ [3] تېز ئوكۇل ھۇجۇمى | تور بىخەتەرلىك ئاكادېمىيىسى - https://portswigger.net/web-security/llm-attacks/prompt-injection [4] تېز ئوكۇل ئۇرۇش دېگەن نېمە ۋە ئۇنىڭ ئالدىنى قانداق ئېلىش كېرەك؟ - https: //www