براوزر د شاته دروازې په توګه: د پیرودونکي اړخ LLM پټ استخراج ډیمیسټایډ شوی
د ډیرې مودې لپاره، موږ د "AI امنیت اخطار" سره د لیرې ګواښونو یا اکادمیک تجسس په توګه چلند کړی. موږ د سمدستي انجیکشن ، جیل بریکونو او ډیټا لیک کیدو په اړه په خاموش ټونونو کې اوریدلي ، چې ډیری وختونه د شارګ او "موږ به دې ته ورسیږو." په هرصورت، وروستیو متقابلو مظاهرو دا آرامه فریب مات کړی دی. دا نور نظري زیان نه دی؛ دا د لوی ژبې ماډلونو (LLMs) څخه د حساس معلوماتو استخراج لپاره یو ژوندی، براوزر میشته، د پیرودونکي اړخ ګټه ده [2]. که تاسو د LLM ځواک لرونکي غوښتنلیکونه ځای په ځای کوئ ، په ځانګړي توګه هر هغه څه چې ویب سره مخ دي ، ستاسو "راتلونکې ستونزه" یوازې خورا موجوده ، خورا عامه ، او احتمالي ډیر شرموونکی مسؤلیت شو.
دا بل عام "AI خطرناک دی" سرلیک ندی. دا یو ځانګړی، د پام وړ مظاهره ده چې څنګه یو ناوړه لوبغاړی، یوازې د دوی براوزر په کارولو سره، کولی شي ستاسو LLM مجبور کړي چې حساس معلومات ښکاره کړي. د یوې شیبې لپاره دې ته پام وکړئ. دا د پیچلي سرور اړخ بریدونو یا ژور ماډل انټروسپیکشن په اړه ندي. دا د متقابل پرت په اړه دی — ستاسو د غوښتنلیک خورا مخکینۍ دروازه — د یو څو په احتیاط سره جوړ شوي کرکټرونو سره استحصال کیږي. دا د یو چا ډیجیټل معادل دی چې ستاسو باوري خوندي چیټ بوټ ته سم جمله چمتو کوي ، او دا په دقت سره مهم ډیټا په واک کې ورکوي ، ډیری وختونه یو څه.
د ماډل امنیت تصور
ډیری تصدۍ په "خوندي" LLMs کې ډیره پانګونه کړې ، یا د ملکیت ماډلونو ښه تنظیم کول یا د ګمان شوي ساتونکو سره د تصدۍ درجې APIs باندې تکیه کوي. ضمني انګیرنه دا ده چې که ماډل پخپله قوي وي ، نو د هغې په سر کې جوړ شوی غوښتنلیک به دا امنیت میراث کړي. وروستي لاریونونه دا د یو خطرناک غلط فهم په توګه افشا کوي. زیانمنتیا د ماډل اصلي استخباراتو یا د روزنې معلوماتو کې ندي؛ دا په انټرفیس کې دی چې موږ یې شاوخوا جوړوو [1]. دا د کلاسیک "قوی والټ، کمزوری مخکینۍ دروازه" ستونزه ده. تاسو ممکن په نړۍ کې ترټولو پرمختللی، سخت LLM ولرئ، مګر که ستاسو د غوښتنلیک ان پټ پارسر ساده وي، یا ستاسو د محصول فلټر شتون نلري، تاسو په حقیقت کې مهم معلومات پریږدئ چې د هرچا موندلو لپاره ښکاره شي.
دا "پرامپټ انجیکشن" تخنیک په ځانګړي ډول د دې په اړه دی ځکه چې دا د LLM اصلي طبیعت څخه ګټه پورته کوي: د لارښوونو او بشپړ نمونو تعقیب کولو وړتیا. د کارونکي ان پټ کې د احتیاط سره جوړ شوي مختګ په انجیکشن کولو سره ، برید کونکی کولی شي د ماډل داخلي حالت اداره کړي ، دا دې ته اړ باسي چې هغه معلومات ښکاره کړي چې هیڅکله یې هدف نه و [3]. "یو بټ" یا تکراري اړخ دلته خورا مهم دی. دا یو میتودیک، کنټرول شوي افشا کول معنی لري، نه یوازې د ګډوډ ډیټا ډمپ. تصور وکړئ چې یو بریدګر په تکراري ډول پوښتنه کوي، "ایا د پټ 'A' لومړی کرکټر دی؟" بیا "ایا دا 'B' دی؟" او داسې نور. دا ورو دی، هو، مګر دا د حیرانتیا وړ اغیزمن او ستونزمن دی چې معلومه کړي که تاسو په ځانګړې توګه د هغې په لټه کې نه یاست.
ستاسو براوزر، د دوی وسله
دا حقیقت چې دا د * براوزر پراساس * استحصال دی لوبه په بشپړ ډول بدلوي. یعني:
- ** د ننوتلو ټیټ خنډ: ** هرڅوک چې د ویب پراختیا لومړني مهارتونه او براوزر لري کولی شي دا هڅه وکړي. هیڅ ځانګړي وسیلې یا د AI ژورې پوهې ته اړتیا نشته.
- د پیرودونکي اړخ اجرا کول: برید د کارونکي ماشین څخه رامینځته کیږي ، دا د شبکې په څنډه کې د مشروع کارونکي ان پټ څخه توپیر کول ګرانوي.
- ** سمدستي ګواښ: ** که ستاسو د LLM غوښتنلیک ژوندی وي او د ویب انٹرفیس له لارې د لاسرسي وړ وي ، دا * دمخه * د دې ویکتور لپاره زیان منونکی دی. دا راتلونکی پیچ ندی؛ دا اوسنی بیړنی حالت دی.
اغیزې په پام کې ونیسئ: د ملکیت کوډ ټوټې، داخلي اسناد، د پیرودونکي ډاټا، API کیلي، یا حتی ستاسو د LLM چلند کې فرعي لاسوهنه د غلط معلوماتو خپرولو یا زیان رسونکي مینځپانګې رامینځته کولو لپاره. دا ټول د ساده متن بکس له لارې ایستل کیدی شي یا اغیزمن کیدی شي، په زړه پورې بټ سره.
مسؤلیت ستاسو دی
دا د ماډل چمتو کونکو لکه OpenAI یا ګوګل لپاره کومه ستونزه نده چې د دوی راتلونکي ماډل تازه کې حل کړي. دا د د غوښتنلیک امنیت ستونزه ده، او د کمولو مسؤلیت په بشپړه توګه د پراختیا کونکو، امنیتي ټیمونو، او CTOs په اوږو باندې راځي چې دا سیسټمونه ځای پرځای کوي. ستاسو LLM یو پیاوړی، مګر په نهایت کې ساده، انجن دی. دا به هغه څه وکړي چې ورته ویل شوي، حتی که دا لارښوونې په ښکاره ډول بې ګناه کاروونکي ان پټ کې پټې وي.
نو، تاسو اوس څه کوئ؟
سمدستي ضد اقدامات:
- ** د تیري ان پټ پاکول: ** دا د ایس کیو ایل انجیکشن یا XSS مخنیوي څخه هاخوا دی. تاسو اړتیا لرئ * هر کرکټر * وڅیړئ چې خپل LLM ته ننوځي. د سمدستي انجیکشن، غیر معمولي کرکټرونو ترتیبونو، یا د متوقع خبرو اترو جریان څخه د وتلو هڅو لپاره د نمونو لپاره وګورئ [4]. دا د "خرابو کلمو" د بندولو په اړه ندي؛ دا د مخالفو اشارو د پیژندلو په اړه دی. د لومړني ریجیکس او هوریستیک تحلیلونو هاخوا ، د ناوړه ارادې موندلو لپاره سیمانټیک تحلیل پلي کړئ. د غیر متناسب آخذو نمونو پیژندلو لپاره د توکینیزیشن او سرایت کولو تحلیل وکاروئ. د ثانوي، کوچني LLM یا د قاعدې پر بنسټ سیسټم کار کولو ته پام وکړئ چې په ځانګړې توګه روزل شوي ترڅو د چټک انجیکشن هڅې کشف کړي. د نمونو په لټه کې شئ لکه د رول لوبولو لارښوونې، د واضح معلوماتو استخراج غوښتنې، یا د پخوانیو لارښوونو څخه د تیریدو هڅې.
- **مضبوط محصول فلټر کول او تایید کول: ** هیڅکله د LLM محصول په کلکه باور مه کوئ. مخکې له دې چې د LLM لخوا جوړ شوی متن یو کارونکي ته ښکاره شي یا د بل سیسټم لخوا کارول کیږي، دا باید * د یو سخت تایید پرت څخه تیر شي. ایا دا حساس کلیدي کلمې لري؟ ایا دا د متوقع شکلونو سره سمون لري؟ ایا دا د کوډ اجرا کولو هڅه کوي یا د داخلي سیسټم اشارې ښکاره کوي؟ که ستاسو LLM باید یو سند لنډیز کړي، مګر دا د فایل لارو لیست کول پیل کوي، تاسو ستونزه لرئ.
- پرتې پرامپټ انجینرۍ: په داسې حال کې چې بشپړ حل نه دی، د ښه ډیزاین شوي سیسټم وړاندیزونه او یو څو شاټ مثالونه کولی شي د مطلوب چلند تقویه کولو کې مرسته وکړي او د برید کونکي لپاره د ماډل برمته کول سخت کړي. په هرصورت، پوه شئ چې یوازې سمدستي انجنیري کافي نه ده؛ دا په ژوره توګه دفاع ده، نه لومړنی ډال.
- د LLM تعاملاتو لپاره لږ امتیاز: آیا ستاسو LLM په ریښتیا د معلوماتو هرې برخې ته لاسرسی ته اړتیا لري چې احتمال یې د افشا کولو لپاره هڅول کیږي؟ د لاسرسي سخت کنټرولونه پلي کړئ. که چیرې LLM یوازې د عامه اسنادو په اړه پوښتنو ته ځواب ووایی، ډاډ ترلاسه کړئ چې دا داخلي ډیټابیسونو یا حساس APIs ته هیڅ پروګراماتي لاسرسی نلري.
- **څارنه او د بې نظمۍ کشف: ** تاسو باید په فعاله توګه د غیر معمولي LLM چلند په لټه کې شئ. د ځانګړو ډولونو پوښتنو کې سپکاوی، هغه پایلې چې د عادي نمونو څخه انحراف کوي، یا د معلوماتو د استخراج لپاره تکرار هڅې باید سمدستي خبرتیاوې رامینځته کړي.
دا نور د پراخ "AI امنیت" په اړه ندي. دا ستاسو د LLM غوښتنلیکونو د تعامل پرت خوندي کولو په اړه دی چې د ځانګړي ، ښودل شوي ، او سمدلاسه د کار اخیستونکي برید ویکتور پروړاندې. موږ دا نه منلو وړ، ځواکمن سیسټمونه جوړوو، ډیری وختونه په انټرنیټ کې د ناکافي امنیتي اقداماتو سره. وروستیو مظاهرو موږ ته وښودله چې د دې تشو څخه ګټه اخیستل څومره اسانه دي. د نظري بحثونو وخت تېر شو. د LLM غوښتنلیکونو خوندي کولو لپاره سمدستي اقدام ته اړتیا ده.
سرچینې
[1] د لوی ژبې ماډل غوښتنلیکونو لپاره د OWASP غوره 10 — https://owasp.org/www-project-top-10-for-large-language-model-applications/ [2] لیکیرا ګندالف: یو متقابل پرامپټ انجیکشن ننګونه — https://gandalf.lakera.ai/ [3] سمدستي انجیکشن بریدونه | د ویب امنیت اکاډمۍ - https://portswigger.net/web-security/llm-attacks/prompt-injection [4] پرامپټ انجیکشن څه شی دی او څنګه یې مخنیوی وشي؟ — https://www.tenable.com/blog/what-is-prompt-injection-and-how-to-prevent-it