Arka gapy hökmünde brauzer: Müşderi-Side LLM gizlin çykarylyşy görkezilýär
Uzak wagt bäri "AI howpsuzlyk duýduryşlaryna" uzak howp ýa-da akademiki bilesigelijilik hökmünde garadyk. Çalt sanjym, türmeden gaçmak we ýumşak seslerde maglumatlaryň syzmagy hakda eşitdik, köplenç gysyş we "oňa ýeteris". Şeýle-de bolsa, soňky interaktiw demonstrasiýalar bu rahat illýuziýany puja çykardy. Bu indi teoretiki gowşaklyk däl; Uly dil modellerinden (LLM) duýgur maglumatlary çykarmak üçin janly, brauzer esasly, müşderi tarapyndan ulanylýan ekspluatasiýa [2]. LLM bilen işleýän programmalary, esasanam web bilen ýüzbe-ýüz bolýan zatlary ýerleşdirýän bolsaňyz, "geljekdäki meseläňiz" häzirki, gaty köpçülige we gaty utandyryjy jogapkärçilige öwrüldi.
Bu başga bir umumy "AI töwekgelçilikli" sözbaşy däl. Zyýanly aktýoryň, diňe brauzerini ulanyp, LLM-i duýgur maglumatlary açmaga mejbur edip biljekdiginiň anyk, göze görnüp duran görkezmesi. Bir salym pikirleniň. Gürrüň serweriň çylşyrymly hüjümleri ýa-da çuňňur model gözlegleri hakda däl. Bu, özara täsir gatlagy, programmaňyzyň iň gapysy, birnäçe seresaplylyk bilen döredilen simwollar bilen ulanylýar. Bu, ygtybarly hasaplanýan söhbetdeşligiňize dogry söz düzýän adamyň sanly ekwiwalenti we möhüm maglumatlary köplenç az-kem gowşurýar.
Model howpsuzlygynyň illýuziýasy
Köp kärhanalar “ygtybarly” LLM-lere, ýa-da eýeçilik modellerini gowy düzmek ýa-da garawullary bilen kärhana derejeli API-lerine bil baglamak üçin ep-esli maýa goýdular. Göçme manyda Modeliň özi ygtybarly bolsa, üstünde gurlan programma şol howpsuzlygy miras alar. Soňky demonstrasiýalar muny howply ýalňyş düşünje hökmünde görkezýär. Gowşaklyk modeliň esasy intellektinde ýa-da okuw maglumatlarynda däl; töwereginde gurýan * interfeýsde * [1]. Bu nusgawy "berk gümmez, çalaja gapy" meselesi. Dünýäde iň ösen, gatylaşdyrylan LLM bolup biler, emma programmaňyzyň giriş derňewi sada bolsa ýa-da çykyş süzgüçiňiz ýok bolsa, möhüm maglumatlary kimdir biriniň tapmagy üçin açyk goýýarsyňyz.
Bu "gyssagly sanjym" usuly, esasanam LLM-iň mahsus tebigatyna: görkezmelere we doly nagyşlara eýermek ukybyna esaslanýar. Ulanyjynyň girişine seresaplylyk bilen gurlan prefiksi sanjyp, hüjümçi modeliň içerki ýagdaýyny dolandyryp biler we hiç haçan göz öňünde tutulmadyk maglumatlary açmaga mejbur edip biler [3]. Bu ýerde "bir bitli" ýa-da gaýtalanýan tarap möhümdir. Bu diňe bir bulam-bujar maglumat zyňylmagyny däl-de, metodiki, gözegçilik edilýän eksfiltrasiýany göz öňünde tutýar. Hüjümçiniň "A" syrynyň birinji gahrymanymy? soň "B" bolýarmy? " we ş.m. Bu haýal, hawa, ýöne aýratyn-da gözlemeýän bolsaňyz, ajaýyp täsirli we kesgitlemek kyn.
Brauzeriňiz, olaryň ýaragy
Munuň * brauzer esasly * ekspluatasiýa bolmagy oýny düýbünden üýtgedýär. Munuň manysy:
- ** Giriş üçin pes päsgelçilik: ** Esasy web ösüş ukyby we brauzeri bolan islendik adam muny synap biler. Hiç hili ýöriteleşdirilen gurallar ýa-da çuňňur AI bilimleri talap edilmeýär.
- ** Müşderi tarapyň ýerine ýetirilişi: ** Hüjüm ulanyjynyň enjamyndan gelip çykýar we toruň gyrasyndaky ulanyjylaryň kanuny girişlerinden tapawutlandyrmagy kynlaşdyrýar.
- ** Derrew howp: ** LLM programmaňyz göni we interfeýs arkaly elýeterli bolsa, bu wektor üçin * eýýäm * goragsyz. Bu geljekki ýama däl; häzirki adatdan daşary ýagdaý.
Munuň netijelerine göz aýlaň: nädogry kod ýaýratmak ýa-da zyýanly mazmun döretmek üçin LLM-iň özüni alyp barşyny gizlin kod bölekleri, içerki resminamalar, müşderi maglumatlary, API açarlary ýa-da hatda inçe manipulýasiýa etmek. Bularyň hemmesini ýönekeý tekst gutusy arkaly çykaryp ýa-da täsir edip bolýar.
Jogapkärçilik siziňki
Bu, OpenAI ýa-da Google ýaly model üpjün edijiler üçin indiki model täzelenişinde düzedilmegi kyn däl. Bu * programma howpsuzlygy * meselesidir we azaltmak jogapkärçiligi bu ulgamlary ýerleşdirýän işläp düzüjileriň, howpsuzlyk toparlarynyň we CTO-laryň üstüne düşýär. LLM güýçli, ýöne ahyrynda sada, hereketlendiriji. Bu görkezmeler bigünä ýaly görünýän ulanyjy girişinde gizlenen hem bolsa, aýdylan zady eder.
Onda, indi näme edýärsiňiz?
Derrew garşylyklaýyn çäreler:
- ** Agressiw giriş sanitizasiýasy: ** Bu SQL sanjymynyň ýa-da XSS-iň öňüni alýar. LLM-ä girýän * nyşanlaryň hemmesini gözden geçirmeli. Çalt sanjymy, üýtgeşik häsiýet yzygiderliligini ýa-da garaşylýan gepleşik akymlaryndan çykmaga synanyşýan nagyşlary gözläň [4]. Bu "erbet sözleri" petiklemek hakda däl; garşydaş teklipleri kesgitlemek hakda. Esasy regex we ýewropiki derňewden başga, erbet niýeti ýüze çykarmak üçin semantik derňewi amala aşyryň. Anomal giriş nagyşlaryny kesgitlemek üçin tokenizasiýa we içerki analiz ulanyň. Çalt sanjym synanyşyklaryny ýüze çykarmak üçin ýörite taýýarlanan ikinji, kiçi LLM ýa-da düzgüne esaslanýan ulgamy ulanmagy göz öňünde tutuň. Rol oýnamak görkezmeleri, maglumatlary aç-açan çykarmak haýyşlary ýa-da öňki görkezmelerden aýlanyp geçmek synanyşyklary ýaly nagyşlary gözläň.
- ** Güýçli çykyş süzgüji we tassyklama: ** LLM-iň çykyşyna hiç wagt ynanmaň. LLM-den döredilen islendik tekst ulanyja görkezilmezden ýa-da başga bir ulgam tarapyndan ulanylmazdan ozal, berk tassyklama gatlagyndan geçmeli. Onda duýgur açar sözler barmy? Garaşylýan formatlara gabat gelýärmi? Kod ýerine ýetirmäge synanyşýarmy ýa-da içerki ulgam tekliplerini açyp görkezjekmi? LLM resminamany jemlemeli bolsa, ýöne faýl ýollaryny sanap başlasa, problemaňyz bar.
- ** Gatnaşykly gyssagly in Engineeringenerçilik: ** Doly çözgüt bolmasa-da, oňat dizaýn edilen ulgam teklipleri we az sanly mysallar islenýän özüni alyp barşyňy güýçlendirip, hüjümçiniň modelini ogurlamagyny kynlaşdyryp biler. Şeýle-de bolsa, gyssagly in engineeringenerçiligiň ýeterlik däldigine düşüniň; esasy galkan däl-de, çuňňur gorag. 4 .. Gaty berk gözegçilikleri ýerine ýetiriň. LLM diňe jemgyýetçilik resminamalary baradaky soraglara jogap bermeli bolsa, içerki maglumat bazalaryna ýa-da duýgur API-lerine programma taýdan girip bilmejekdigine göz ýetiriň.
- ** Gözegçilik we anomaliýany ýüze çykarmak: ** Adaty bolmadyk LLM häsiýetini işjeň gözlemeli. Soraglaryň belli bir görnüşindäki tüpeňler, adaty nagyşlardan daşlaşýan netijeler ýa-da maglumatlary çykarmak synanyşyklary derrew duýduryşlary döretmeli.
Bu indi giň "AI howpsuzlygy" barada däl. Bu, LLM programmalaryňyzyň belli bir, görkezilen we derrew ulanyp boljak hüjüm wektoryna garşy täsir gatlagyny üpjün etmek hakda. Bu ajaýyp, güýçli ulgamlary köplenç interfeýsde ýeterlik howpsuzlyk çäreleri bilen gurýarys. Soňky demonstrasiýalar bu boşluklardan peýdalanmagyň nähili aňsatdygyny görkezdi. Nazary pikir alyşmagyň wagty geçdi. LLM programmalaryny goramak üçin haýal etmän hereket etmek zerurdyr.
Çeşmeler
[1] Uly dil modeli programmalary üçin OWASP iň gowy 10 - https://owasp.org/www-project-top-10-for-large-language-model-applications/ [2] Lakera Gandalf: Interaktiw gyssagly sanjym meselesi - https://gandalf.lakera.ai/ [3] Derrew sanjym hüjümleri | Web Howpsuzlyk Akademiýasy - https://portswigger.net/web-security/llm-attacks/prompt-injection [4] Çalt sanjym näme we onuň öňüni nädip almaly? - https://www.tenable.com/blog/what-is-prompt-injection-and-how-to-prevent-it