Браузер арткы ишегалды: Клиент-Side LLM яшерен чыгару демистификацияләнгән
Озак вакыт дәвамында без "ЯИ куркынычсызлыгы кисәтүләрен" ерак куркыныч яисә академик кызыксыну кебек кабул иттек. Без тиз инъекция, төрмәдән котылу, эре тонда мәгълүмат агып чыгу турында ишеттек, еш кына кысу һәм "без аңа ирешәчәкбез". Ләкин соңгы интерактив демонстрацияләр бу уңайлы иллюзияне җимерде. Бу инде теоретик зәгыйфьлек түгел; бу зур тел модельләреннән (LLM) сизгер мәгълүмат алу өчен тере, браузер нигезендә, клиент ягыннан куллану [2]. Әгәр сез LLM белән эшләнгән кушымталар урнаштырасыз икән, аеруча веб-йөзле нәрсә, сезнең "киләчәк проблема" бик хәзерге, бик ачык һәм потенциаль оятсыз җаваплылыкка әйләнде.
Бу бүтән гомуми "ЯИ куркыныч" исеме түгел. Бу зарарлы актерның, үз браузерларын кулланып, сезнең LLM-ны сизгер мәгълүматны ачарга мәҗбүр итә алуының конкрет, сизелерлек күрсәтүе. Бер мизгелгә уйлап карагыз. Бу катлаулы сервер ягыннан һөҗүмнәр яки тирән модель тикшерү турында түгел. Бу үзара бәйләнеш катламы турында - сезнең кушымтаның алгы ишеге - берничә җентекләп эшләнгән персонажлар белән кулланыла. Бу сезнең куркынычсыз чатботка дөрес фраза ясаган кешенең санлы эквиваленты, һәм ул критик мәгълүматны тиешенчә тапшыра, еш кына бераз.
Модель Куркынычсызлык Иллюзиясе
Күпчелек предприятияләр "куркынычсыз" LLM-ларга зур инвестицияләр салдылар, яисә модельләрне яхшы көйләделәр, яисә предприниматель-класслы API-ларына таянып. Ачык фараз - модель үзе нык булса, аның өстендә төзелгән кушымта бу куркынычсызлыкны мирас итеп алачак. Соңгы демонстрацияләр моны куркыныч ялгыш караш итеп күрсәтә. Зәгыйфьлек модельнең төп интеллектында яки укыту мәгълүматларында түгел; ул * интерфейста * без аның тирәсендә төзибез [1]. Бу классик "нык гөмбәз, алгы ишек" проблемасы. Сездә дөньяда иң алдынгы, каты LLM булырга мөмкин, ләкин сезнең кушымта кертү парсеры гади булса, яки сезнең фильтрыгыз булмаса, сез критик мәгълүматны кемгәдер табар өчен калдырасыз.
Бу "тиз инъекция" техникасы аеруча кагыла, чөнки ул LLM-ның табигый табигатен арттыра: аның күрсәтмәләрне үтәү һәм тулы үрнәкләр. Игътибар белән төзелгән префиксны кулланучының кертүенә кертеп, һөҗүмче модельнең эчке халәтен эшкәртә ала, аны беркайчан да уйламаган мәгълүматны ачарга мәҗбүр итә [3]. Монда "бер бит" яки iterative аспект бик мөһим. Бу хаотик мәгълүмат чүплеге генә түгел, методик, контроль эксфильтрацияне аңлата. Хөҗүм итүченең кабат-кабат соравын күз алдыгызга китерегез: "А" серенең беренче персонажымы? " аннары "Бу" В "мы?" һ.б. Бу әкрен, әйе, ләкин шулай ук искиткеч эффектив һәм аны махсус эзләмәвегезне ачыклау авыр.
Сезнең браузер, аларның коралы
Бу * браузерга нигезләнгән * эксплуатация уенны бөтенләй үзгәртә. Бу:
- ** Керү өчен түбән киртә: ** Веб үсешенең төп осталыгы һәм браузеры булган һәркем моны сынап карый ала. Махсус кораллар яки тирән ЯИ белемнәре кирәк түгел.
- ** Клиент ягыннан башкару: ** attackөҗүм кулланучының машинасыннан килеп чыга, челтәр читендәге легитим кертүдән аеруны кыенлаштыра.
- ** Шунда ук куркыныч: ** Әгәр сезнең LLM кушымтасы турыдан-туры һәм веб-интерфейс аша кереп була икән, бу вектор өчен * инде * зәгыйфь. Бу киләчәк пач түгел; бу хәзерге гадәттән тыш хәл.
Моның нәтиҗәләрен карап чыгыгыз: милек коды фрагментлары, эчке документлар, клиентлар мәгълүматлары, API ачкычлары, яки хәтта LLM тәртибенең дөрес булмаган манипуляциясе дөрес булмаган мәгълүмат тарату яки зарарлы эчтәлек булдыру. Боларның барысын гади текст тартмасы аша чыгарып яки йогынты ясарга мөмкин.
onsаваплылык сезнеке
Бу OpenAI яки Google кебек модель провайдерлар өчен киләсе модель яңартуда төзәтү өчен проблема түгел. Бу * кушымта куркынычсызлыгы * проблемасы, һәм йомшарту өчен җаваплылык бу системаларны урнаштыручылар, куркынычсызлык отрядлары һәм КТО җилкәсенә төшә. Сезнең LLM көчле, ләкин ахыр чиктә гади. Ул әйтелгәнне эшләячәк, хәтта бу күрсәтмәләр гаепсез булып күренгән кулланучы кертүендә яшерелгән булса да.
Алайса, сез хәзер нәрсә эшлисез?
Шунда ук каршы чаралар:
- ** Агрессив кертү санитизациясе: ** Бу SQL инъекциясен яки XSS-ны булдырмый. Сезнең LLM-ка кергән һәр персонажны * тикшерергә кирәк. Тиз инъекцияне, гадәти булмаган характер эзлеклелеген, яки көтелгән сөйләшү агымыннан аерылырга омтылучы үрнәкләрне эзләгез [4]. Бу "начар сүзләрне" блоклау турында түгел; бу көндәш тәкъдимнәрне ачыклау турында. Төп рекекс һәм эвристик анализдан тыш, зарарлы ниятне ачыклау өчен семантик анализ ясагыз. Аномаль кертү формаларын ачыклау өчен токенизация һәм урнаштыру анализын кулланыгыз. Тиз инъекция омтылышларын ачыклау өчен махсус әзерләнгән икенчел, кечерәк LLM яки кагыйдәгә нигезләнгән система кулланырга уйлагыз. Роль уйнау инструкцияләре, ачык мәгълүмат алу соравы яки алдагы күрсәтмәләрне читләтеп үтәргә омтылу кебек үрнәкләрне эзләгез.
- ** Нык чыгу фильтрлау һәм тикшерү: ** LLM чыгарылышына беркайчан да ышанмагыз. LLM барлыкка килгән текст кулланучыга күрсәтелгәнче яки бүтән система кулланганчы, ул * катгый тикшерү катламы аша үтәргә тиеш. Анда сизгер ачкыч сүзләр бармы? Бу көтелгән форматларга туры киләме? Кодны башкарырга яки эчке система тәкъдимнәрен ачарга тырышамы? Әгәр сезнең LLM документны гомумиләштерергә тиеш, ләкин ул файл юлларын күрсәтә башласа, сезнең проблемагыз бар. 3 .. Ләкин, тиз инженерлык кына җитмәгәнен аңлагыз; бу төп калкан түгел, тирәнлектә саклану.
- ** LLM үзара бәйләнеш өчен иң аз өстенлек: ** Сезнең LLM чыннан да ачылырга мөмкин булган һәрбер мәгълүматка рөхсәт кирәкме? Катгый керү контролен кертү. Әгәр LLM җәмәгать документациясе турындагы сорауларга гына җавап бирергә тиеш икән, аның эчке мәгълүмат базаларына яки сизгер API-ларына программалы керү мөмкинлеген тикшерегез.
- ** Мониторинг һәм аномалияне ачыклау: ** Сезгә гадәти булмаган LLM тәртибен эзләргә кирәк. Аерым сорау төрендәге очкычлар, гадәти үрнәкләрдән читкә тайпылган нәтиҗәләр, яки информацияне кабат-кабат алу омтылышлары тиз арада хәбәрләр җибәрергә тиеш.
Бу инде киң "ЯИ куркынычсызлыгы" турында түгел. Бу сезнең LLM кушымталарының үзара бәйләнеш катламын билгеле, күрсәтелгән һәм шунда ук кулланыла торган һөҗүм векторына каршы алу турында. Без бу искиткеч, көчле системаларны төзедек, еш кына интерфейста куркынычсызлык чаралары белән. Соңгы демонстрацияләр безгә бу кимчелекләрне куллану никадәр җиңел икәнен күрсәттеләр. Теоретик фикер алышу вакыты үтте. LLM кушымталарын тәэмин итү өчен тиз арада эш кирәк.
Чыганаклар
[1] Зур тел модель кушымталары өчен OWASP иң яхшы 10 - https://owasp.org/www-project-top-10-for-large-language-model-applications/ [2] Лакера Гандальф: Интерактив тиз инъекция проблемасы - https://gandalf.lakera.ai/ [3] Ашыгыч инъекция һөҗүмнәре | Веб Куркынычсызлык Академиясе - https://portswigger.net/web-security/llm-attacks/prompt-injection [4] Ашыгыч инъекция нәрсә ул һәм аны ничек кисәтергә? - https://www.tenable.com/blog/what-is-prompt-injection-and-how-to-prevent-it