બેકડોર તરીકે બ્રાઉઝર: ક્લાયંટ-સાઇડ એલએલએમ સિક્રેટ એક્સટ્રેક્શન ડિમિસ્ટિફાઇડ

બેકડોર તરીકે બ્રાઉઝર: ક્લાયંટ-સાઇડ એલએલએમ સિક્રેટ એક્સટ્રેક્શન ડિમિસ્ટિફાઇડ

ઘણા લાંબા સમયથી, અમે "AI સુરક્ષા ચેતવણીઓ" ને દૂરના જોખમો અથવા શૈક્ષણિક જિજ્ઞાસાઓ તરીકે ગણ્યા છે. અમે પ્રોમ્પ્ટ ઇન્જેક્શન, જેલબ્રેક અને ડેટા લીક વિશે સાંભળ્યું છે, જે ઘણી વાર શ્રગ અને "અમે તેને પહોંચીશું." જો કે, તાજેતરના અરસપરસ પ્રદર્શનોએ તે આરામદાયક ભ્રમણાને તોડી નાખી છે. આ હવે સૈદ્ધાંતિક નબળાઈ નથી; તે લાર્જ લેંગ્વેજ મોડલ્સ (LLM) [2] માંથી સંવેદનશીલ માહિતી કાઢવા માટે જીવંત, બ્રાઉઝર-આધારિત, ક્લાયંટ-સાઇડ શોષણ છે. જો તમે LLM-સંચાલિત એપ્લિકેશનો, ખાસ કરીને વેબ-ફેસિંગ કંઈપણ જમાવતા હોવ, તો તમારી "ભવિષ્યની સમસ્યા" માત્ર એક ખૂબ જ વર્તમાન, ખૂબ જ સાર્વજનિક અને સંભવિત રૂપે ખૂબ જ શરમજનક જવાબદારી બની ગઈ છે.

આ બીજી સામાન્ય "AI જોખમી છે" હેડલાઇન નથી. આ એક વિશિષ્ટ, મૂર્ત નિદર્શન છે કે કેવી રીતે દૂષિત અભિનેતા, ફક્ત તેમના બ્રાઉઝરનો ઉપયોગ કરીને, તમારા LLM ને સંવેદનશીલ માહિતી જાહેર કરવા દબાણ કરી શકે છે. એક ક્ષણ માટે તે ધ્યાનમાં લો. તે જટિલ સર્વર-સાઇડ હુમલાઓ અથવા ઊંડા મોડેલ આત્મનિરીક્ષણ વિશે નથી. તે ક્રિયાપ્રતિક્રિયા સ્તર વિશે છે—તમારી એપ્લિકેશનનો ખૂબ જ આગળનો દરવાજો—કેટલાક કાળજીપૂર્વક રચાયેલા પાત્રો સાથે શોષણ કરવામાં આવે છે. તે તમારા માનવામાં આવતા સુરક્ષિત ચેટબોટ માટે યોગ્ય વાક્ય ઘડનાર વ્યક્તિની ડિજિટલ સમકક્ષ છે, અને તે ઘણી વખત થોડી-થોડી વારે, મહત્વપૂર્ણ ડેટાને કર્તવ્યપૂર્વક સોંપે છે.

મોડલ સુરક્ષાનો ભ્રમ

ઘણા સાહસોએ "સુરક્ષિત" એલએલએમમાં ભારે રોકાણ કર્યું છે, કાં તો માલિકીના મોડલને ફાઇન-ટ્યુનિંગ કરે છે અથવા કથિત ગાર્ડરેલ્સ સાથે એન્ટરપ્રાઇઝ-ગ્રેડ API પર આધાર રાખે છે. ગર્ભિત ધારણા એ છે કે જો મોડેલ પોતે જ મજબૂત છે, તો તેની ટોચ પર બનેલ એપ્લિકેશન તે સુરક્ષાને વારસામાં મેળવશે. તાજેતરના પ્રદર્શનો આને ખતરનાક ગેરસમજ તરીકે ઉજાગર કરે છે. નબળાઈ મોડેલની મુખ્ય બુદ્ધિ અથવા તેના તાલીમ ડેટામાં નથી; તે ઇન્ટરફેસ માં છે જે આપણે તેની આસપાસ બનાવીએ છીએ [1]. તે ક્લાસિક "મજબૂત વૉલ્ટ, મામૂલી ફ્રન્ટ ડોર" સમસ્યા છે. તમારી પાસે વિશ્વમાં સૌથી અદ્યતન, કઠણ એલએલએમ હોઈ શકે છે, પરંતુ જો તમારી એપ્લિકેશનનું ઇનપુટ પાર્સર નિષ્કપટ છે, અથવા તમારું આઉટપુટ ફિલ્ટર અસ્તિત્વમાં નથી, તો તમે અનિવાર્યપણે નિર્ણાયક માહિતી કોઈપણને શોધવા માટે ખુલ્લા મૂકી રહ્યાં છો.

આ "પ્રોમ્પ્ટ ઇન્જેક્શન" તકનીક ખાસ કરીને સંબંધિત છે કારણ કે તે એલએલએમના સહજ સ્વભાવનો લાભ લે છે: સૂચનાઓ અને સંપૂર્ણ પેટર્નને અનુસરવાની તેની ક્ષમતા. વપરાશકર્તાના ઇનપુટમાં કાળજીપૂર્વક બાંધવામાં આવેલા ઉપસર્ગને ઇન્જેક્શન કરીને, હુમલાખોર મોડેલની આંતરિક સ્થિતિ સાથે છેડછાડ કરી શકે છે, તેને એવી માહિતી જાહેર કરવા દબાણ કરે છે કે તે ક્યારેય [3] નો હેતુ ન હતો. "વન-બીટ" અથવા પુનરાવર્તિત પાસું અહીં નિર્ણાયક છે. તે માત્ર એક અસ્તવ્યસ્ત ડેટા ડમ્પ નહીં, પરંતુ પદ્ધતિસરનું, નિયંત્રિત એક્સફિલ્ટરેશન સૂચવે છે. કલ્પના કરો કે હુમલાખોર પુનરાવર્તિત રીતે પૂછે છે, "શું ગુપ્ત 'A' નું પ્રથમ પાત્ર છે?" પછી "શું તે 'B' છે?" અને તેથી વધુ. તે ધીમું છે, હા, પરંતુ તે અવિશ્વસનીય રીતે અસરકારક છે અને જો તમે તેને ખાસ શોધી રહ્યાં નથી તો તે શોધવાનું મુશ્કેલ છે.

તમારું બ્રાઉઝર, તેમનું શસ્ત્ર

હકીકત એ છે કે આ એક બ્રાઉઝર-આધારિત શોષણ છે તે રમતને સંપૂર્ણપણે બદલી નાખે છે. તેનો અર્થ છે:

• પ્રવેશ માટે ઓછો અવરોધ: મૂળભૂત વેબ ડેવલપમેન્ટ કૌશલ્યો અને બ્રાઉઝર ધરાવનાર કોઈપણ આ પ્રયાસ કરી શકે છે. કોઈ વિશિષ્ટ સાધનો અથવા ઊંડા AI જ્ઞાનની જરૂર નથી.
• ક્લાયન્ટ-સાઇડ એક્ઝિક્યુશન: એટેક વપરાશકર્તાના મશીનમાંથી ઉદ્દભવે છે, જે નેટવર્ક એજ પર કાયદેસર વપરાશકર્તા ઇનપુટથી અલગ પાડવાનું મુશ્કેલ બનાવે છે.
• તાત્કાલિક ખતરો: જો તમારી LLM એપ્લિકેશન લાઇવ છે અને વેબ ઇન્ટરફેસ દ્વારા ઍક્સેસિબલ છે, તો તે આ વેક્ટર માટે પહેલેથી જ સંવેદનશીલ છે. આ ભવિષ્યનો પેચ નથી; તે વર્તમાન કટોકટી છે.

સૂચિતાર્થોને ધ્યાનમાં લો: માલિકીના કોડ સ્નિપેટ્સ, આંતરિક દસ્તાવેજીકરણ, ગ્રાહક ડેટા, API કી, અથવા ખોટી માહિતી ફેલાવવા અથવા હાનિકારક સામગ્રી પેદા કરવા માટે તમારા LLM ની વર્તણૂકની સૂક્ષ્મ હેરફેર. આ બધું એક સરળ ટેક્સ્ટ બોક્સ દ્વારા થોડી મહેનત કરીને બહાર કાઢી શકાય છે અથવા પ્રભાવિત કરી શકાય છે.

જવાબદારી તમારી છે

OpenAI અથવા Google જેવા મોડલ પ્રદાતાઓને તેમના આગામી મોડલ અપડેટમાં ઠીક કરવા માટે આ કોઈ સમસ્યા નથી. આ એક એપ્લિકેશન સુરક્ષા સમસ્યા છે, અને તેને ઘટાડવાની જવાબદારી ડેવલપર્સ, સુરક્ષા ટીમો અને આ સિસ્ટમો જમાવતા CTO ના ખભા પર આવે છે. તમારું એલએલએમ એક શક્તિશાળી, પરંતુ આખરે નિષ્કપટ, એન્જિન છે. જો તે સૂચનાઓ દેખીતી રીતે નિરુપદ્રવી વપરાશકર્તા ઇનપુટમાં છુપાયેલી હોય તો પણ તે તેને જે કહેવામાં આવ્યું છે તે કરશે.

તો, તમે હવે શું કરશો?

તાત્કાલિક પ્રતિરોધક પગલાં:

1. આક્રમક ઇનપુટ સેનિટાઇઝેશન: આ એસક્યુએલ ઇન્જેક્શન અથવા XSS ને રોકવાથી આગળ વધે છે. તમારે તમારા LLM દાખલ કરતા દરેક પાત્રની તપાસ કરવાની જરૂર છે. પ્રોમ્પ્ટ ઇન્જેક્શન, અસામાન્ય અક્ષર સિક્વન્સ અથવા અપેક્ષિત વાતચીતના પ્રવાહને તોડી નાખવાના પ્રયાસોના સૂચક નમૂનાઓ માટે જુઓ [4]. આ "ખરાબ શબ્દો" ને અવરોધિત કરવા વિશે નથી; તે વિરોધી સંકેતોને ઓળખવા વિશે છે. મૂળભૂત રેજેક્સ અને હ્યુરિસ્ટિક વિશ્લેષણથી આગળ, દૂષિત ઉદ્દેશ્યને શોધવા માટે સિમેન્ટીક વિશ્લેષણનો અમલ કરો. વિસંગત ઇનપુટ પેટર્નને ઓળખવા માટે ટોકનાઇઝેશન અને એમ્બેડિંગ વિશ્લેષણનો ઉપયોગ કરો. પ્રોમ્પ્ટ ઇન્જેક્શન પ્રયાસો શોધવા માટે ખાસ કરીને પ્રશિક્ષિત ગૌણ, નાના LLM અથવા નિયમ-આધારિત સિસ્ટમનો ઉપયોગ કરવાનું વિચારો. ભૂમિકા ભજવવાની સૂચનાઓ, સ્પષ્ટ ડેટા નિષ્કર્ષણ વિનંતીઓ અથવા અગાઉની સૂચનાઓને બાયપાસ કરવાના પ્રયાસો જેવા દાખલાઓ જુઓ.
2. મજબૂત આઉટપુટ ફિલ્ટરિંગ અને માન્યતા: એલએલએમના આઉટપુટ પર ક્યારેય વિશ્વાસ ન કરો. કોઈપણ એલએલએમ-જનરેટેડ ટેક્સ્ટ વપરાશકર્તાને પ્રદર્શિત થાય તે પહેલાં અથવા અન્ય સિસ્ટમ દ્વારા ઉપયોગમાં લેવાય તે પહેલાં, તે જરૂરી માન્યતા સ્તરમાંથી પસાર થવું જોઈએ. શું તેમાં સંવેદનશીલ કીવર્ડ્સ છે? શું તે અપેક્ષિત ફોર્મેટ સાથે મેળ ખાય છે? શું તે કોડ એક્ઝિક્યુટ કરવાનો પ્રયાસ કરે છે અથવા આંતરિક સિસ્ટમ પ્રોમ્પ્ટ જાહેર કરે છે? જો તમારું LLM દસ્તાવેજનો સારાંશ આપવાનું છે, પરંતુ તે ફાઇલ પાથને સૂચિબદ્ધ કરવાનું શરૂ કરે છે, તો તમને સમસ્યા છે.
3. સ્તરવાળી પ્રોમ્પ્ટ એન્જિનિયરિંગ: સંપૂર્ણ ઉકેલ ન હોવા છતાં, સારી રીતે ડિઝાઇન કરેલ સિસ્ટમ પ્રોમ્પ્ટ અને થોડા-શૉટ ઉદાહરણો ઇચ્છિત વર્તનને મજબૂત કરવામાં મદદ કરી શકે છે અને હુમલાખોર માટે મોડેલને હાઇજેક કરવાનું મુશ્કેલ બનાવે છે. જો કે, સમજો કે એકલા પ્રોમ્પ્ટ એન્જિનિયરિંગ અપૂરતું છે; તે ઊંડાણમાં સંરક્ષણ છે, પ્રાથમિક ઢાલ નથી.
4. LLM ક્રિયાપ્રતિક્રિયાઓ માટે ન્યૂનતમ વિશેષાધિકાર: શું તમારા LLM ને ખરેખર ડેટાના દરેક ભાગની ઍક્સેસની જરૂર છે જે તે સંભવિતપણે જાહેર કરવા માટે સંકેત આપી શકે છે? કડક ઍક્સેસ નિયંત્રણો લાગુ કરો. જો LLM માત્ર સાર્વજનિક દસ્તાવેજો વિશેના પ્રશ્નોના જવાબ આપવાનું હોય, તો ખાતરી કરો કે તેની પાસે આંતરિક ડેટાબેસેસ અથવા સંવેદનશીલ APIs માટે કોઈ પ્રોગ્રામેટિક એક્સેસ નથી.
5. મોનિટરિંગ અને વિસંગતતા શોધ: તમારે અસામાન્ય LLM વર્તન માટે સક્રિયપણે જોવાની જરૂર છે. ચોક્કસ પ્રકારની ક્વેરીઝમાં સ્પાઇક્સ, સામાન્ય પેટર્નથી વિચલિત થતા આઉટપુટ અથવા માહિતી કાઢવાના વારંવારના પ્રયાસોથી તાત્કાલિક ચેતવણીઓ શરૂ થવી જોઈએ.

આ હવે વ્યાપક "AI સુરક્ષા" વિશે નથી. આ ચોક્કસ, નિદર્શિત અને તરત જ શોષણ કરી શકાય તેવા હુમલા વેક્ટર સામે તમારી LLM એપ્લિકેશન્સના ક્રિયાપ્રતિક્રિયા સ્તરને સુરક્ષિત કરવા વિશે છે. અમે આ અદ્ભુત, શક્તિશાળી સિસ્ટમ્સ બનાવી રહ્યા છીએ, ઘણીવાર ઇન્ટરફેસ પર અપૂરતા સુરક્ષા પગલાં સાથે. તાજેતરના પ્રદર્શનોએ અમને બતાવ્યું છે કે આ અવકાશનું શોષણ કરવું કેટલું સરળ છે. સૈદ્ધાંતિક ચર્ચાઓનો સમય વીતી ગયો છે. LLM અરજીઓ સુરક્ષિત કરવા માટે તાત્કાલિક પગલાં લેવાની જરૂર છે.

સ્ત્રોતો

[1] મોટી ભાષાના મોડલ એપ્લિકેશન્સ માટે OWASP ટોપ 10 — https://owasp.org/www-project-top-10-for-large-language-model-applications/ [2] લેકેરા ગેન્ડાલ્ફ: એક ઇન્ટરેક્ટિવ પ્રોમ્પ્ટ ઇન્જેક્શન ચેલેન્જ — https://gandalf.lakera.ai/ [૩] પ્રોમ્પ્ટ ઈન્જેક્શન હુમલા | વેબ સુરક્ષા એકેડેમી — https://portswigger.net/web-security/llm-attacks/prompt-injection [૪] પ્રોમ્પ્ટ ઇન્જેક્શન શું છે અને તેને કેવી રીતે અટકાવવું? — https://www.tenable.com/blog/what-is-prompt-injection-and-how-to-prevent-it