ਇੱਕ ਬੈਕਡੋਰ ਦੇ ਤੌਰ ਤੇ ਬ੍ਰਾਊਜ਼ਰ: ਕਲਾਇੰਟ-ਸਾਈਡ ਐਲਐਲਐਮ ਸੀਕਰੇਟ ਐਕਸਟਰੈਕਸ਼ਨ ਡੈਮਿਸਟਫਾਈਡ

ਇੱਕ ਬੈਕਡੋਰ ਦੇ ਤੌਰ ਤੇ ਬ੍ਰਾਊਜ਼ਰ: ਕਲਾਇੰਟ-ਸਾਈਡ ਐਲਐਲਐਮ ਸੀਕਰੇਟ ਐਕਸਟਰੈਕਸ਼ਨ ਡੈਮਿਸਟੀਫਾਈਡ

ਬਹੁਤ ਲੰਬੇ ਸਮੇਂ ਤੋਂ, ਅਸੀਂ "AI ਸੁਰੱਖਿਆ ਚੇਤਾਵਨੀਆਂ" ਨੂੰ ਦੂਰ ਦੇ ਖਤਰਿਆਂ ਜਾਂ ਅਕਾਦਮਿਕ ਉਤਸੁਕਤਾਵਾਂ ਵਜੋਂ ਮੰਨਿਆ ਹੈ। ਅਸੀਂ ਤੁਰੰਤ ਇੰਜੈਕਸ਼ਨ, ਜੇਲਬ੍ਰੇਕ, ਅਤੇ ਡਾਟਾ ਲੀਕ ਹੋਣ ਬਾਰੇ ਸੁਣਿਆ ਹੈ, ਜੋ ਕਿ ਅਕਸਰ ਇੱਕ ਝੰਜੋੜਨਾ ਅਤੇ "ਅਸੀਂ ਇਸ 'ਤੇ ਪਹੁੰਚ ਜਾਵਾਂਗੇ." ਹਾਲਾਂਕਿ, ਹਾਲੀਆ ਇੰਟਰਐਕਟਿਵ ਪ੍ਰਦਰਸ਼ਨਾਂ ਨੇ ਉਸ ਆਰਾਮਦਾਇਕ ਭਰਮ ਨੂੰ ਤੋੜ ਦਿੱਤਾ ਹੈ। ਇਹ ਹੁਣ ਕੋਈ ਸਿਧਾਂਤਕ ਕਮਜ਼ੋਰੀ ਨਹੀਂ ਹੈ; ਇਹ ਵੱਡੇ ਭਾਸ਼ਾ ਮਾਡਲਾਂ (LLMs) [2] ਤੋਂ ਸੰਵੇਦਨਸ਼ੀਲ ਜਾਣਕਾਰੀ ਕੱਢਣ ਲਈ ਲਾਈਵ, ਬ੍ਰਾਊਜ਼ਰ-ਅਧਾਰਿਤ, ਕਲਾਇੰਟ-ਸਾਈਡ ਸ਼ੋਸ਼ਣ ਹੈ। ਜੇਕਰ ਤੁਸੀਂ LLM-ਸੰਚਾਲਿਤ ਐਪਲੀਕੇਸ਼ਨਾਂ ਨੂੰ ਤੈਨਾਤ ਕਰ ਰਹੇ ਹੋ, ਖਾਸ ਤੌਰ 'ਤੇ ਵੈੱਬ-ਸਾਹਮਣੇ ਵਾਲੀ ਕੋਈ ਵੀ ਚੀਜ਼, ਤਾਂ ਤੁਹਾਡੀ "ਭਵਿੱਖ ਦੀ ਸਮੱਸਿਆ" ਇੱਕ ਬਹੁਤ ਹੀ ਮੌਜੂਦ, ਬਹੁਤ ਜਨਤਕ, ਅਤੇ ਸੰਭਾਵੀ ਤੌਰ 'ਤੇ ਬਹੁਤ ਸ਼ਰਮਨਾਕ ਜ਼ਿੰਮੇਵਾਰੀ ਬਣ ਗਈ ਹੈ।

ਇਹ ਕੋਈ ਹੋਰ ਆਮ "AI ਜੋਖਮ ਭਰਪੂਰ" ਹੈੱਡਲਾਈਨ ਨਹੀਂ ਹੈ। ਇਹ ਇੱਕ ਖਾਸ, ਠੋਸ ਪ੍ਰਦਰਸ਼ਨ ਹੈ ਕਿ ਕਿਵੇਂ ਇੱਕ ਖਤਰਨਾਕ ਅਭਿਨੇਤਾ, ਸਿਰਫ਼ ਆਪਣੇ ਬ੍ਰਾਊਜ਼ਰ ਦੀ ਵਰਤੋਂ ਕਰਕੇ, ਤੁਹਾਡੇ LLM ਨੂੰ ਸੰਵੇਦਨਸ਼ੀਲ ਜਾਣਕਾਰੀ ਪ੍ਰਗਟ ਕਰਨ ਲਈ ਮਜਬੂਰ ਕਰ ਸਕਦਾ ਹੈ। ਇੱਕ ਪਲ ਲਈ ਇਸ 'ਤੇ ਵਿਚਾਰ ਕਰੋ. ਇਹ ਗੁੰਝਲਦਾਰ ਸਰਵਰ-ਸਾਈਡ ਹਮਲਿਆਂ ਜਾਂ ਡੂੰਘੇ ਮਾਡਲ ਆਤਮ ਨਿਰੀਖਣ ਬਾਰੇ ਨਹੀਂ ਹੈ। ਇਹ ਇੰਟਰਐਕਸ਼ਨ ਲੇਅਰ ਬਾਰੇ ਹੈ—ਤੁਹਾਡੀ ਐਪਲੀਕੇਸ਼ਨ ਦਾ ਬਿਲਕੁਲ ਸਾਹਮਣੇ ਵਾਲਾ ਦਰਵਾਜ਼ਾ—ਕੁਝ ਧਿਆਨ ਨਾਲ ਤਿਆਰ ਕੀਤੇ ਅੱਖਰਾਂ ਨਾਲ ਸ਼ੋਸ਼ਣ ਕੀਤਾ ਜਾ ਰਿਹਾ ਹੈ। ਇਹ ਤੁਹਾਡੇ ਸਮਝੇ ਜਾਣ ਵਾਲੇ ਸੁਰੱਖਿਅਤ ਚੈਟਬੋਟ ਲਈ ਸਹੀ ਵਾਕਾਂਸ਼ ਤਿਆਰ ਕਰਨ ਵਾਲੇ ਕਿਸੇ ਵਿਅਕਤੀ ਦੇ ਡਿਜੀਟਲ ਬਰਾਬਰ ਹੈ, ਅਤੇ ਇਹ ਕਰਤੱਵ ਨਾਲ ਮਹੱਤਵਪੂਰਨ ਡੇਟਾ ਨੂੰ ਸੌਂਪਦਾ ਹੈ, ਅਕਸਰ ਬਿੱਟ-ਬਿਟ।

ਮਾਡਲ ਸੁਰੱਖਿਆ ਦਾ ਭਰਮ

ਬਹੁਤ ਸਾਰੇ ਉੱਦਮੀਆਂ ਨੇ "ਸੁਰੱਖਿਅਤ" LLM ਵਿੱਚ ਬਹੁਤ ਜ਼ਿਆਦਾ ਨਿਵੇਸ਼ ਕੀਤਾ ਹੈ, ਜਾਂ ਤਾਂ ਮਾਲਕੀ ਮਾਡਲਾਂ ਨੂੰ ਵਧੀਆ-ਟਿਊਨਿੰਗ ਕਰਨਾ ਜਾਂ ਮੰਨੇ ਜਾਂਦੇ ਗਾਰਡਰੇਲ ਦੇ ਨਾਲ ਐਂਟਰਪ੍ਰਾਈਜ਼-ਗਰੇਡ APIs 'ਤੇ ਭਰੋਸਾ ਕਰਨਾ। ਅਪ੍ਰਤੱਖ ਧਾਰਨਾ ਇਹ ਹੈ ਕਿ ਜੇਕਰ ਮਾਡਲ ਖੁਦ ਮਜ਼ਬੂਤ ​​ਹੈ, ਤਾਂ ਇਸਦੇ ਸਿਖਰ 'ਤੇ ਬਣੀ ਐਪਲੀਕੇਸ਼ਨ ਉਸ ਸੁਰੱਖਿਆ ਨੂੰ ਪ੍ਰਾਪਤ ਕਰੇਗੀ। ਹਾਲੀਆ ਪ੍ਰਦਰਸ਼ਨਾਂ ਨੇ ਇਸ ਨੂੰ ਇੱਕ ਖ਼ਤਰਨਾਕ ਗਲਤ ਧਾਰਨਾ ਵਜੋਂ ਉਜਾਗਰ ਕੀਤਾ ਹੈ। ਕਮਜ਼ੋਰੀ ਮਾਡਲ ਦੀ ਕੋਰ ਇੰਟੈਲੀਜੈਂਸ ਜਾਂ ਇਸਦੇ ਸਿਖਲਾਈ ਡੇਟਾ ਵਿੱਚ ਨਹੀਂ ਹੈ; ਇਹ ਇੰਟਰਫੇਸ ਵਿੱਚ ਹੈ ਜੋ ਅਸੀਂ ਇਸਦੇ ਆਲੇ ਦੁਆਲੇ ਬਣਾਉਂਦੇ ਹਾਂ [1]। ਇਹ ਕਲਾਸਿਕ "ਮਜ਼ਬੂਤ ​​ਵਾਲਟ, ਫਿੱਕੀ ਫਰੰਟ ਡੋਰ" ਸਮੱਸਿਆ ਹੈ। ਤੁਹਾਡੇ ਕੋਲ ਦੁਨੀਆ ਦਾ ਸਭ ਤੋਂ ਉੱਨਤ, ਕਠੋਰ LLM ਹੋ ਸਕਦਾ ਹੈ, ਪਰ ਜੇਕਰ ਤੁਹਾਡੀ ਐਪਲੀਕੇਸ਼ਨ ਦਾ ਇਨਪੁਟ ਪਾਰਸਰ ਭੋਲਾ ਹੈ, ਜਾਂ ਤੁਹਾਡਾ ਆਉਟਪੁੱਟ ਫਿਲਟਰ ਮੌਜੂਦ ਨਹੀਂ ਹੈ, ਤਾਂ ਤੁਸੀਂ ਜ਼ਰੂਰੀ ਤੌਰ 'ਤੇ ਕਿਸੇ ਵੀ ਵਿਅਕਤੀ ਨੂੰ ਲੱਭਣ ਲਈ ਮਹੱਤਵਪੂਰਣ ਜਾਣਕਾਰੀ ਦਾ ਸਾਹਮਣਾ ਕਰ ਰਹੇ ਹੋ।

ਇਹ "ਪ੍ਰੋਂਪਟ ਇੰਜੈਕਸ਼ਨ" ਤਕਨੀਕ ਵਿਸ਼ੇਸ਼ ਤੌਰ 'ਤੇ ਇਸ ਲਈ ਹੈ ਕਿਉਂਕਿ ਇਹ LLM ਦੇ ਅੰਦਰੂਨੀ ਸੁਭਾਅ ਦਾ ਲਾਭ ਉਠਾਉਂਦੀ ਹੈ: ਨਿਰਦੇਸ਼ਾਂ ਅਤੇ ਸੰਪੂਰਨ ਪੈਟਰਨਾਂ ਦੀ ਪਾਲਣਾ ਕਰਨ ਦੀ ਇਸਦੀ ਯੋਗਤਾ। ਇੱਕ ਉਪਭੋਗਤਾ ਦੇ ਇਨਪੁਟ ਵਿੱਚ ਇੱਕ ਧਿਆਨ ਨਾਲ ਬਣਾਏ ਅਗੇਤਰ ਨੂੰ ਇੰਜੈਕਟ ਕਰਕੇ, ਹਮਲਾਵਰ ਮਾਡਲ ਦੀ ਅੰਦਰੂਨੀ ਸਥਿਤੀ ਵਿੱਚ ਹੇਰਾਫੇਰੀ ਕਰ ਸਕਦਾ ਹੈ, ਇਸ ਨੂੰ ਉਸ ਜਾਣਕਾਰੀ ਨੂੰ ਪ੍ਰਗਟ ਕਰਨ ਲਈ ਮਜ਼ਬੂਰ ਕਰਦਾ ਹੈ ਜਿਸਦਾ ਇਹ ਕਦੇ ਵੀ ਇਰਾਦਾ ਨਹੀਂ ਸੀ [3]। "ਇੱਕ-ਬਿੱਟ" ਜਾਂ ਦੁਹਰਾਉਣ ਵਾਲਾ ਪਹਿਲੂ ਇੱਥੇ ਮਹੱਤਵਪੂਰਨ ਹੈ। ਇਹ ਇੱਕ ਵਿਧੀਗਤ, ਨਿਯੰਤਰਿਤ ਐਕਸਫਿਲਟਰੇਸ਼ਨ ਨੂੰ ਦਰਸਾਉਂਦਾ ਹੈ, ਨਾ ਕਿ ਸਿਰਫ ਇੱਕ ਅਰਾਜਕ ਡੇਟਾ ਡੰਪ। ਕਲਪਨਾ ਕਰੋ ਕਿ ਇੱਕ ਹਮਲਾਵਰ ਦੁਹਰਾਈ ਨਾਲ ਪੁੱਛ ਰਿਹਾ ਹੈ, "ਕੀ ਗੁਪਤ 'ਏ' ਦਾ ਪਹਿਲਾ ਅੱਖਰ ਹੈ?" ਫਿਰ "ਕੀ ਇਹ 'ਬੀ' ਹੈ?" ਇਤਆਦਿ. ਇਹ ਹੌਲੀ ਹੈ, ਹਾਂ, ਪਰ ਇਹ ਅਵਿਸ਼ਵਾਸ਼ਯੋਗ ਤੌਰ 'ਤੇ ਪ੍ਰਭਾਵਸ਼ਾਲੀ ਅਤੇ ਇਹ ਪਤਾ ਲਗਾਉਣਾ ਔਖਾ ਹੈ ਕਿ ਕੀ ਤੁਸੀਂ ਖਾਸ ਤੌਰ 'ਤੇ ਇਸਦੀ ਖੋਜ ਨਹੀਂ ਕਰ ਰਹੇ ਹੋ।

ਤੁਹਾਡਾ ਬਰਾਊਜ਼ਰ, ਉਹਨਾਂ ਦਾ ਹਥਿਆਰ

ਇਹ ਤੱਥ ਕਿ ਇਹ ਇੱਕ ਬ੍ਰਾਊਜ਼ਰ-ਅਧਾਰਿਤ ਸ਼ੋਸ਼ਣ ਹੈ ਖੇਡ ਨੂੰ ਪੂਰੀ ਤਰ੍ਹਾਂ ਬਦਲ ਦਿੰਦਾ ਹੈ। ਇਸਦਾ ਅਰਥ ਹੈ:

• ਪ੍ਰਵੇਸ਼ ਲਈ ਘੱਟ ਰੁਕਾਵਟ: ਕੋਈ ਵੀ ਮੂਲ ਵੈੱਬ ਵਿਕਾਸ ਹੁਨਰ ਅਤੇ ਬ੍ਰਾਊਜ਼ਰ ਇਸਦੀ ਕੋਸ਼ਿਸ਼ ਕਰ ਸਕਦਾ ਹੈ। ਕਿਸੇ ਵਿਸ਼ੇਸ਼ ਟੂਲ ਜਾਂ ਡੂੰਘੇ AI ਗਿਆਨ ਦੀ ਲੋੜ ਨਹੀਂ ਹੈ।
• ਕਲਾਇੰਟ-ਸਾਈਡ ਐਗਜ਼ੀਕਿਊਸ਼ਨ: ਹਮਲਾ ਉਪਭੋਗਤਾ ਦੀ ਮਸ਼ੀਨ ਤੋਂ ਸ਼ੁਰੂ ਹੁੰਦਾ ਹੈ, ਜਿਸ ਨਾਲ ਨੈਟਵਰਕ ਕਿਨਾਰੇ 'ਤੇ ਜਾਇਜ਼ ਉਪਭੋਗਤਾ ਇਨਪੁਟ ਤੋਂ ਵੱਖ ਕਰਨਾ ਮੁਸ਼ਕਲ ਹੋ ਜਾਂਦਾ ਹੈ।
• ਤੁਰੰਤ ਧਮਕੀ: ਜੇਕਰ ਤੁਹਾਡੀ LLM ਐਪਲੀਕੇਸ਼ਨ ਲਾਈਵ ਹੈ ਅਤੇ ਵੈੱਬ ਇੰਟਰਫੇਸ ਰਾਹੀਂ ਪਹੁੰਚਯੋਗ ਹੈ, ਤਾਂ ਇਹ ਇਸ ਵੈਕਟਰ ਲਈ ਪਹਿਲਾਂ ਹੀ ਕਮਜ਼ੋਰ ਹੈ। ਇਹ ਭਵਿੱਖ ਦਾ ਪੈਚ ਨਹੀਂ ਹੈ; ਇਹ ਇੱਕ ਮੌਜੂਦਾ ਐਮਰਜੈਂਸੀ ਹੈ।

ਉਲਝਣਾਂ 'ਤੇ ਗੌਰ ਕਰੋ: ਮਲਕੀਅਤ ਕੋਡ ਦੇ ਸਨਿੱਪਟ, ਅੰਦਰੂਨੀ ਦਸਤਾਵੇਜ਼, ਗਾਹਕ ਡੇਟਾ, API ਕੁੰਜੀਆਂ, ਜਾਂ ਗਲਤ ਜਾਣਕਾਰੀ ਫੈਲਾਉਣ ਜਾਂ ਨੁਕਸਾਨਦੇਹ ਸਮੱਗਰੀ ਪੈਦਾ ਕਰਨ ਲਈ ਤੁਹਾਡੇ LLM ਦੇ ਵਿਵਹਾਰ ਦੀ ਸੂਖਮ ਹੇਰਾਫੇਰੀ। ਇਹ ਸਭ ਕੁਝ ਇੱਕ ਸਧਾਰਨ ਟੈਕਸਟ ਬਾਕਸ ਦੁਆਰਾ, ਬਹੁਤ ਮਿਹਨਤ ਨਾਲ ਬਿੱਟ ਦੁਆਰਾ ਕੱਢਿਆ ਜਾਂ ਪ੍ਰਭਾਵਿਤ ਕੀਤਾ ਜਾ ਸਕਦਾ ਹੈ।

ਜਿੰਮੇਵਾਰੀ ਤੁਹਾਡੀ ਹੈ

ਇਹ ਓਪਨਏਆਈ ਜਾਂ ਗੂਗਲ ਵਰਗੇ ਮਾਡਲ ਪ੍ਰਦਾਤਾਵਾਂ ਲਈ ਆਪਣੇ ਅਗਲੇ ਮਾਡਲ ਅਪਡੇਟ ਵਿੱਚ ਠੀਕ ਕਰਨ ਲਈ ਕੋਈ ਸਮੱਸਿਆ ਨਹੀਂ ਹੈ। ਇਹ ਇੱਕ ਐਪਲੀਕੇਸ਼ਨ ਸੁਰੱਖਿਆ ਸਮੱਸਿਆ ਹੈ, ਅਤੇ ਇਸ ਨੂੰ ਘਟਾਉਣ ਦੀ ਜ਼ਿੰਮੇਵਾਰੀ ਡਿਵੈਲਪਰਾਂ, ਸੁਰੱਖਿਆ ਟੀਮਾਂ, ਅਤੇ ਇਹਨਾਂ ਪ੍ਰਣਾਲੀਆਂ ਨੂੰ ਤਾਇਨਾਤ ਕਰਨ ਵਾਲੇ CTOs ਦੇ ਮੋਢਿਆਂ 'ਤੇ ਆਉਂਦੀ ਹੈ। ਤੁਹਾਡਾ LLM ਇੱਕ ਸ਼ਕਤੀਸ਼ਾਲੀ, ਪਰ ਅੰਤ ਵਿੱਚ ਭੋਲਾ, ਇੰਜਣ ਹੈ। ਇਹ ਉਹੀ ਕਰੇਗਾ ਜੋ ਇਸ ਨੂੰ ਦੱਸਿਆ ਗਿਆ ਹੈ, ਭਾਵੇਂ ਉਹ ਹਦਾਇਤਾਂ ਪ੍ਰਤੀਤ ਹੋਣ ਵਾਲੇ ਨਿਰਦੋਸ਼ ਉਪਭੋਗਤਾ ਇੰਪੁੱਟ ਦੇ ਅੰਦਰ ਲੁਕੀਆਂ ਹੋਣ।

ਤਾਂ, ਤੁਸੀਂ ਹੁਣ ਕੀ ਕਰਦੇ ਹੋ?

ਤੁਰੰਤ ਜਵਾਬੀ ਉਪਾਅ:

1. ਅਗਰੈਸਿਵ ਇਨਪੁਟ ਸੈਨੀਟਾਈਜ਼ੇਸ਼ਨ: ਇਹ SQL ਇੰਜੈਕਸ਼ਨ ਜਾਂ XSS ਨੂੰ ਰੋਕਣ ਤੋਂ ਪਰੇ ਹੈ। ਤੁਹਾਨੂੰ ਆਪਣੇ LLM ਵਿੱਚ ਦਾਖਲ ਹੋਣ ਵਾਲੇ ਹਰੇਕ ਅੱਖਰ ਦੀ ਜਾਂਚ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। ਪ੍ਰੋਂਪਟ ਇੰਜੈਕਸ਼ਨ, ਅਸਾਧਾਰਨ ਅੱਖਰ ਕ੍ਰਮ, ਜਾਂ ਸੰਭਾਵਿਤ ਗੱਲਬਾਤ ਦੇ ਪ੍ਰਵਾਹ [4] ਨੂੰ ਤੋੜਨ ਦੀਆਂ ਕੋਸ਼ਿਸ਼ਾਂ ਦੇ ਸੰਕੇਤ ਵਾਲੇ ਪੈਟਰਨਾਂ ਦੀ ਭਾਲ ਕਰੋ। ਇਹ "ਬੁਰੇ ਸ਼ਬਦਾਂ" ਨੂੰ ਰੋਕਣ ਬਾਰੇ ਨਹੀਂ ਹੈ; ਇਹ ਵਿਰੋਧੀ ਪ੍ਰੋਂਪਟ ਦੀ ਪਛਾਣ ਕਰਨ ਬਾਰੇ ਹੈ। ਬੁਨਿਆਦੀ ਰੀਜੈਕਸ ਅਤੇ ਹਿਉਰਿਸਟਿਕ ਵਿਸ਼ਲੇਸ਼ਣ ਤੋਂ ਪਰੇ, ਖ਼ਰਾਬ ਇਰਾਦੇ ਦਾ ਪਤਾ ਲਗਾਉਣ ਲਈ ਅਰਥਗਤ ਵਿਸ਼ਲੇਸ਼ਣ ਲਾਗੂ ਕਰੋ। ਅਸਧਾਰਨ ਇਨਪੁਟ ਪੈਟਰਨਾਂ ਦੀ ਪਛਾਣ ਕਰਨ ਲਈ ਟੋਕਨਾਈਜ਼ੇਸ਼ਨ ਅਤੇ ਏਮਬੈਡਿੰਗ ਵਿਸ਼ਲੇਸ਼ਣ ਦੀ ਵਰਤੋਂ ਕਰੋ। ਇੱਕ ਸੈਕੰਡਰੀ, ਛੋਟੇ LLM ਜਾਂ ਇੱਕ ਨਿਯਮ-ਆਧਾਰਿਤ ਸਿਸਟਮ ਨੂੰ ਨਿਯੁਕਤ ਕਰਨ 'ਤੇ ਵਿਚਾਰ ਕਰੋ ਜੋ ਵਿਸ਼ੇਸ਼ ਤੌਰ 'ਤੇ ਤੁਰੰਤ ਟੀਕੇ ਲਗਾਉਣ ਦੀਆਂ ਕੋਸ਼ਿਸ਼ਾਂ ਦਾ ਪਤਾ ਲਗਾਉਣ ਲਈ ਸਿਖਲਾਈ ਦਿੱਤੀ ਗਈ ਹੈ। ਰੋਲ-ਪਲੇਅ ਹਿਦਾਇਤਾਂ, ਸਪੱਸ਼ਟ ਡਾਟਾ ਕੱਢਣ ਦੀਆਂ ਬੇਨਤੀਆਂ, ਜਾਂ ਪਿਛਲੀਆਂ ਹਿਦਾਇਤਾਂ ਨੂੰ ਬਾਈਪਾਸ ਕਰਨ ਦੀਆਂ ਕੋਸ਼ਿਸ਼ਾਂ ਵਰਗੇ ਪੈਟਰਨਾਂ ਦੀ ਭਾਲ ਕਰੋ।
2. ਮਜ਼ਬੂਤ ​​ਆਉਟਪੁੱਟ ਫਿਲਟਰਿੰਗ ਅਤੇ ਪ੍ਰਮਾਣਿਕਤਾ: ਕਦੇ ਵੀ LLM ਦੇ ਆਉਟਪੁੱਟ 'ਤੇ ਸਪੱਸ਼ਟ ਤੌਰ 'ਤੇ ਭਰੋਸਾ ਨਾ ਕਰੋ। ਕਿਸੇ ਵੀ LLM ਦੁਆਰਾ ਤਿਆਰ ਕੀਤੇ ਟੈਕਸਟ ਨੂੰ ਉਪਭੋਗਤਾ ਨੂੰ ਪ੍ਰਦਰਸ਼ਿਤ ਕਰਨ ਤੋਂ ਪਹਿਲਾਂ ਜਾਂ ਕਿਸੇ ਹੋਰ ਸਿਸਟਮ ਦੁਆਰਾ ਵਰਤਿਆ ਜਾਂਦਾ ਹੈ, ਇਸ ਨੂੰ *ਇੱਕ ਸਖ਼ਤ ਪ੍ਰਮਾਣਿਕਤਾ ਪਰਤ ਵਿੱਚੋਂ ਲੰਘਣਾ ਚਾਹੀਦਾ ਹੈ। ਕੀ ਇਸ ਵਿੱਚ ਸੰਵੇਦਨਸ਼ੀਲ ਕੀਵਰਡ ਹਨ? ਕੀ ਇਹ ਉਮੀਦ ਕੀਤੇ ਫਾਰਮੈਟਾਂ ਨਾਲ ਮੇਲ ਖਾਂਦਾ ਹੈ? ਕੀ ਇਹ ਕੋਡ ਨੂੰ ਚਲਾਉਣ ਦੀ ਕੋਸ਼ਿਸ਼ ਕਰਦਾ ਹੈ ਜਾਂ ਅੰਦਰੂਨੀ ਸਿਸਟਮ ਪ੍ਰੋਂਪਟ ਨੂੰ ਪ੍ਰਗਟ ਕਰਦਾ ਹੈ? ਜੇਕਰ ਤੁਹਾਡੇ LLM ਨੂੰ ਇੱਕ ਦਸਤਾਵੇਜ਼ ਦਾ ਸਾਰ ਦੇਣਾ ਹੈ, ਪਰ ਇਹ ਫਾਈਲ ਮਾਰਗਾਂ ਨੂੰ ਸੂਚੀਬੱਧ ਕਰਨਾ ਸ਼ੁਰੂ ਕਰਦਾ ਹੈ, ਤਾਂ ਤੁਹਾਨੂੰ ਇੱਕ ਸਮੱਸਿਆ ਹੈ।
3. ਲੇਅਰਡ ਪ੍ਰੋਂਪਟ ਇੰਜਨੀਅਰਿੰਗ: ਹਾਲਾਂਕਿ ਇੱਕ ਪੂਰਾ ਹੱਲ ਨਹੀਂ ਹੈ, ਚੰਗੀ ਤਰ੍ਹਾਂ ਡਿਜ਼ਾਈਨ ਕੀਤੇ ਸਿਸਟਮ ਪ੍ਰੋਂਪਟ ਅਤੇ ਕੁਝ-ਸ਼ੌਟ ਉਦਾਹਰਨਾਂ ਲੋੜੀਂਦੇ ਵਿਵਹਾਰ ਨੂੰ ਮਜ਼ਬੂਤ ​​ਕਰਨ ਵਿੱਚ ਮਦਦ ਕਰ ਸਕਦੀਆਂ ਹਨ ਅਤੇ ਇੱਕ ਹਮਲਾਵਰ ਲਈ ਮਾਡਲ ਨੂੰ ਹਾਈਜੈਕ ਕਰਨਾ ਔਖਾ ਬਣਾ ਸਕਦੀਆਂ ਹਨ। ਹਾਲਾਂਕਿ, ਸਮਝੋ ਕਿ ਇਕੱਲੇ ਪ੍ਰੋਂਪਟ ਇੰਜੀਨੀਅਰਿੰਗ ਨਾਕਾਫੀ ਹੈ; ਇਹ ਡੂੰਘਾਈ ਵਿੱਚ ਇੱਕ ਰੱਖਿਆ ਹੈ, ਇੱਕ ਪ੍ਰਾਇਮਰੀ ਢਾਲ ਨਹੀਂ।
4. LLM ਪਰਸਪਰ ਕ੍ਰਿਆਵਾਂ ਲਈ ਸਭ ਤੋਂ ਘੱਟ ਵਿਸ਼ੇਸ਼ ਅਧਿਕਾਰ: ਕੀ ਤੁਹਾਡੇ LLM ਨੂੰ ਸੱਚਮੁੱਚ ਡੇਟਾ ਦੇ ਹਰ ਹਿੱਸੇ ਤੱਕ ਪਹੁੰਚ ਦੀ ਲੋੜ ਹੈ ਜਿਸ ਨੂੰ ਪ੍ਰਗਟ ਕਰਨ ਲਈ ਸੰਭਾਵੀ ਤੌਰ 'ਤੇ ਕਿਹਾ ਜਾ ਸਕਦਾ ਹੈ? ਸਖਤ ਪਹੁੰਚ ਨਿਯੰਤਰਣ ਲਾਗੂ ਕਰੋ। ਜੇਕਰ LLM ਨੂੰ ਸਿਰਫ਼ ਜਨਤਕ ਦਸਤਾਵੇਜ਼ਾਂ ਬਾਰੇ ਸਵਾਲਾਂ ਦੇ ਜਵਾਬ ਦੇਣ ਲਈ ਮੰਨਿਆ ਜਾਂਦਾ ਹੈ, ਤਾਂ ਯਕੀਨੀ ਬਣਾਓ ਕਿ ਇਸ ਕੋਲ ਅੰਦਰੂਨੀ ਡਾਟਾਬੇਸ ਜਾਂ ਸੰਵੇਦਨਸ਼ੀਲ APIs ਤੱਕ ਕੋਈ ਪ੍ਰੋਗਰਾਮੇਟਿਕ ਪਹੁੰਚ ਨਹੀਂ ਹੈ।
5. ਨਿਗਰਾਨੀ ਅਤੇ ਵਿਗਾੜ ਦਾ ਪਤਾ ਲਗਾਉਣਾ: ਤੁਹਾਨੂੰ ਸਰਗਰਮੀ ਨਾਲ ਅਸਾਧਾਰਨ LLM ਵਿਵਹਾਰ ਦੀ ਭਾਲ ਕਰਨ ਦੀ ਲੋੜ ਹੈ। ਖਾਸ ਕਿਸਮਾਂ ਦੀਆਂ ਪੁੱਛਗਿੱਛਾਂ, ਆਮ ਪੈਟਰਨਾਂ ਤੋਂ ਭਟਕਣ ਵਾਲੇ ਆਉਟਪੁੱਟ, ਜਾਂ ਜਾਣਕਾਰੀ ਨੂੰ ਐਕਸਟਰੈਕਟ ਕਰਨ ਦੀਆਂ ਵਾਰ-ਵਾਰ ਕੋਸ਼ਿਸ਼ਾਂ ਵਿੱਚ ਵਾਧਾ ਤੁਰੰਤ ਚੇਤਾਵਨੀਆਂ ਨੂੰ ਚਾਲੂ ਕਰਨਾ ਚਾਹੀਦਾ ਹੈ।

ਇਹ ਹੁਣ ਵਿਆਪਕ "AI ਸੁਰੱਖਿਆ" ਬਾਰੇ ਨਹੀਂ ਹੈ। ਇਹ ਤੁਹਾਡੀਆਂ LLM ਐਪਲੀਕੇਸ਼ਨਾਂ ਦੀ ਇੰਟਰਐਕਸ਼ਨ ਪਰਤ ਨੂੰ ਇੱਕ ਖਾਸ, ਪ੍ਰਦਰਸ਼ਿਤ, ਅਤੇ ਤੁਰੰਤ ਸ਼ੋਸ਼ਣਯੋਗ ਹਮਲਾ ਵੈਕਟਰ ਦੇ ਵਿਰੁੱਧ ਸੁਰੱਖਿਅਤ ਕਰਨ ਬਾਰੇ ਹੈ। ਅਸੀਂ ਅਕਸਰ ਇੰਟਰਫੇਸ 'ਤੇ ਨਾਕਾਫ਼ੀ ਸੁਰੱਖਿਆ ਉਪਾਵਾਂ ਦੇ ਨਾਲ, ਇਹ ਸ਼ਾਨਦਾਰ, ਸ਼ਕਤੀਸ਼ਾਲੀ ਸਿਸਟਮ ਬਣਾ ਰਹੇ ਹਾਂ। ਹਾਲੀਆ ਪ੍ਰਦਰਸ਼ਨਾਂ ਨੇ ਸਾਨੂੰ ਦਿਖਾਇਆ ਹੈ ਕਿ ਇਹਨਾਂ ਅੰਤਰਾਂ ਦਾ ਸ਼ੋਸ਼ਣ ਕਰਨਾ ਕਿੰਨਾ ਆਸਾਨ ਹੈ। ਸਿਧਾਂਤਕ ਚਰਚਾ ਦਾ ਸਮਾਂ ਬੀਤ ਚੁੱਕਾ ਹੈ। LLM ਐਪਲੀਕੇਸ਼ਨਾਂ ਨੂੰ ਸੁਰੱਖਿਅਤ ਕਰਨ ਲਈ ਤੁਰੰਤ ਕਾਰਵਾਈ ਦੀ ਲੋੜ ਹੈ।

ਸਰੋਤ

[1] ਵੱਡੀ ਭਾਸ਼ਾ ਦੇ ਮਾਡਲ ਐਪਲੀਕੇਸ਼ਨਾਂ ਲਈ OWASP ਚੋਟੀ ਦੇ 10 — https://owasp.org/www-project-top-10-for-large-language-model-applications/ [2] ਲੇਕੇਰਾ ਗੈਂਡਲਫ: ਇੱਕ ਇੰਟਰਐਕਟਿਵ ਪ੍ਰੋਂਪਟ ਇੰਜੈਕਸ਼ਨ ਚੈਲੇਂਜ — https://gandalf.lakera.ai/ [3] ਤੁਰੰਤ ਟੀਕੇ ਦੇ ਹਮਲੇ | ਵੈੱਬ ਸੁਰੱਖਿਆ ਅਕੈਡਮੀ — https://portswigger.net/web-security/llm-attacks/prompt-injection [4] ਪ੍ਰੋਂਪਟ ਇੰਜੈਕਸ਼ਨ ਕੀ ਹੈ ਅਤੇ ਇਸਨੂੰ ਕਿਵੇਂ ਰੋਕਿਆ ਜਾਵੇ? — https://www.tenable.com/blog/what-is-prompt-injection-and-how-to-prevent-it