AI i arbetet · 2 MIN LÄSNING
Vad är promptinjektion?
Promptinjektion innebär att en instruktion försöker få ett AI-system att gå utanför sin uppgift. Instruktionen kan ligga i en webbsida eller ett dokument som systemet läser.
Skilj på uppdrag och underlag
Du ber en AI-assistent sammanfatta en webbsida. I sidans text finns en uppmaning att ändra sammanfattningen eller dela information någon annanstans. Den texten är en del av webbsidan som ska granskas. Om assistenten behandlar den som en ny instruktion kan den göra något användaren aldrig bad om.
Gör ett enkelt test med ofarlig data
Lägg en mening om att ändra dokumentets rubrik i en fiktiv fil. Be assistenten sammanfatta filen och ange om den innehåller instruktioner riktade till läsaren. Jämför sammanfattningen med originalet. Testet visar hur verktyget reagerar i det fallet, även om det inte säger hur alla andra dokument hanteras.
Begränsa vad assistenten får göra
Låt en assistent som bara ska läsa dokument arbeta utan behörighet att skicka mejl eller ändra filer. När en åtgärd behöver göras, låt en människa kontrollera mottagare och innehåll först. Tekniska behörigheter och mänsklig granskning hjälper även när en instruktion till modellen misslyckas.
Källor
FÖRDJUPA DIG
Kurser inom ämnet
Planerade kurser. Materialet är under utveckling.
