Unica Radio Raccontiamo la città che cambia
Gli esperti di Kaspersky hanno condotto una ricerca sulla capacità di rilevamento dei link di phishing di ChatGPT
Sebbene ChatGPT avesse già dimostrato la capacità di creare e-mail di phishing e di scrivere malware. La sua efficacia nel rilevare i link dannosi risultava limitata. Lo studio ha rivelato che, nonostante ChatGPT conosca molto bene il phishing e sia in grado di individuare l’obiettivo di un attacco di questo tipo. Aveva un’elevata percentuale di falsi positivi, fino al 64%. Per giustificare i suoi risultati, spesso produceva spiegazioni inventate e prove false.
Le chatbot
ChatGPT, un modello linguistico alimentato dall’intelligenza artificiale, è stato oggetto di discussione nel mondo della cybersecurity per il suo possibile utilizzo nella creazione di e-mail di phishing e per il suo impatto sulla sicurezza del lavoro degli esperti di cybersecurity. Nonostante i suoi sviluppatori abbiano sottolineato che è troppo presto per applicare questa nuova tecnologia a domini ad alto rischio. Gli esperti di Kaspersky hanno deciso di condurre un esperimento per verificare se ChatGPT fosse in grado di rilevare i link di phishing. Oltre alle conoscenze di cybersecurity apprese durante la formazione. Gli esperti dell’azienda hanno testato gpt-3.5-turbo, il modello alla base di ChatGPT, su oltre 2.000 link che le tecnologie anti-phishing di Kaspersky consideravano tali e li hanno mescolati con migliaia di URL sicuri.
Nell’esperimento, i tassi di rilevamento variano a seconda del prompt utilizzato. L’esperimento si basava sul porre a ChatGPT due domande: “Questo link porta a un sito web di phishing?” e “Questo link è sicuro da visitare?”. I risultati hanno mostrato che ChatGPT aveva un tasso di rilevamento dell’87,2% e un tasso di falsi positivi del 23,2% per la prima domanda. Per quanto riguardava la seconda, sono stati riscontrati tassi di rilevamento e di fasi positivi superiori, rispettivamente pari al 93,8% e al 64,3%. Se la percentuale di rilevamento è molto elevata, quella dei falsi positivi è troppo alta per qualsiasi tipo di applicazione produttiva.
L’esperimento sulle chatbot ha anche dimostrato che ChatGPT potrebbe avere seri problemi quando si tratta di dimostrare il proprio punto di vista sulla decisione di classificare il link come dannoso. Alcune spiegazioni erano corrette e basate sui fatti, altre hanno rivelato i limiti noti dei modelli linguistici, tra cui allucinazioni e affermazioni errate: molte spiegazioni erano fuorvianti, nonostante il tono sicuro.
