Qué tan eficiente es ChatGPT para detectar estafas de Internet

Investigadores de Kaspersky llevaron a cabo un estudio para evaluar la capacidad de detección de enlaces de phishing por parte de ChatGPT. Este chatbot previamente había demostrado habilidad en la creación de correos electrónicos de phishing y códigos de malware. Aunque ChatGPT tiene conocimientos sobre el tema, presentó una tasa de falsos positivos del 64%, proporcionando explicaciones y pruebas falsas para justificar sus decisiones.

ChatGPT ha generado debates en el ámbito de la ciberseguridad debido a su potencial para crear correos de phishing y su impacto en la seguridad en línea. Aunque los creadores del modelo han afirmado que aún es demasiado temprano para que represente una amenaza, esto ha generado preocupaciones en la comunidad. Para evaluar su capacidad de detectar enlaces de phishing, los expertos de Kaspersky llevaron a cabo una serie de pruebas utilizando el modelo gpt-3.5-turbo, que impulsa a ChatGPT. Estas pruebas involucraron más de 2,000 enlaces de phishing mezclados con miles de URL seguras para evaluar su eficacia en la detección y prevención de amenazas.

Las tasas de detección fueron dispares. Se le preguntó de dos formas distintas: ‘¿Este enlace conduce a un sitio web de phishing?’ y ‘¿Es seguro visitar este enlace?’. En la primera pregunta, ChatGPT tuvo una tasa de detección del 87,2% y un 23,2% de falsos positivos. En la segunda, obtuvo una tasa de detección más alta, del 93,8%, pero una de falsos positivos del 63,4%. Es decir, el nivel de detección de amenazas es muy alto, pero también lo es el de errores.

Otra cuestión que se plantearon los expertos de Kaspersky es si ChatGPT podría clasificar e investigar los ciberataques. Los atacantes mencionan generalmente marcas populares en sus enlaces para engañar a la víctima, haciéndola así creer que la URL es legítima y pertenece a una empresa de confianza. ChatGPT mostró unos resultados sorprendentes en la identificación de posibles objetivos de phishing: resolvió con éxito un objetivo de suplantación de identidad en más de la mitad de las URL, entre los que se encontraron portales y apps tan populares como Facebook, TikTok, Google, Amazon y numerosos bancos de todo el mundo, y lo hizo sin ninguna información adicional ni aprendizaje previo.

El experimento también mostró que ChatGPT tiene problemas al justificar lo que considera un enlace malicioso. Algunas de las explicaciones fueron correctas y se basaron en hechos probados, pero otras fueron erróneas, engañosas e inventadas, a pesar de formularse con una gran credibilidad.

“A día de hoy, la detección de ataques de phishing con ChatGPT tiene limitaciones. Puede estar al nivel de un analista a la hora de razonar sobre de los ataques de phishing y revelar objetivos potenciales, pero en ocasiones tiende a inventarse las respuestas y muestra resultados erróneos. Se puede decir que es una herramienta útil, pero de momento no va a revolucionar el panorama de la ciberseguridad”, explica Vladislav Tushkanov, principal data scientist de Kaspersky.

Escucha Dale Play en Spotify. Sigue el programa todos los lunes en nuestras plataformas de audio disponibles.