Ir al contenido principal

Víctima de su propio invento: inteligencia artificial es hackeada por sus modelos




Un equipo de expertos del centro de investigación Cornell Tech desarrolló un gusano informático de inteligencia artificial generativa capaz de propagarse de un sistema a otro y potencialmente robar datos o instalar programas maliciosos en el proceso.

Llamado Morris II, plantea nuevos desafíos para la seguridad en el ámbito de modelos como ChatGPT de OpenAI y Gemini de Google, debido a que puede atacar a un asistente de correo electrónico de IA para sustraer datos de correos electrónicos y enviar mensajes de spam.

Recordemos que un gusano informático es un programa malicioso que puede replicarse sin la activación de sus huéspedes y se reproduce a sí mismo mientras se propaga a tantos ordenadores como sea posible. Este software maligno suele utilizar una red informática para propagarse, aprovechando las fallas de seguridad para acceder a ella.

Cómo crearon al gusano que se propaga entre asistentes de IA

Morris II fue creado por los investigadores Ben Nassi, Stav Cohen y Ron Bitton, y su alcance fue analizado en entornos de prueba. Además, su nombre se inspira en el gusano informático Morris que fue considerado como el primer malware de la historia y que causó estragos en 1988.

El gusano fue probado exitosamente en un sistema de correo electrónico experimental vinculado a ChatGPT, Gemini y el LLM de código abierto LLaVA, exponiendo vulnerabilidades críticas cuando el sistema procesaba tanto texto como imágenes incrustadas con mensajes maliciosos.

Cómo se perpetraron los ataques

La investigación planteó un escenario en el cual, mediante la inserción estratégica de textos ocultos o imágenes, un atacante podría comprometer modelos basados en aprendizaje automático para obligarlos a actuar en contra de sus protocolos de seguridad previstos y ejecutar acciones no autorizadas, como la sustracción de información confidencial.

Los expertos encontraron que al “envenenar” la base de datos de un asistente de correo electrónico con un mensaje de texto adversario, cuando el sistema recupera y procesa este correo electrónico, termina propagando la amenaza a otros usuarios. “La respuesta generada que contiene datos confidenciales del usuario infecta posteriormente nuevos hosts”, explicó uno de los investigadores.

El segundo método de ataque expuesto implicó la incrustación de un código malicioso dentro de una imagen, que cuando fue procesada por el asistente de correo electrónico, resultó en el reenvío del mensaje malicioso a otros destinatarios. Una seria amenaza por la posibilidad de difusión de spam o material de abuso.

Se hace un llamado a adoptar enfoques de seguridad

Aunque estos gusanos de IA generativa aún no han sido observados en el entorno digital real, su existencia teórica refleja un creciente riesgo de seguridad que debería ser de interés para desarrolladores, startups y corporaciones tecnológicas que se apoyan en estas tecnologías emergentes.

De hecho, este estudio no solo subraya la importancia de diseñar sistemas de inteligencia artificial con sólidas medidas de seguridad, sino que también abre el debate sobre la necesidad de regulaciones y protocolos de protección más estrictos frente a las posibles amenazas que la IA generativa representa para la seguridad de la información digital.

“Parece que han encontrado una manera de explotar las vulnerabilidades del tipo de inyección rápida”, comentó un portavoz de OpenAI, señalando que están trabajando para fortalecer sus sistemas contra este tipo de amenazas.

Información de. INfobae

Comentarios

Entradas populares de este blog

Dos planetas muy apartados del plano orbital principal

Se ha descubierto un sistema planetario en el cual las órbitas de dos planetas forman un ángulo pronunciado entre sí. Este hallazgo afectará a las teorías sobre cómo evolucionan los sistemas de varios planetas, y muestra que algunos acontecimientos violentos pueden trastornar las órbitas planetarias después de formado su sistema.

China lidera la transición hacia una economía más ‘verde’

  China   ha tenido un “rápido ascenso” en los últimos 20 años para convertirse en   una de las principales naciones de investigación en tecnologías verdes , informó la prensa alemana el domingo, citando un nuevo estudio del grupo de expertos alemán   Bertelsmann Stiftung . “En términos de dinámica de investigación,   ningún otro país puede seguir el ritmo de China . Ya que el país es el motor de crecimiento más importante” en tecnologías verdes a nivel mundial, según el estudio. En términos de patentes de clase mundial, las mejores del 10% de las patentes para una tecnología en particular,   China ya ocupa el segundo lugar, después de Estados Unidos . El país ha t riplicado sus patentes de clase mundial en tecnologías verdes   a 37,000 desde 2017, mientras que la participación de Estados Unidos, Japón y la Unión Europea (UE) ha disminuido. En la mayoría de las categorías,   China se encuentra entre los tres principales lugares de investigación del mundo , pero ya ocupa el primer lugar

Pueden sobrevivir un año huevos de mosco transmisor de dengue

Los huevos del Aedes aegypti, el mosquito transmisor del dengue, pueden sobrevivir hasta un año y resistir a los insecticidas gracias a una película protectora que los envuelve y que se forma en las primeras quince horas después de haber sido puestos, según un estudio divulgado hoy en Brasil. El estudio de la Fundación Oswaldo Cruz (Fiocruz) revela que los mosquitos pueden sobrevivir durante meses en ambientes hostiles, en locales secos y sin agua, y esperar hasta las lluvias del verano siguiente para nacer. Los resultados de la investigación demostraron que los huevos apenas son vulnerables a los insecticidas y al cloro en sus primeras quince horas, informó en su página en internet la Fiocruz, una institución vinculada al Ministerio de Salud y considerado uno de los mayores centros de estudios médicos en Latinoamérica. Pasado ese período, los huevos quedan envueltos por una película transparente e impermeable que los protege del cloro y de los insecticidas y que les permite esperar el