Ir al contenido principal

Víctima de su propio invento: inteligencia artificial es hackeada por sus modelos




Un equipo de expertos del centro de investigación Cornell Tech desarrolló un gusano informático de inteligencia artificial generativa capaz de propagarse de un sistema a otro y potencialmente robar datos o instalar programas maliciosos en el proceso.

Llamado Morris II, plantea nuevos desafíos para la seguridad en el ámbito de modelos como ChatGPT de OpenAI y Gemini de Google, debido a que puede atacar a un asistente de correo electrónico de IA para sustraer datos de correos electrónicos y enviar mensajes de spam.

Recordemos que un gusano informático es un programa malicioso que puede replicarse sin la activación de sus huéspedes y se reproduce a sí mismo mientras se propaga a tantos ordenadores como sea posible. Este software maligno suele utilizar una red informática para propagarse, aprovechando las fallas de seguridad para acceder a ella.

Cómo crearon al gusano que se propaga entre asistentes de IA

Morris II fue creado por los investigadores Ben Nassi, Stav Cohen y Ron Bitton, y su alcance fue analizado en entornos de prueba. Además, su nombre se inspira en el gusano informático Morris que fue considerado como el primer malware de la historia y que causó estragos en 1988.

El gusano fue probado exitosamente en un sistema de correo electrónico experimental vinculado a ChatGPT, Gemini y el LLM de código abierto LLaVA, exponiendo vulnerabilidades críticas cuando el sistema procesaba tanto texto como imágenes incrustadas con mensajes maliciosos.

Cómo se perpetraron los ataques

La investigación planteó un escenario en el cual, mediante la inserción estratégica de textos ocultos o imágenes, un atacante podría comprometer modelos basados en aprendizaje automático para obligarlos a actuar en contra de sus protocolos de seguridad previstos y ejecutar acciones no autorizadas, como la sustracción de información confidencial.

Los expertos encontraron que al “envenenar” la base de datos de un asistente de correo electrónico con un mensaje de texto adversario, cuando el sistema recupera y procesa este correo electrónico, termina propagando la amenaza a otros usuarios. “La respuesta generada que contiene datos confidenciales del usuario infecta posteriormente nuevos hosts”, explicó uno de los investigadores.

El segundo método de ataque expuesto implicó la incrustación de un código malicioso dentro de una imagen, que cuando fue procesada por el asistente de correo electrónico, resultó en el reenvío del mensaje malicioso a otros destinatarios. Una seria amenaza por la posibilidad de difusión de spam o material de abuso.

Se hace un llamado a adoptar enfoques de seguridad

Aunque estos gusanos de IA generativa aún no han sido observados en el entorno digital real, su existencia teórica refleja un creciente riesgo de seguridad que debería ser de interés para desarrolladores, startups y corporaciones tecnológicas que se apoyan en estas tecnologías emergentes.

De hecho, este estudio no solo subraya la importancia de diseñar sistemas de inteligencia artificial con sólidas medidas de seguridad, sino que también abre el debate sobre la necesidad de regulaciones y protocolos de protección más estrictos frente a las posibles amenazas que la IA generativa representa para la seguridad de la información digital.

“Parece que han encontrado una manera de explotar las vulnerabilidades del tipo de inyección rápida”, comentó un portavoz de OpenAI, señalando que están trabajando para fortalecer sus sistemas contra este tipo de amenazas.

Información de. INfobae

Comentarios

Entradas populares de este blog

Parte de Marte sería habitable

Una nave espacial registró datos sobre la existencia de un importante mineral en la superficie de Marte que sugiere que el planeta tuvo en una época un medio ambiente favorable a la vida, informaron científicos. El Vehículo Orbital de Reconocimiento de Marte detectó carbonato en rocas del área conocida como Nili Fossae, una región de valles incrustados en la antigua corteza del planeta, sugiriendo que la zona no era tan inclemente como otras partes de Marte. El mineral, que se forma en presencia de agua, había sido previamente detectado en pequeñas cantidades en el polvo y en el suelo de Marte. Pero su presencia en el lecho de roca indica que el agua no tenía altos contenidos de ácido. Por lo tanto, era más favorable a alguna forma de vida. La región "habría tenido realmente un medio ambiente más benigno para formas tempranas de vida en Marte", dijo el científico de la misión Bethany Ehlmann, de la universidad Brown. Los resultados del estudio fueron presentados el jueves en ...

Pueden sobrevivir un año huevos de mosco transmisor de dengue

Los huevos del Aedes aegypti, el mosquito transmisor del dengue, pueden sobrevivir hasta un año y resistir a los insecticidas gracias a una película protectora que los envuelve y que se forma en las primeras quince horas después de haber sido puestos, según un estudio divulgado hoy en Brasil. El estudio de la Fundación Oswaldo Cruz (Fiocruz) revela que los mosquitos pueden sobrevivir durante meses en ambientes hostiles, en locales secos y sin agua, y esperar hasta las lluvias del verano siguiente para nacer. Los resultados de la investigación demostraron que los huevos apenas son vulnerables a los insecticidas y al cloro en sus primeras quince horas, informó en su página en internet la Fiocruz, una institución vinculada al Ministerio de Salud y considerado uno de los mayores centros de estudios médicos en Latinoamérica. Pasado ese período, los huevos quedan envueltos por una película transparente e impermeable que los protege del cloro y de los insecticidas y que les permite esperar el...

La serotonina, responsable de las plagas de langostas

Una langosta sola es un insecto inofensivo y vulnerable. Pero si se une a miles o incluso millones de compañeras, juntas forman una plaga que puede arrasar cosechas enteras. Un equipo de investigadores de la Universidad de Oxford ha identificado que el aumento de la serotonina, un neurotransmisor conocido también como “hormona del bienestar”, es responsable del comportamiento gregario de las langostas del desierto. Los detalles se publican en la revista Science. Los científicos, dirigidos por Michael Anstey, estudiaron los niveles de serotonina en las langostas mientras adoptaban tanto conductas solitarias como gregarias. Los resultados revelaron que cuando las langostas se reúnen en enjambres tienen niveles de serotonina casi tres veces superiores que cuando se comportan como insectos tímidos e incluso antisociales. Antes de 1921 se pensaba que las langostas solitarias y las gregarias eran especies diferentes, ya que se diferencian incluso físicamente. "Hasta ahora, aunque conocí...