Ir al contenido principal

Víctima de su propio invento: inteligencia artificial es hackeada por sus modelos




Un equipo de expertos del centro de investigación Cornell Tech desarrolló un gusano informático de inteligencia artificial generativa capaz de propagarse de un sistema a otro y potencialmente robar datos o instalar programas maliciosos en el proceso.

Llamado Morris II, plantea nuevos desafíos para la seguridad en el ámbito de modelos como ChatGPT de OpenAI y Gemini de Google, debido a que puede atacar a un asistente de correo electrónico de IA para sustraer datos de correos electrónicos y enviar mensajes de spam.

Recordemos que un gusano informático es un programa malicioso que puede replicarse sin la activación de sus huéspedes y se reproduce a sí mismo mientras se propaga a tantos ordenadores como sea posible. Este software maligno suele utilizar una red informática para propagarse, aprovechando las fallas de seguridad para acceder a ella.

Cómo crearon al gusano que se propaga entre asistentes de IA

Morris II fue creado por los investigadores Ben Nassi, Stav Cohen y Ron Bitton, y su alcance fue analizado en entornos de prueba. Además, su nombre se inspira en el gusano informático Morris que fue considerado como el primer malware de la historia y que causó estragos en 1988.

El gusano fue probado exitosamente en un sistema de correo electrónico experimental vinculado a ChatGPT, Gemini y el LLM de código abierto LLaVA, exponiendo vulnerabilidades críticas cuando el sistema procesaba tanto texto como imágenes incrustadas con mensajes maliciosos.

Cómo se perpetraron los ataques

La investigación planteó un escenario en el cual, mediante la inserción estratégica de textos ocultos o imágenes, un atacante podría comprometer modelos basados en aprendizaje automático para obligarlos a actuar en contra de sus protocolos de seguridad previstos y ejecutar acciones no autorizadas, como la sustracción de información confidencial.

Los expertos encontraron que al “envenenar” la base de datos de un asistente de correo electrónico con un mensaje de texto adversario, cuando el sistema recupera y procesa este correo electrónico, termina propagando la amenaza a otros usuarios. “La respuesta generada que contiene datos confidenciales del usuario infecta posteriormente nuevos hosts”, explicó uno de los investigadores.

El segundo método de ataque expuesto implicó la incrustación de un código malicioso dentro de una imagen, que cuando fue procesada por el asistente de correo electrónico, resultó en el reenvío del mensaje malicioso a otros destinatarios. Una seria amenaza por la posibilidad de difusión de spam o material de abuso.

Se hace un llamado a adoptar enfoques de seguridad

Aunque estos gusanos de IA generativa aún no han sido observados en el entorno digital real, su existencia teórica refleja un creciente riesgo de seguridad que debería ser de interés para desarrolladores, startups y corporaciones tecnológicas que se apoyan en estas tecnologías emergentes.

De hecho, este estudio no solo subraya la importancia de diseñar sistemas de inteligencia artificial con sólidas medidas de seguridad, sino que también abre el debate sobre la necesidad de regulaciones y protocolos de protección más estrictos frente a las posibles amenazas que la IA generativa representa para la seguridad de la información digital.

“Parece que han encontrado una manera de explotar las vulnerabilidades del tipo de inyección rápida”, comentó un portavoz de OpenAI, señalando que están trabajando para fortalecer sus sistemas contra este tipo de amenazas.

Información de. INfobae

Comentarios

Entradas populares de este blog

La serotonina, responsable de las plagas de langostas

Una langosta sola es un insecto inofensivo y vulnerable. Pero si se une a miles o incluso millones de compañeras, juntas forman una plaga que puede arrasar cosechas enteras. Un equipo de investigadores de la Universidad de Oxford ha identificado que el aumento de la serotonina, un neurotransmisor conocido también como “hormona del bienestar”, es responsable del comportamiento gregario de las langostas del desierto. Los detalles se publican en la revista Science. Los científicos, dirigidos por Michael Anstey, estudiaron los niveles de serotonina en las langostas mientras adoptaban tanto conductas solitarias como gregarias. Los resultados revelaron que cuando las langostas se reúnen en enjambres tienen niveles de serotonina casi tres veces superiores que cuando se comportan como insectos tímidos e incluso antisociales. Antes de 1921 se pensaba que las langostas solitarias y las gregarias eran especies diferentes, ya que se diferencian incluso físicamente. "Hasta ahora, aunque conocí...

Extrañas microbios crecen en una cueva subacuática

Muy en el interior del sistema de cavernas de Frasassi en Italia, y a medio kilómetro bajo la superficie, unos buceadores encontraron unas insólitas cuerdas filamentosas microbianas creciendo en el agua fría. Un equipo de investigadores de la Universidad Estatal de Pensilvania ha estado investigando muestras de tales biopelículas. Las cavernas de azufre son un paraíso microbiano. Muchos tipos diferentes de organismos viven en estas cuevas y emplean el azufre. Jennifer L. Macalady, profesora de geociencias, y su equipo, están tratando de confeccionar un mapa sobre qué organismos viven en estas cuevas y en qué puntos exactos del lugar lo hacen, y determinar cómo esa distribución se corresponde con el entorno geoquímico. En este proceso, han descubierto una forma de biopelícula anteriormente desconocida, creciendo en una porción del lago pobre en oxígeno. "Los exploradores de cavernas habían visto estas extrañas biopelículas", explica Macalady. "Así que les pedimos que nos ...

La acidez de los mares aumenta más rápido de lo que se creía

Un grupo de científicos de la Universidad de Chicago ha establecido que el océano se vuelve ácido más rápido de lo que previamente se suponía. Además, estos expertos han encontrado que el aumento de la acidez se correlaciona con los niveles crecientes de dióxido de carbono en la atmósfera. John Timothy Wootton, Profesor de Ecología y Evolución en la Universidad de Chicago, es el autor principal del estudio. De las variables estudiadas que podrían estar relacionadas con los cambios en la acidez del océano, sólo el dióxido de carbono atmosférico exhibió una correlación significativa. El aumento de la concentración de ácidos en el agua daña a ciertos animales marinos y podría reducir la capacidad del océano de absorber dióxido de carbono. Hace tiempo que los científicos vienen alertando de que niveles más altos de dióxido de carbono en la atmósfera deberían aumentar la acidez de los océanos. Sin embargo, las evidencias empíricas de dicho aumento han sido un tanto precarias. El nuevo estud...