MindEye es el fruto de una colaboración sin precedentes entre MedARC e investigadores del Princeton Neuroscience Institute, la Ecole Normale Supérieure, la PSL University, la University of Toronto y la Hebrew University of Jerusalem, además del apoyo de EleutherAI y Stability AI.

Este proyecto, al que denominaron MindEye, representa un avance significativo en la reconstrucción y recuperación de imágenes a partir de la actividad cerebral medida por imágenes de resonancia magnética funcional (fMRI).

MindEye: Introducción, Métodos y Resultados

La fMRI es una herramienta poderosa que mide la actividad cerebral detectando cambios en el flujo sanguíneo oxigenado, lo que permite analizar las funciones cerebrales y evaluar tratamientos. MindEye se entrenó y evaluó utilizando el conjunto de datos de Escenas Naturales, obtenido de participantes humanos dispuestos a visualizar imágenes estáticas durante 40 horas dentro de una máquina de MRI. Este enfoque marca el debut de MedARC en la publicación de preprints desde su lanzamiento público y se encuentra en proceso de revisión por pares.

MindEye logra un rendimiento sin precedentes tanto en la recuperación como en la reconstrucción de imágenes. Esto significa que, a partir de una muestra de actividad fMRI de un participante que observó una imagen, MindEye puede identificar con más del 90% de precisión cuál fue la imagen original vista o recrearla. Este logro utiliza un enfoque novedoso que combina el aprendizaje contrastivo para la recuperación y un prior de difusión para la reconstrucción, entrenado de manera integral.

Recuperación y Reconstrucción

El éxito en la recuperación de imágenes desafía trabajos anteriores, mejorando significativamente la precisión. La reconstrucción, por otro lado, aprovecha un prior de difusión alineando los embeddings cerebrales con el espacio de imágenes CLIP, lo que indica que las reconstrucciones de MindEye mejorarán a medida que evolucionen los modelos generativos de imágenes.

Beneficios y Preocupaciones

La reconstrucción de la percepción a partir de la actividad cerebral abre un abanico de aplicaciones clínicas y mejoras en la comunicación visual, especialmente con pacientes en estado de pseudocoma. Sin embargo, se reconoce la necesidad de proteger los datos cerebrales sensibles y asegurar la transparencia en la recopilación de datos. MindEye se sometió a un riguroso proceso de aprobación ética y los participantes brindaron su consentimiento informado.

Investigación Abierta y Colaborativa

Desarrollado bajo una filosofía de investigación abierta y colaborativa, MindEye invita a la comunidad global a unirse a este esfuerzo de investigación descentralizado. Con el código fuente disponible públicamente y las discusiones de investigación accesibles a través de canales de Discord, este proyecto fomenta una comunidad de investigación diversificada y democrática.

El equipo de MindEye está liderado por los co-primeros autores Dr. Paul Scotti y Atmadeep Banerjee, junto a los co-autores senior Dr. Tanishq Abraham y Dr. Kenneth Norman, demostrando un esfuerzo colaborativo internacional. Para más información, se invita a los interesados a visitar el sitio web del proyecto o contactar directamente al Dr. Paul Scotti.

MindEye no solo representa un hito en la intersección de la neurociencia y la inteligencia artificial, sino que también establece un precedente en cómo la colaboración abierta puede acelerar el avance científico, prometiendo transformaciones significativas tanto en la investigación médica como en las aplicaciones clínicas futuras.