Meta FAIR presenta nuevos modelos y herramientas de IA para impulsar la ciencia abierta, avanzando en inteligencia avanzada de máquinas y eficiencia en investigación.

El equipo de Investigación Fundamental en Inteligencia Artificial (FAIR) de Meta acaba de anunciar la liberación de varios artefactos de investigación con el objetivo de avanzar en su misión de desarrollar inteligencia avanzada de máquinas (AMI).

Este lanzamiento se alinea la misión establecida por Meta de apoyar la ciencia abierta y la reproducibilidad en el ámbito de la inteligencia artificial.

Entre las novedades se encuentran actualizaciones de modelos populares, así como avances en el campo de la criptografía pos cuántica y el descubrimiento de materiales inorgánicos.

Principales Innovaciones Presentadas

1. Meta Segment Anything Model 2.1 (SAM 2.1)

Uno de los lanzamientos más destacados es la actualización de su Segment Anything Model (SAM), conocido por su capacidad de segmentar objetos en imágenes y videos.

SAM 2.1 incorpora nuevas técnicas de aumento de datos para mejorar el manejo de objetos visualmente similares y pequeños, y mejoras en la capacidad de manejar la oclusión.  Además, se lanzó el SAM 2 Developer Suite, que proporciona código abierto para facilitar el entrenamiento y personalización del modelo, así como el código de la demo web.

Desde su lanzamiento, SAM 2 ha sido utilizado en diversos campos, incluyendo la meteorología y el análisis de imágenes médicas, demostrando un gran impacto y utilidad en múltiples disciplinas.

2. Meta Spirit LM: Modelo Multimodal para Integración de Texto y Voz

Meta presentó Spirit LM, un modelo de lenguaje multimodal diseñado para integrar texto y voz de manera fluida, superando las limitaciones de los sistemas tradicionales de conversión de texto a voz que comprometen la expresividad.

Spirit LM ofrece dos versiones: una basada en tokens fonéticos para modelar la voz y otra que incorpora tonalidad y estilo, permitiendo una generación de voz que refleja emociones como alegría, enojo o sorpresa.

Con este lanzamiento, Meta busca inspirar a la comunidad investigadora para seguir explorando la integración de texto y voz en modelos de lenguaje.

3. Layer Skip: Optimización del Rendimiento de Modelos de Lenguaje a Gran Escala

Con el objetivo de reducir los costos computacionales y energéticos de los modelos de lenguaje a gran escala, Meta ha introducido Layer Skip, una solución que acelera los tiempos de generación de los modelos sin necesidad de hardware especializado.

Esta técnica permite saltar capas durante el procesamiento, utilizando capas posteriores para verificación y corrección. Los modelos optimizados con Layer Skip, como Llama 3 y Code Llama, han mostrado mejoras significativas en la precisión y velocidad, lo que representa un avance importante en la eficiencia y la interpretabilidad de los modelos de inteligencia artificial.

4. SALSA: Validación de la Seguridad en Criptografía Poscuántica

En el campo de la criptografía, Meta ha compartido el proyecto SALSA, un método de ataque basado en inteligencia artificial para validar la seguridad de estándares de criptografía poscuántica como los adoptados por el Instituto Nacional de Estándares y Tecnología (NIST).

Este enfoque permite atacar secretos dispersos en los estándares actuales, como Kyber de Crystals. Meta espera que la comunidad investigadora pueda expandir esta metodología para asegurar la solidez de los sistemas criptográficos del futuro.

5. Meta Lingua: Plataforma Eficiente para Entrenamiento de Modelos de Lenguaje

Meta Lingua se presenta como un código modular y eficiente diseñado para facilitar el entrenamiento de modelos de lenguaje a gran escala.

Este sistema es amigable para la investigación, priorizando la simplicidad y la reusabilidad para acelerar el desarrollo y la experimentación. Al compartir este código, Meta busca que los investigadores puedan centrarse en innovar mientras la plataforma se encarga de mantener la eficiencia en el entrenamiento y la investigación reproducible.

6. Meta Open Materials 2024: Descubrimiento de Materiales Inorgánicos con IA

Meta también ha lanzado el conjunto de datos y modelos Meta Open Materials 2024, diseñados para acelerar el descubrimiento de materiales inorgánicos mediante inteligencia artificial.

Basados en más de 100 millones de ejemplos de entrenamiento, estos recursos representan una opción competitiva y abierta para la comunidad científica, permitiendo avances significativos en la exploración de materiales y la reducción de la brecha entre modelos abiertos y propietarios en el ámbito de la investigación de materiales.

7. MEXMA: Modelo para Representaciones de Oraciones en Múltiples Lenguajes

El proyecto MEXMA es un codificador de oraciones entrenado con objetivos a nivel de token y oración, que mejora las representaciones multilingües para cubrir 80 idiomas.

Meta espera que este modelo, al ser de código abierto, impulse el avance en tareas relacionadas con la clasificación de oraciones y la traducción de lenguajes.

8. Self-Taught Evaluator: Evaluador Generativo de Recompensas con Datos Sintéticos

Finalmente, Meta lanzó el Self-Taught Evaluator, un método innovador para generar datos de preferencia sintéticos que permite entrenar modelos de recompensas sin necesidad de anotaciones humanas.

Este enfoque ha demostrado ser más rápido y preciso en comparación con otros modelos, estableciendo un nuevo estándar en la evaluación y optimización de modelos generativos..

El equipo de FAIR espera que estos recursos impulsen nuevas conversaciones y desarrollos en la comunidad de código abierto, y se muestran entusiasmados por ver cómo la investigación y la colaboración continúan evolucionando en el campo de la inteligencia artificial.