Meta presenta AudioCraft: IA generativa para crear audio y música de alta calidad.

Hoy Meta ha presentado AudioCraft, una herramienta de inteligencia artificial que genera audio y música de alta calidad a partir de texto (prompts). Esta innovación, entre otras cosas, promete cambiar la forma en que los músicos profesionales exploran nuevas composiciones y cómo los propietarios de pequeñas empresas agregan bandas sonoras a sus anuncios de video.

AudioCraft consta de tres modelos:

• MusicGen, fue entrenado con música propiedad de Meta y específicamente licenciada, genera música a partir de indicaciones de texto.
• AudioGen, que fue entrenado con efectos de sonido públicos, genera audio a partir de indicaciones de texto.
• EnCodec, es una versión mejorada del decodificador de Meta que permite una generación de música de mayor calidad con menos artefactos.

Además, Meta está compartiendo el modelo AudioCraft como open source, permitiendo a los investigadores y profesionales entrenar sus propios modelos con sus propios conjuntos de datos por primera vez. Esto podría ayudar a avanzar en el campo del audio y la música generados por IA.

En los últimos tiempos a pesar del entusiasmo en torno a la IA generativa aplicada a imágenes, video y texto, en cuanto al audio se ha quedado un poco atrás. Generar audio de alta fidelidad de cualquier tipo requiere modelar señales y patrones complejos a diferentes escalas.

La música es posiblemente el tipo de audio más desafiante de generar, ya que está compuesto de patrones locales y de largo alcance, desde una serie de notas hasta una estructura musical global con múltiples instrumentos.

Los modelos de la familia AudioCraft son capaces de producir audio de alta calidad con consistencia a largo plazo y son fáciles de usar. Con AudioCraft, Meta simplifica el diseño general de los modelos generativos para audio en comparación con trabajos anteriores en el campo.

AudioCraft funciona para música, sonido, compresión y generación, todo en el mismo lugar. Es fácil de construir y reutilizar, lo que permite a las personas que desean construir mejores generadores de sonido, algoritmos de compresión o generadores de música hacerlo todo en la misma base de código y construir sobre lo que otros han hecho.

Meta ve a los modelos de la familia AudioCraft como herramientas para músicos y diseñadores de sonido para proporcionar inspiración y ayudar a las personas a idear e iterar rápidamente en sus composiciones de nuevas formas. Están emocionados de ver lo que la gente creará con Audiocraft.

A continuación, tienen ejemplos de música y audio creados con AudioCraft:

Prompt: «música pop con melodías pegadizas, percusiones tropicales y ritmos alegres, perfecta para la playa«.

Prompt: «Sirenas y motor de auto se acercan y pasan».

Para obtener más información sobre AudioCraft, puedes visitar el blog de IA de Meta.

Para probar el modelo para crear solo música pueden visitar la demo de MusicGen.