Científicos de IBM Research junto con científicos de EPFL, desarrollaron un esquema para entrenar grandes conjuntos de datos en forma muy rápida.  Este esquema, al que llamaron DuHL (Duality-gap based Heterogeneous Learning), puede procesar 30 GB de data en menos de 1 minuto utilizando solo una unidad de procesamiento de gráficos (GPU).  Este esquema puede procesar 10 veces más rápido el mismo conjunto de datos que cualquier otro método existente para entrenamiento limitado de memoria.  Este esquema fue presentado hoy por los científicos en la conferencia NIPS (Neural Information Processing Systems) 2017 en Long Beach, California.

Uno de los científicos de IBM Research AI, Celestine Dünner, explica que entrenar a un modelo de aprendizaje automático con un conjunto de datos tan grande es un «problema común y difícil«.  También señala que con suerte uno puede tener un servidor con la memoria suficiente para introducir toda la data, pero aún así el entrenamiento llevará mucho tiempo.

En los últimos tiempos las GPU han comenzado a utilizarse en distintos campos para acelerar cargas de trabajo de uso intensivo de cómputo, pero la científica indica que es difícil extender esto a cargas de trabajo muy intensivas en datos, ya que para utilizar el poder de las GPUs, se necesita cargar la data en la memoria de la GPU para poder acceder y procesar la misma.  El problema es la limitada capacidad de memoria de las GPU actuales (hasta 16 GB), por lo que no es posible entrenar grandes conjuntos de datos.

Una solución a esto sería procesar la data en forma secuencial, en grupos de 16 GB cada uno y cargar esos grupos en la GPU en forma secuencial, algo que genera otro problema que es lo caro de mover data hacia o desde la GPU, además del tiempo que toma transferir cada grupo de datos de la CPU a la GPU.

La solución a todos estos problemas fue crear una técnica para determinar primero cual parte pequeña de la data es la más importante para el algoritmo de entrenamiento en un momento dado.  Dünner señala que «para la mayoría de los conjuntos de datos de interés, la importancia para el algoritmo de entrenamiento de cada uno de los puntos de datos es altamente no uniforme y también cambia durante el proceso de entrenamiento. Al procesar los puntos de datos en el orden correcto, podemos enseñar a nuestro modelo más rápidamente«.

Un ejemplo claro de esto es un algoritmo que debe de distinguir entre perros y gatos.  Cuando el algoritmo conoce que las orejas de un gato son más pequeñas, retiene esa información y ya no realiza la revisión de la misma, esto con el tiempo hace que la identificación sea mucho más rápida.

Es así que basados en la teoría anterior desarrollaron un nuevo componente re-utilizable, DuHL, para entrenar modelos de aprendizaje automático en plataformas informáticas heterogéneas.   La científica señala que este mismo esquema se puede aplicar a otros aceleradores de memoria limitada como por ejemplo sistemas que utilicen FPGAs en lugar de GPUs.

Este esquema tiene distintas aplicaciones incluyendo data de social media y mercadeo en línea, lo cual se puede usar para predecir cuales avisos comerciales mostrar a los usuarios.

Además de Dünner, los otros científicos participantes fueron Thomas Parnell y Martin Jaggi. Para ver información más detallada sobre DuHL, pueden leer el documento del esquema.

Imagen de Portada cortesía IBM