Cómo es Reformer, la nueva red neuronal de Google
enero 17, 2020
Estados Unidos/infobae. Uno de los desafíos más grandes a la hora de hablar de inteligencia artificial es lograr que el sistema comprenda de manera efectiva y rápida el contexto. Entender contenido que se da en secuencias como ocurre en la música, los videos o en cualquier lenguaje requiere de una buena comprensión del contexto.
En el dominio del lenguaje, las redes neuronales de memoria a largo plazo (LSTM, por sus siglas en inglés) cubren suficiente contexto para traducir oración por oración de un texto. El modelo Transformer empleado por Google no solo mejoró el rendimiento en la traducción de oración por oración, sino que también podría usarse para generar artículos completos a través de un resumen de múltiples documentos; así como para producir fotos y música.
Ahora Google anunció la llegada de Reformer, una versión mejorada de Transformer. Este modelo está diseñado para manejar ventanas de contexto (se denomina así al rango de datos que se tienen en cuenta en la traducción) de hasta 1 millón de palabras, usando solo 16GB de memoria.
El modelo combina dos técnicas para resolver los problemas de atención y asignación de memoria que limitan la aplicación de Transformer a ventanas de contexto largas. Reformer utiliza hash sensible a la localidad (LSH) para reducir la complejidad de asistir a secuencias largas; y capas residuales reversibles para usar de manera más eficiente la memoria disponible.
En Google hicieron una prueba con Reformer: lo emplearon para completar imágenes parciales. Cuando se le muestra al fragmentos de fotos, el sistema es capaz de generar una imagen completa píxel por píxel.
Pero hay algo más: Reformer también puede procesar novelas completas y en un solo dispositivo. Google contó en su comunicado que Reformer pudo procesar la novela Crimen y el castigo de una sola vez.
“En el futuro, cuando haya más conjuntos de datos con texto de formato largo para entrenar, técnicas como Reformer pueden hacer posible generar composiciones largas y coherentes”, se concluye en el texto.