Nuevo algoritmo permite que la inteligencia artificial sea ejecutada más rápido

A medida que más aplicaciones de inteligencia artificial se trasladan a teléfonos inteligentes, los modelos de aprendizaje profundo se hacen más pequeños para permitir que las aplicaciones se ejecuten más rápido y ahorren batería; ahora, los investigadores del MIT tienen una nueva y mejor forma de comprimir modelos.
El algorirtmo es tan simple que lo dieron a conocer en un tuit el mes pasado: Entrenar al modelo, podar las conexiones más débiles, volver a entrenar el modelo a su ritmo de su previo entrenamiento rápido y repetir hasta que el modelo sea tan pequeño como se desee.
«Las cosas estándar que las personas hacen para podar sus modelos son locamente complicadas», explica Alex Renda, doctora por el MIT. La búsqueda de una mejor técnica de compresión surgió del galardonado trabajo presentado en ICLR, “Hipótesis del boleto de Lotería premiado”, donde demostraron que una red neuronal profunda podía funcionar con solo una décima parte del número de conexiones si se encontraba la subred correcta al comienzo del entrenamiento de la inteligencia artificial.
Es claro, genérico y simple
La revelación se produjo cuando la demanda de potencia informática y energía para entrenar modelos de aprendizaje profundo cada vez más grandes aumentaba exponencialmente, una tendencia que continúa hasta nuestros días.
Los costos de ese crecimiento incluyen un aumento en las emisiones de carbono que calientan el planeta y una posible caída en la innovación a medida que los investigadores no afiliados a las grandes compañías tecnológicas compiten por los escasos recursos informáticos, y quienes también se ven afectados son los usuarios cotidianos, ya que los grandes modelos de inteligencia artificial consumen el ancho de banda de los teléfonos móviles, así como la batería.
La hipótesis del boleto de lotería desencadenó una serie de documentos de seguimiento en su mayoría teóricos, pero a sugerencia de un colega, Frankle decidió ver qué podría optimizar la poda, en la que un algoritmo de búsqueda recorta el número de nodos evaluados en un árbol de búsqueda.
No está claro por qué la técnica de poda funciona tan bien como lo hace, los investigadores dicen que dejarán esa pregunta para que otros la respondan; en cuanto a aquellos que desean probarlo, el algoritmo es tan fácil de implementar como otros métodos de poda.