Oriol Vinyals, el español detrás del último éxito de DeepMind: una IA capaz de arrollar a dos profesionales de Starcraft II

En 1996, IBM creó Deep Blue –un superordenador de la época- para retar a Gary Kasparov, la leyenda del ajedrez, a una partida sobre el tablero de 8x8. Aquél primer enfrentamiento terminó del lado del hombre, pero un año después la máquina se impuso. En esta ocasión el ser humano no ha tenido nada que hacer. Dos profesionales de Starcraft II han perdido diez veces seguidas contra Alphastar, una IA desarrollada por DeepMind: una empresa especializada de la que forma parte Oriol Vinyals, nacido en Cataluña y uno de los artífices del último éxito.

La gesta se ha conseguido después de varios años de duro esfuerzo: desarrollar AlphaGo, ponerse en contacto con Blizzard y liderar el proyecto durante varios años de trabajo hasta finalmente conseguir batir a dos jugadores con miles de horas a la espalda. Sin embargo, el camino hasta el éxito no fue introducir una serie de repeticiones en una máquina y esperar sentado, detrás de toda gesta hay una historia.

Una IA desarrollada durante años

En Xataka hablamos sobre el acontecimiento en cuestión, pero no tanto sobre quiénes estaban detrás. Después de que la noticia saliera a la luz, en DeepMind decidieron organizar un AMA (Ask Me Anything) en uno de los foros más importantes de todo internet: Reddit. Allí apareció por primera vez un nombre que sonaba cercano, pero que ha demostrado no ser fácil acceder a él.

No obstante, no es difícil encontrar que el español estudió Matemáticas en la Universidad Politécnica de Catalunya. Tras acabar la licenciatura hizo las maletas rumbo a Estados Unidos donde completó su formación con un máster y posteriormente consiguió una plaza para un doctorado en Ingeniería Eléctrica y Ciencias de la Computación en la Universidad de California.

Antes de terminar sus estudios, en su currículum ya aparecían dos de las mayores empresas del sector tecnológico en todo el mundo: Microsoft y Google. Nada más terminar el doctorado, volvió a Google como investigador científico senior, donde continúa en la actualidad. El puesto lo combina dentro del staff de investigación senior de DeepMind Google, que fue propietaria de toda la empresa que ahora está en manos de Alphabet. img alphabet

En un primer momento el equipo de DeepMind creó una inteligencia artificial denominada AlphaGo que aprendió los entresijo de un milenario juego chino. En 2015, el programa se convirtió en el primero en ser capaz de derrotar a un jugador profesional de Go sin utilizar piedras de handicap: una maniobra por la cual el jugador más fuerte puede conceder entre dos y nueve fichas al teóricamente más débil para facilitarle el juego.

“Despues de AlphaGo, nos pusimos en contacto con Blizzard para investigar StarCraft ya que los juegos de estrategia han sido usados como plataforma para explorar IA durante los últimos 15 años”, explica Vinyals. El español cuenta cómo estuvo involucrado en un proyecto en la Universidad de California, Berkeley, en el 2010: “decidí liderar el proyecto en DeepMind, visitar las oficinas de Blizzard en California, y así es como todo empezó”.

Dentro del AlphaStar

Vinyals ahonda en la historia del proyecto y destaca que uno de los pasos iniciales fue democratizar el proceso para que todos los miembros de la comunidad que estuvieran interesados pudieran participar. “El primer objetivo fue abrir las herramientas que creamos con Blizzard para que toda la comunidad pudiera desarrollar agentes y programas que jugaran al StarCraft”, explica el español.

El científico relata que la compañía se mostró muy dispuesta a colaborar en el proceso: “Blizzard también abrió para el público muchas 'repeticiones' de juegos con lo que pudimos usar técnicas de IA basadas en aprendizaje a partir de 'imitar' a los jugadores (novatos y profesionales)”.

“Una vez preparado el juego para la investigación, descubrimos varias claves que nos permitieron desarrollar AlphaStar. La primera fue que usando repeticiones e imitando a los jugadores podíamos conseguir una IA que ya era mejor que todas las que Blizzard tenía en el juego de StarCraft”, explica Vinyals. Sin embargo, todavía faltaba por realizar una parte del proyecto: crear un sistema que pudiera funcionar dentro del juego de manera real “un agente que jugara uno contra uno el juego al completo”.

Lo que hicieron en el estudio fue poner a jugar a los agentes durante un par de semanas, aunque Vinyals aclara: “eso el equivalente a varios años de StarCraft ya que podemos correr el juego mucho más rápido que en tiempo real”. Con el paso de los días los agentes se convirtieron en todo un prodigio que fue capaz de ganar en poco tiempo al mejor jugador de DeepMind. “Es nivel Master(la segunda más alta dentro del juego)”, aclara el español.

Tras conseguir llegar a ese nivel y después de ultimar los detalles finales de AlphaStar, en el estudio estaban preparados para ponerlo a prueba contra algunos de los mejores jugadores de StarCraft. “Decidimos jugar contra Dario "TLO" Wünsch (Grand Master) y Grzegorz "MaNa" Komincz (top 10 del mundo) en Protoss vs Protoss, consiguiendo en total 10 victorias y una derrota”, termina orgulloso Vinyals.

Stacraft, un reto al alcance de pocos

Desde DeepMind han publicado un completísimo artículo en el que han analizado en detalle el proceso por el que ha pasado la inteligencia artificial antes de convertirse en la pesadilla de dos jugadores profesionales. “El comportamiento de AlphaStar es generado por una red neuronal profunda que recibe datos de entrada de la interfaz del juego en bruto (una lista de unidades y sus propiedades), y produce una secuencia de instrucciones que constituyen una acción dentro del juego”, explican en el mismo.

Esto por sí solo puede no decir mucho, pero la inteligencia artificial también incluye un algoritmo de “aprendizaje multiagente” que entrenador en un primer momento Blizzard, creadora de Starcraft. De esta manera, en el texto se explica que AlphaStar aprendió por imitación la gestión de micro y macroestrategia necesarias para alcanzar cierto nivel en el juego.

Cualquiera que haya tenido la posibilidad de ver una partida entre profesionales posiblemente no entenderá nada, pero la cantidad de pulsaciones y tecleos enfermizos sobre el teclado dan buena cuenta de la cantidad de acciones necesarias para jugar bien al juego. Uno de los datos más relevantes era la cantidad de APM (actions per minute) ejecutadas en cada caso, en el caso de AlphaStar la media se situó en 280, mientras que las de TLO y Mana fueron de 377 y 678.

Evidentemente, aún siendo profesionales a mayor número de acciones por minuto mayor es la probabilidad de equivocarse, algo de en lo que la inteligencia artificial sí que demostraba una ventaja innegable: las acciones de AlphaStar era objetivamente menores, pero también eran mucho más precisas. De lo contrario es imposible explicar los resultados de 10 victorias y solo una derrota.

Por el momento, la historia ha terminado con una clara superioridad de la IA, pero a buen seguro todavía le quedan muchas cosas por pulir y es capaz de seguir cometiendo algunos fallos, sino no habría perdido. Además, como hemos mencionado las partidas se crearon en un contexto determinado: utilizando solo una de las tres razas del juego, pero todavía tendría que aprender a enfrentarse a Terran o a Zergs, y también aprender a utilizarlos, para convertirse en el jugador total de Starcraft II.

Este experimento es capaz de demostrar, todavía más, la increible capacidad que puede llegar a desarrollar una inteligencia artificial y cómo en el futuro, con el trabajo suficiente, podrían formar parte fundamental de una sociedad que avanza de manera inexorable hacia un mundo cada vez más controlado por las máquinas. Sin duda, este tema daría para otro artículo, pero por el momento ha quedado claro el potencial de la IA para derrotar a los Kasparov contemporaneos, salvando las distancias, claro.