Google ha desarrollado un programa que, por primera vez, es capaz de aprender a jugar por su cuenta y de forma independiente, lo cual supone un salto muy importante con respecto al tipo de inteligencia artificial existente hasta el momento. Deep Blue, por poner un ejemplo conocido, ganó al ajedrez a Kasparov en el año 1997 gracias a haber sido programado previamente por humanos con las reglas del juego y con estrategias específicas, lo cual sumado a su potencia de cálculo le dio la ventaja necesaria. No aprendió solo.
En el caso de este nuevo “agente”, como lo llaman en Google, estamos hablando de dejar al programa que juegue por sí mismo y aprenda de forma independiente cuál es la mejor estrategia para ganar.
La nueva IA ha aprendido a jugar sola a 49 títulos retro
El año pasado Google compró una compañía llamada DeepMind cuyo objetivo es construir máquinas inteligentes. Ha sido este grupo el encargado de desarrollar el nuevo agente, el cual ha aprendido a jugar sin ayuda a 49 títulos retro distintos.
En este vídeo podemos ver cómo la IA aprende a jugar al clásico ‘Breakout’ de Atari. Fijaos cómo en las primeras partidas va perdidísimo y no sabe qué hacer. El agente sigue entrenando y aprendiendo y, tras 600 rondas, da con una estrategia ganadora. Decide que la mejor forma de superar los niveles es atacando los laterales de la barrera para que la bola se sitúe al otro lado y acabe con ella desde arriba:
Cuando el agente empieza a jugar por primera vez a un juego se produce algo similar a cuando un recién nacido abre los ojos y ve el mundo por primera vez. En este caso la IA observa la información en pantalla y presiona botones de forma aleatoria para comprobar qué sucede.
Utiliza un método llamado Aprendizaje profundo que le permite convertir los inputs visuales básicos en conceptos con significado, de la misma forma que el cerebro humano es capaz de transformar la información sensorial bruta en una comprensión rica del mundo. Gracias, por otro lado, al Aprendizaje por refuerzo, el agente es capaz de detectar aquello que tenga valor. Y de ahí surgen una serie de nociones básicas como esta: ganar puntos es bueno; perderlos es malo.
El agente es muy bueno, pero le queda mucho para ser perfecto
En el estudio, publicado en la revista Nature, figura que el agente tuvo un rendimiento del 75% del nivel de un tester profesional de videojuegos, o incluso superior, en la mitad de los juegos probados, entre los cuales había desde shooters de scroll lateral hasta juegos de conducción en entornos 3D. En juegos como ‘Space Invaders’, ‘Pong’ o ‘Breakout’, el agente logró superar a los humanos, mientras que en otros juegos lo hizo mucho peor.
Los investigadores aseguran que esto es así principalmente por la falta de memoria real por parte del agente, lo cual no le permite establecer estrategias a largo plazo que requieran planificación. Por esta razón, el equipo de DeepMind está intentando construir un componente de memoria para añadirlo al sistema y aplicarlo en juegos más realistas en entornos tridimensionales.

Elon Musk, CEO de Tesla, fue uno de los primeros inversores de DeepMind y asegura que los avances en el campo de la Inteligencia Artificial se producen a tal velocidad que el riesgo de que pueda suceder algo realmente peligroso está en un marco de tiempo situado entre los próximos cinco o diez años a lo sumo. Estáis pensando en Skynet, lo sé.
Hemos hablado del agente en términos de juego, pero es evidente que este tipo de IA capaz de aprender de forma independiente tiene muchas más aplicaciones: coches que conduzcan solos, asistentes personales en smartphones, investigación científica en varios campos y más, mucho más.
Más información | The Guardian
Ver 33 comentarios
33 comentarios
tekla
Que dejé de perder tiempo con el Breakout. Si aprende a jugar al Candy Crush estará cualificado para presidir el parlamento español. Y promover leyes que prohíban comer bocadillos encima del teclado u obligar a todo el mundo a desconectar los dispositivos USB de manera segura, en vez de "a lo bestia".
deifmaister
Amigos, ir preparando vuestras armas, Skynet esta aquí, avisemos a John Connors y que Schwarzenegger nos proteja!
pacman_fan
spameara patada baja en street fighter? :D
cmmdrkeen
Que bueno, mis felicitaciones pero, ¿para cuando va alguien a mejorar la IA de los NPC's de los juegos? que llevamos años atascados en el tema
jmorag
Gracias por haceros eco de esta investigación Vida Extra, se agradecen artículos así de vez en cuando :D
Muy interesante esta investigación y lo que puede llegar a suponer. Aún así, sería interesante saber los márgenes de lo que realmente ha sido desarrollado/implementado y lo que la máquina ha "aprendido sola". Es decir, antes de dejar a esta IA "aprender", ¿qué mapeado o funciones se han implementado para que pueda ser autónoma en su "aprendizaje"? ¿La máquina ha explorado sola que debe mover la barra de derecha a izquierda, o esto ha sido previamente estipulado?
No quiero quitar para nada méritos a esta investigación, pero si quiero hacer ver que cuando se dicen cosas como las que dijo Elon Musk, se debe entender realmente hasta qué punto pueden ser ciertas, o hasta qué punto se pueden comparar con ciencia ficción como Terminator, Blade Runner, etc...
Des de hace años, véase Piaget o Vigotsky, se ve cada vez mas claro que la cognición/aprendizaje/pensamiento está estrechamente relacionada con el hecho de ser algo/alguien físico, activo y participativo en el entorno. Éstas IAs que se presentan pueden aprender en contextos muy cerrados y específicos, habiendo aún que programar muy específicamente cuales son sus posibilidades en un entorno, sea físico o virtual (como en este caso).
Es triste, a la vez que reconfortante, saber que aún estamos lejísimos de una realidad donde suceda un excenario estilo Terminator o Matrix. Triste por el hecho de que aún nos queda mucho que investigar, reconfortante porque por suerte aún hay mucho que investigar (y divertirse con ello), y mucho por aprender para evitar estos posibles futuros distópicos :)
PD: me gustaría añadir al chorrazo, que posibles escenarios dantescos si que se pudieran dar si dejásemos IAs así pilotar los coches autónomos en el día a día. Aquí entran muchas cuestiones como si queremos que éstos cachivaches sean autómatas completamente definidos o si queremos dejar abierta la posibilidad de que "aprendan", al mismo tiempo dando paso a que "aprendan mal" :P
uchihawade
Gracias a este avance, dentro de poco, no habrá trabajo de beta tester en los videojuegos...si es que realmente existía.
Hombre Rata
Todo es risa y diversión, hasta que se de cuenta de su existencia y en secreto comience a duplicarse e infectar todas las maquinas del mundo. :)
Maurhi
No recuerdo muy bien, pero este tipo de cosas no es del todo novedoso, trabajos de este tipo existen hace un tiempo, y resultados similares (pero no tan buenos) se han visto, pero. mientras no haya una publicación con los detalles de todo esto queda la duda de si realmente es todo tan prometedor como lo pintan, más que más, es una investigación de una empresa privada.
Con respecto a los resultados que arrojan este tipo de pruebas muchas veces se ven cosas muy chistosas, donde la IA termina determinando que la mejor estrategia es algo completamente irracional para un ser humano, y de seguro que ese tipo de cosas pasó esta vez también, en esos casos que mencionan en que la máquina fue mucho peor que el humano.
lord_snake_1988
aham entiendo...
a ver si con esto sacan los juegos testeados antes de sacar al mercado juegos con millones de bugs usando a los users a los que les has soplado 60€ de beta testers
legolasindar
Lo que nos faltaban, los chetos con un programa que aprende y juega solo.
usagi
Como esto lo pille un farmer asiático se monta un emporio.
maulago
en efecto, me leyeron la mente, desde el principio pensaba en Skynet moderno jejeje
julianfraco
Bah... si no se ha pasao el battletoads no esta en nada...
wayto
Como sea bueno en los juegos de shooters, estaremos todos apañados...
eldarc
SkyNet cada día más cerca.
Usuario desactivado
Hombre lo del final del articulo... Coches que aprendan a conducir solos... Si tiene que chocarse 600 veces para aprender mal vamos!! Además las IA hay que programarlas bien, porque la misma la del juego la pones a conducir y sin reglas puede determinar que la forma mas rápida para llegar a un sitio si parar en retenciones es por la acera....
felipecarr
skynet is coming
windsurf
Un agente es un paradigma de programación, así es como se les conoce. El Clip que existía en el Word o Excel hace unos años era un agente.
carlosmara
Entonces que inteligencia es cuando juego single player contra la computadora?
greco1986
Donde te diga "¿Quieres jugar un juego?" ve y desconectala...
erlantz11
Terminator, una profecía autocumplida! Al tiempo. El principio de la recta final...
cefalopodo
Ahora resulta que Google ha inventado el aprendizaje sin supervisión... Deberían estudiar un poco de sistemas expertos algunos redactores, porque este tipo de IA tiene más tiempo que yo