Los modelos de aprendizaje automático ya dominan los juegos de ajedrez, go, Atari, etc., pero para llevarlo al siguiente nivel, los investigadores de Facebook pretenden que la IA aborde otro tipo de juego: Nethack, notoriamente difícil e infinitamente complejo. .

“Queríamos construir lo que creemos que es el ‘gran desafío’ más accesible con este juego. No será resolver IA, pero abrirá caminos para mejor AI ”, dijo Edward Grefenstette de Facebook AI Research. “Los juegos son un buen lugar para encontrar nuestras suposiciones sobre qué hace que las máquinas sean inteligentes y romperlas”.

Puede que no estés familiarizado con Nethack, pero es uno de los juegos más influyentes de todos los tiempos. Eres un aventurero en un mundo de fantasía y te sumerges en las cada vez más peligrosas profundidades de una mazmorra diferente cada vez. Tienes que luchar contra monstruos, sortear trampas y otros peligros, mientras te mantienes en buenos términos con tu dios. Este es el primer “roguelike” (después de Rogue, su predecesor inmediato y mucho más simple) y podría decirse que sigue siendo el mejor, casi con certeza el más difícil.

(Es gratis, por cierto, y puedes descargarlo y jugarlo en casi cualquier plataforma).

Sus simples gráficos ASCII, usando ag para un duende, una @ para el jugador, líneas y puntos para la arquitectura del nivel, etc., desmienten su increíble complejidad. Porque Nethack, que debutó en 1987, ha estado en desarrollo activo desde entonces, con su cambiante equipo de desarrolladores expandiendo su lista de objetos y criaturas, reglas y la miríada e innumerables interacciones entre todos ellos.

Y eso es parte de lo que hace que Nethack sea un desafío tan difícil e interesante para la IA: es tan abierto. No solo el mundo es diferente cada vez, sino que cada objeto y criatura puede interactuar de nuevas formas, la mayoría de las cuales han sido codificadas a mano durante décadas para cubrir todas las opciones posibles para los jugadores.

Nethack con una actualización gráfica basada en mosaicos: toda la información siempre está disponible por texto.

“Atari, Dota 2, StarCraft 2… las soluciones que hemos tenido para progresar allí son muy interesantes. Nethack simplemente presenta diferentes desafíos. Tienes que confiar en el conocimiento humano para jugar como humano ”, dijo Grefenstette.

LEER  Indian Razorpay recauda fondos por valor de $ 3 mil millones antes del lanzamiento del sudeste asiático - TechCrunch

En estos otros juegos, hay una estrategia más o menos obvia para ganar. Por supuesto, es más complejo en un juego como Dota 2 que en un juego de Atari 800, pero la idea es la misma: hay partes que el jugador controla, un entorno de juego y condiciones de victoria que buscar. Es un poco como el caso de Nethack, pero es más extraño que eso. Por un lado, el juego es diferente cada vez, y no solo en los detalles.

“Nueva mazmorra, nuevo mundo, nuevos monstruos y elementos, no tienes un punto de guardado. Si comete un error y muere, no tiene una segunda oportunidad. Es un poco como la vida real ”, dijo Grefenstette. “Tienes que aprender de tus errores y abordar nuevas situaciones con ese conocimiento. “

Beber una poción corrosiva es una mala idea, por supuesto, pero ¿qué hay de tirarla a un monstruo? ¿Cubre tu arma con ella? ¿Verterlo en la cerradura de un cofre del tesoro? ¿Diluirlo con agua? Tenemos ideas intuitivas sobre estas acciones, pero una IA que juega el juego no piensa como nosotros.

La profundidad y complejidad de los sistemas de Nethack es difícil de explicar, pero esta diversidad y dificultad hace que el juego sea un candidato perfecto para una competencia, según Grefenstette. “Tienes que confiar en el conocimiento humano para jugar”, dijo.

LEER  Watch Amazon Go: la startup de Lisboa planea ofrecer tiendas independientes a otros minoristas - TechCrunch

La gente ha estado diseñando robots para jugar a Nethack durante muchos años que no se basan en redes neuronales sino en árboles de decisiones tan complejos como el juego en sí. El equipo de investigación de Facebook espera generar un nuevo enfoque mediante la creación de un entorno de entrenamiento en el que las personas puedan probar algoritmos de juegos basados ​​en el aprendizaje automático.

Pantallas de Nethack con etiquetas que indican de qué está enterado la IA.

El entorno de aprendizaje de Nethack se creó el año pasado, pero el desafío de Nethack apenas está comenzando. El NLE es esencialmente una versión del juego integrado en un entorno informático dedicado que permite que una IA interactúe con él a través de comandos de texto (instrucciones, acciones como atacar o comer).

Es un objetivo tentador para los diseñadores de IA ambiciosos. Si bien juegos como StarCraft 2 pueden beneficiarse de un perfil más alto de alguna manera, Nethack es legendario y la idea de construir un modelo en líneas completamente diferentes a las que se usan para dominar otros juegos es un desafío interesante.

También es, como explicó Grefenstette, más accesible que muchos en el pasado. Si deseaba crear IA para StarCraft 2, necesitaba mucha potencia informática para ejecutar motores de reconocimiento visual en las imágenes del juego. Pero en este caso, todo el juego se transmite por texto, lo que lo hace extremadamente eficiente para trabajar. Se puede jugar miles de veces más rápido que cualquier humano, incluso con la configuración de computadora más básica. Esto deja el desafío abierto a las personas y grupos que no tienen acceso al tipo de configuraciones de alta potencia necesarias para impulsar otros métodos de aprendizaje automático.

LEER  A medida que las acciones tecnológicas pierden su brillo, los PSPC están en aumento - TechCrunch

“Queríamos crear un entorno de investigación que presentara muchos desafíos para la comunidad de IA, pero no restringirlo solo a los grandes laboratorios universitarios”, dijo.

Durante los próximos meses, NLE estará disponible para que la gente lo pruebe, y los competidores básicamente pueden construir su bot o IA de la forma que elijan. Pero cuando la competencia comience en serio el 15 de octubre, se limitarán a interactuar con el juego en su entorno controlado a través de comandos estándar: sin acceso especial, sin inspección de RAM, etc.

El objetivo de la competencia será completar el juego, y el equipo de Facebook hará un seguimiento de cuántas veces “viaja” el agente, como se le llama en Nethack, dentro de un período de tiempo establecido. Pero “asumimos que será cero para todos”, admitió Grefenstette. Después de todo, este es uno de los juegos más difíciles jamás creados, e incluso los humanos que lo han estado jugando durante años luchan por ganar incluso una vez en su vida, y mucho menos varias veces después. Habrá otras medidas de puntuación para juzgar a los ganadores en varias categorías.

La esperanza es que este desafío sienta las bases para un nuevo enfoque de la IA, que se asemeja más fundamentalmente al pensamiento humano real. Los atajos, el ensayo y error, el truco de puntuación y el zerging no funcionarán aquí: el agente tiene que aprender sistemas de lógica y aplicarlos de manera flexible e inteligente, o morir horriblemente a manos de un centauro o un búho rabioso.

Puedes consultar las reglas y otros detalles del Nethack Challenge aquí. Los resultados se anunciarán en la conferencia NeurIPS a finales de este año.