Aunque podría parecer una ley grabada en piedra que la IA moderna es superior a la tecnología de hace 50 años, una Atari 2600 de 1977 acaba de demostrar lo contrario. Con especificaciones modestas, como una CPU de 8 bits a 1.19 MHz y 128 bytes de RAM, no solo venció a ChatGPT en ajedrez, que ya en otra prueba había demostrado su incapacidad para jugar correctamente, sino también a Copilot, la IA de Microsoft.
La prueba fue realizada por el arquitecto de infraestructura Robert Caruso, quien documentó sus experimentos en una serie de publicaciones.
ChatGPT contra Atari
Según Caruso, la idea surgió tras una conversación con el propio ChatGPT sobre las diferencias entre motores de ajedrez de élite, como el de código abierto Stockfish y el programa AlphaZero de DeepMind.
En medio de esa discusión técnica, la IA de OpenAI se desvió para presumir de sus propias capacidades, asegurándole a Caruso que era un “jugador potente por sí mismo” y que podía “vencer fácilmente” al videojuego de ajedrez disponible para la Atari.
Motivado por estas afirmaciones, Caruso preparó la partida en el “Video Chess” de la Atari 2600 (lanzado originalmente en 1979), para lo cual utilizó el emulador Stella.
Sin embargo, el desempeño de la IA durante la partida fue completamente diferente a lo esperado. ChatGPT confundió piezas (por ejemplo, torres con alfiles), movió peones de forma errática y perdía repetidamente la noción de la ubicación de cada figura en el tablero. Esto ocurrió a pesar de la ayuda que Caruso le proporcionaba para corregir su percepción del juego.
Después de una partida de 90 minutos y en la dificultad más baja (“principiante”), el enfrentamiento terminó con la derrota del chatbot. Caruso acepta que, además, tuvo que intervenir constantemente para evitar que ChatGPT hiciera movimientos prohibidos.
Según el ingeniero, ChatGPT “cometió suficientes errores como para que se rieran de él en un club de ajedrez de tercer grado”. Tras la derrota, la IA culpó a varios factores, como que los íconos de Atari eran demasiado abstractos para reconocerlos, aunque un cambio en las figuras tampoco mejoró su rendimiento.
Copilot tampoco da la talla
Lejos de detenerse allí, Caruso decidió repetir el enfrentamiento, esta vez con la premisa de saber si Copilot, un producto de Microsoft basado en la misma tecnología de ChatGPT, podría tener un mejor desempeño.
Primero, el ingeniero conversó con Copilot para preguntarle si creía que podía superar los mismos problemas técnicos que su “hermano”. La IA respondió afirmativamente, afirmando que podía pensar con 10 o 15 movimientos de antelación y que capitalizaría los “movimientos subóptimos” de la Atari 2600.
Copilot incluso desestimó los problemas de percepción de ChatGPT, y aseguraba que haría “un gran esfuerzo por recordar los movimientos anteriores y mantener la continuidad del juego”.
Eso sí, Copilot aceptó tener deficiencias, como “lagunas espaciales”, pero dijo que podía analizar el tablero para elegir nuevos movimientos. El método fue el mismo: Caruso le proporcionaba capturas de pantalla después de cada movimiento de Atari, y la IA indicaba su siguiente jugada.
La realidad fue un desastre para la IA. En apenas siete turnos, Copilot ya había perdido dos peones, un caballo y un alfil, a cambio de únicamente un peón de la Atari. Peor aún, sugirió una estrategia imposible: colocar su reina justo delante de la del Atari para “capturarla en el siguiente turno”.
El juego terminó rápidamente. Caruso le pidió a Copilot que dibujara cómo creía que era el tablero y lo comparara con la última captura de pantalla. Al analizarlas y descubrir que eran diferentes, la IA sugirió continuar o reiniciar el juego. En ese momento, el ingeniero le propuso ceder, y Copilot terminó por aceptar “cortésmente” la derrota.
Una lección sobre los límites de la IA
Como señala el medio The Register, este experimento pone en evidencia que, a pesar de las capacidades de la IA, esta todavía puede generar contenido erróneo y no seguir indicaciones. Específicamente, su problema para crear estrategias se hizo evidente al malinterpretar las posiciones en el tablero de juego.
Por su parte, Windows Central indica que el problema de fondo es que los LLM como ChatGPT o Copilot no son capaces de realizar pensamientos abstractos ni de tener memoria persistente. No “aprenden” de la partida, sino que solamente arrojan los contenidos que ya se les han proporcionado gracias a sus textos predictivos.
Por lo pronto, no está claro el siguiente paso de Caruso, pero todo indica que ahora tiene en la mira enfrentar al invicto Atari 2600 con otra IA, Gemini de Google. Evidentemente, habrá que esperar para ver el resultado de ese nuevo juego.
Cortesía de Xataka
Dejanos un comentario: