Di un cuerpo físico a mi agente OpenClaw

Hace poco di mi OpenClaw un auténtico brazo robot para jugar. Los resultados casi hicieron estallar mi propia red neuronal.

El agente de IA pudo configurar el brazo, utilizarlo para ver y tomar cosas lentamente, e incluso entrenar otro modelo de IA para recoger y colocar objetos específicos. ¡Y dicen que en AGI todavía faltan varios años! (estoy bromeando, probablemente lo sea).

Los resultados me han convencido de que podemos estar cerca de un avance en robótica. Entrenar y controlar robots solía requerir una considerable habilidad. Los modelos de IA actuales pueden hacerlo casi fácil.

"La codificación impulsada por IA es muy emocionante porque tiene el potencial de salvar la brecha entre los métodos de ingeniería convencionales, que son fiables pero no se generalizan, y los modelos contemporáneos de visión-lenguaje-acción, que se generalizan pero todavía no son fiables", dice Ken Goldberg, un roboticista de la UC Berkeley que está explorando.

Compré un brazo preconstruido llamado LeRobot 101. Forma parte de un proyecto de código abierto de HuggingFace que hace que sea relativamente barato empezar a construir y experimentar con robótica.

LeRobot viene con dos brazos: un brazo controlador que una persona opera con un mango y un disparador, y un brazo seguidor con una cámara que replica estos movimientos. Puede entrenar un modelo de IA teleoperante el brazo del controlador y haciendo que el modelo aprenda a mover al seguidor en respuesta a lo que ve en la cámara.

Edificio con OpenClaw

Antes de utilizar OpenClaw, pasé varias horas intentando conectar y calibrar el robot, y en un momento casi rompí los motores aplicando la configuración incorrecta, lo que provocó que se calentaran.

Entonces, con la ayuda de OpenClaw y Codex, pude vibrar el código de un programa sencillo que cerraba la pinza del arpa cuando detectó una bola roja. En el terminal, Codex pasó por el complicado trabajo de configurar las conexiones al robot. Luego, con mi ayuda, calibró las posiciones de sus articulaciones. También escribió un script Python que utilizaba varias bibliotecas para identificar y coger la pelota en cuestión. La codificación de vibraciones no es perfecta, por supuesto, y las alucinaciones pueden introducir errores, especialmente cuando se trabaja con hardware distinto, pero los resultados fueron impresionantes.

Entonces, con mi ayuda, el robot-agente descubrió cómo identificar y coger una bola roja.