Modelo visión-lenguaje-acción de Microsoft Research Asia preentrenado con vídeos de manos humanas grabados en primera persona, que trata la mano como si fuera la pinza del robot.
Muestra que se puede preentrenar a un robot con vídeos cotidianos de personas, sin anotaciones, en lugar de con costosas demostraciones robóticas.
Pesos abiertos y código con licencia MIT en Hugging Face y GitHub.
3.000 millones de parámetros; entrada de texto e imagen, salida de acciones del robot.
