Google ha ampliado su Proyecto Gameface, un proyecto de código abierto destinado a hacer que los dispositivos tecnológicos sean más accesibles, a Android, y ahora se puede utilizar para controlar las interfaces de los teléfonos inteligentes. El proyecto se presentó por primera vez en Google I/O 2023 como un mouse para juegos manos libres que se puede controlar mediante movimientos de la cabeza y expresiones faciales. Está diseñado para quienes padecen discapacidades físicas y no pueden usar las manos ni la voz para controlar el dispositivo. Manteniendo la misma funcionalidad, la versión de Android agrega un cursor virtual para permitir a los usuarios controlar su dispositivo sin tocarlo.
En un anuncio realizado en un blog centrado en desarrolladores correo, dijo Google: “Estamos abriendo más código para Project Gameface para ayudar a los desarrolladores a crear aplicaciones de Android para hacer que todos los dispositivos Android sean más accesibles. A través de la cámara del dispositivo, rastrea perfectamente las expresiones faciales y los movimientos de la cabeza, traduciéndolos en controles intuitivos y personalizados”. Además, la empresa pidió a los desarrolladores que utilizaran la herramienta para agregar también funciones de accesibilidad a sus aplicaciones.
Project Gameface colabora con la organización india Incluzza que apoya a personas con discapacidad. Utilizando esta colaboración, el proyecto está estudiando cómo la tecnología se puede extender a diversos casos de uso, como escribir mensajes, buscar trabajo y más. Utiliza la API de detección de puntos de referencia faciales de MediaPipe y los servicios de accesibilidad de Android para crear un nuevo cursor virtual para dispositivos Android. El cursor se mueve siguiendo el movimiento de la cabeza del usuario después de ser rastreado mediante la cámara frontal.
La API reconoce 52 gestos faciales que incluyen levantar las cejas, abrir la boca, mover los labios y más. Estos 52 gestos se utilizan para controlar y asignar varias funciones en dispositivos Android. Una de las características interesantes es el arrastre. Los usuarios pueden usarlo para deslizarse por la pantalla de inicio. Para crear un efecto de arrastre, el usuario debe especificar un punto inicial y final. Esto podría implicar abrir la boca y mover la cabeza, y una vez alcanzado el punto final, cerrar la boca nuevamente.
En particular, si bien esta tecnología ya está disponible en GitHub, ahora corresponde a los desarrolladores crear aplicaciones utilizando esta opción para hacerla más accesible para los usuarios. Apple también introdujo recientemente una nueva función que utiliza el seguimiento ocular para controlar el iPhone.
