Os smartphones são uma ferramenta essencial no dia a dia, mas podem ainda ir mais longe. A Google percebeu esta potencialidade e tem trabalhado nesse sentido. A mais recente proposta veio com os novos Pixel 11 e permite que estes smartphones possam ler e interpretar linguagem gestual.
O Android já entende linguagem gestual
É possível estar em frente à câmara do Pixel 11, comunicar através da linguagem gestual e ver os seus movimentos transformados em texto. Este recurso destina-se principalmente a pessoas surdas ou com deficiência auditiva. Isto permite-lhe escrever mensagens, pesquisar na internet ou até mesmo conversar com Gemini sem tocar no teclado. A ferramenta integra-se diretamente com o Gboard e a Transcrição Instantânea.
No entanto, por enquanto, apenas traduz a Língua Americana de Sinais (ASL) para inglês. Por detrás desta funcionalidade está o SL2T , um novo modelo desenvolvido pela Google DeepMind. O seu funcionamento é mais complexo do que o de uma ferramenta de conversão de voz em texto. As línguas gestuais não substituem cada palavra por um movimento. Possuem gramática, estrutura e vocabulário próprios.
Pixel 11 faz tradução em tempo real
Além disso, compreender uma frase exige mais do que simplesmente seguir gestos com as mãos. O significado depende também dos braços, do rosto, da cabeça, do tronco e do espaço em que cada gesto é realizado. Assim sendo, o sistema precisa de analisar diversos movimentos em simultâneo e, em seguida, traduzi-los para uma linguagem escrita. O primeiro passo ocorre dentro do próprio dispositivo móvel.
Um modelo chamado MediaPipe Holistic localiza diferentes pontos do corpo e converte os movimentos numa série de coordenadas. O vídeo original é imediatamente apagado, sendo que apenas estes dados geométricos são enviados para os servidores para completar a tradução.
O SL2T transforma então as coordenadas em texto. Para a treinar, a DeepMind utilizou mais de 100.000 horas de gravações de mais de 50 línguas gestuais.
Em breve mais idiomas e mais smartphones
Aproximadamente um quarto do material é de Língua Gestual Americana (ASL). O treino conjunto de todas estas línguas permite que a IA encontre estruturas partilhadas, mesmo que apenas uma esteja disponível inicialmente. A Google preparou também o sistema para reconhecer as pessoas canhotas e as que assinam com uma mão enquanto seguram o telefone com a outra.
Além disso, procurou reduzir a latência e impedir que a IA faça uma tradução quando o utilizador simplesmente move o telefone ou coloca as mãos em frente à câmara. No entanto, o SL2T pode ainda cometer erros com sinais invulgares, ortografia demasiado rápida ou frases que exigem mais contexto. A Google afirma que estará disponível em mais idiomas e em mais dispositivos, sem ter indicado quais ou quando estarão disponíveis.