Reconocimiento de la Lengua de Señas Mexicana Usando Deep Learning Mediante una Aplicación Móvil

Resumen

El reconocimiento de la Lengua de Señas Mexicana (LSM) mediante algoritmos de Machine Learning (ML) ha sido mayormente estudiado en computadoras personales, habiendo menos trabajos enfocados en plataformas móviles. Este estudio tuvo como objetivo evaluar el reconocimiento de señas fijas y con movimiento de LSM mediante una Aplicación móvil, para las señas fijas se entrenó una red neuronal (RN) del tipo Perceptrón Multi Capa (en inglés Multi Layer Perceptron, MLP) con 137,764 imágenes. Para reconocer señas con movimiento, se entrenaron tres RN: Memoria Larga a Corto Plazo (en inglés Long Short Term Memory, LSTM), Unidad Recurrente Cerrada (en inglés Gated Recurrent Unit, GRU) y Transformer, compuesto con una Red Neuronal Convolucional (en inglés Convolutional Neural Network, CNN) y una LSTM, con datos de 1600 videos de 16 señas. En el entrenamiento el modelo MLP logró un 96.2% de Accuracy, mientras que el modelo Transformer tuvo el mejor desempeño en señas con movimiento con 94.16% de Accuracy. En la Aplicación, el reconocimiento de señas fijas fue más preciso a 50 cm de distancia, con tiempo de inferencia de 0.60 milisegundos y un uso de memoria de 116 bytes por fotograma. Las señas con movimiento de ambas manos lograron una precisión superior al 93%, con tiempo de inferencia de 286 milisegundos y un uso máximo de 1 Mb de memoria. Estos hallazgos pueden aportar información potencial para el desarrollo de una herramienta de traducción de la LSM, que puede impactar significativamente en la vida de las personas con discapacidad auditiva