Entrenaron un sistema de IA multimodal a través de los ojos y oídos del pequeño, usando más de 60 horas de grabación en primera persona. Foto: Wai Keen Vong
Los sistemas de inteligencia artificial (IA) aprenden a hablar a partir de enormes cantidades de palabras, pero un nuevo estudio ha demostrado que también pueden hacerlo usando las grabaciones de lo que ve y oye un bebé durante el primer año y medio en que adquiere el lenguaje.
Un estudio encabezado por la Universidad de Nueva York y que publica Science demostró que las herramientas de la IA pueden aprender un número considerable de palabras y conceptos a partir de fragmentos limitados de la experiencia del niño.
Los sistemas de IA, como ChatGPT-4, aprenden y utilizan el lenguaje humano a partir billones de datos lingüísticos, mientras que los niños solo reciben millones de palabras al año cuando aprenden a hablar.
El equipo decidió comprobar si un modelo de IA podía aprender palabras y conceptos presentes en la experiencia cotidiana de un niño solo con la información que recibía este desde los seis meses a los dos años.
Para ello, entrenaron un sistema de IA multimodal a través de los ojos y oídos del pequeño, usando más de 60 horas de grabación en primera persona, mediante una cámara ligera montada en la cabeza.
La conclusión fue que el modelo o red neuronal “podía aprender un número considerable de palabras y conceptos a partir de fragmentos limitados de la experiencia del niño”, señaló la Universidad de Nueva York.
La cámara que llevaba el niño solo captaba alrededor del 1 % de sus horas de vigilia, pero era suficiente para un auténtico aprendizaje del lenguaje.
“Demostramos, por primera vez, que una red neuronal entrenada con esta información realista sobre el desarrollo de un solo niño puede aprender a relacionar las palabras con sus equivalentes visuales”, destacó el primer autor de las investigación, Wai Keen Vong.
Estos resultados, según el investigador, demuestran cómo los recientes avances algorítmicos emparejados con la experiencia naturalista de un solo niño “tienen el potencial de remodelar nuestra comprensión de la adquisición temprana del lenguaje y los conceptos.”
Las grabaciones contenían aproximadamente un cuarto de millón de instancias de palabras, es decir, el número de palabras comunicadas, muchas de ellas repetidas, que están vinculadas con fotogramas de vídeo de lo que el niño veía cuando se pronunciaban.
Los investigadores entrenaron una red neuronal multimodal con dos módulos separados: uno que toma fotogramas de vídeo individuales (el codificador de visión) y otro que toma el habla transcrita dirigida por el niño (el codificador de lenguaje). Ambos codificadores se combinaron y entrenaron mediante un algoritmo llamado contrastivo, cuyo objetivo es aprender características de entrada útiles y sus asociaciones intermodales.
Por ejemplo, cuando uno de los padres dice algo a la vista del niño, es probable que algunas de las palabras utilizadas se refieran a una cosa que el pequeño pueda ver, lo que significa que la comprensión se inculca vinculando las señales visuales y lingüísticas, explicó la Universidad de Nueva York en un comunicado.
Esto proporciona al modelo una pista sobre qué palabras deben asociarse con qué objetos y la combinación de estas pistas es lo que permite al aprendizaje contrastivo determinar gradualmente qué palabras pertenecen a qué elementos visuales y captar el aprendizaje de las primeras palabras de un niño.
Los resultados mostraron que el modelo era capaz de aprender un número considerable de palabras y conceptos presentes en la experiencia cotidiana del niño.
Además, podía generalizar algunas de las palabras aprendidas a instancias visuales muy distintas de las observadas en el entrenamiento, lo que refleja un aspecto que también se observa en los niños cuando se les somete a pruebas en el laboratorio.
EFE
