El profesor Insek Hwang del Departamento de Ciencias de la Computación e Ingeniería, junto con los estudiantes Jungun Lee, Suwon Yun y Kyosik Lee del Departamento de Ciencias de la Computación e Ingeniería de PostTech, en colaboración con el profesor Dongsun Im del Departamento de Trastornos de la Comunicación de la Universidad de Mujeres Eva. Un sistema innovador para la creación de libros de cuentos personalizados. Este sistema utiliza inteligencia artificial generativa y tecnología IoT doméstica para apoyar el aprendizaje de idiomas de los niños. Su investigación se presentó en la “ACM CHI (Conferencia ACM SIGCHI sobre factores humanos en sistemas informáticos)”, la conferencia líder sobre interacción persona-computadora, donde obtuvo una “Mención de honor”, reconociéndola como una de las mejores del 5%. . envío
El desarrollo del lenguaje de los niños es crucial porque afecta su crecimiento cognitivo y académico, sus interacciones con sus compañeros y su desarrollo social en general. Evaluar el progreso del lenguaje con regularidad y proporcionar una intervención lingüística oportuna es esencial1) Para apoyar la adquisición del lenguaje. El problema es que los niños crecen en ambientes diferentes, lo que resulta en variaciones en su exposición al vocabulario. Sin embargo, los enfoques tradicionales a menudo se basan en listas de vocabulario estandarizadas y libros de cuentos o juguetes prefabricados para la evaluación e intervención de las habilidades lingüísticas, y carecen de apoyo a la diversidad.
Al reconocer las deficiencias de los enfoques convencionales y universales que no abordan los diversos orígenes de los niños, el equipo crea un sistema de aprendizaje innovador adaptado al entorno único de cada niño. Comienzan utilizando dispositivos IoT domésticos para capturar y monitorear el lenguaje que los niños escuchan y hablan en su vida diaria. A través de la separación de altavoces2) y técnicas de análisis morfológico3), los investigadores examinaron el vocabulario que expresaban los niños, las palabras que decían y las palabras que escuchaban pero no vocalizaban. Luego evaluaron cada palabra calculando una puntuación para cada palabra basándose en factores clave relevantes para la patología del habla.
Para crear materiales educativos personalizados, el equipo utilizó tecnologías avanzadas de IA generativa, incluidas GPT-4 y Stable Diffusion. Esto les permite crear libros infantiles personalizados que integran perfectamente el vocabulario objetivo de cada niño. Combinando la teoría de la patología del habla con habilidades prácticas, los investigadores han desarrollado un sistema de aprendizaje de idiomas eficaz y personalizado.
Los investigadores diseñaron el sistema permitiendo la ponderación individual de los componentes y criterios de selección de vocabulario flexibles para adaptarse a las diferencias en el desarrollo del lenguaje de los niños. El sistema puede automatizar tanto la extracción de vocabulario objetivo como la creación de libros de cuentos personalizados para cada niño, asegurando que tanto el vocabulario como los libros de cuentos puedan actualizarse continuamente en respuesta a los cambios en el entorno y el desarrollo del lenguaje del niño. Después de probar el sistema en 9 familias durante un período de cuatro semanas, los resultados mostraron que los niños aprendieron efectivamente el vocabulario objetivo, lo que demuestra la aplicabilidad del sistema en entornos cotidianos fuera de la sala de terapia.
Jungeun Lee, autor principal del artículo de POSTECH, expresó su deseo al comentar: “Hemos abordado eficazmente las limitaciones de los enfoques tradicionales y universales para la evaluación e intervención del lenguaje infantil utilizando IA generativa”. Y añadió: “Nuestro objetivo es utilizar la IA para crear guías personalizadas para los diferentes niveles y necesidades de las personas”.
“A través de una investigación interdisciplinaria, hemos desarrollado con éxito un sistema personalizado de estimulación y desarrollo del lenguaje que integra la tecnología de IA generativa con la teoría de la patología del habla”, comentó el profesor Insek Hwang de POSTECH, autor correspondiente. Y continuó: “Esperamos que nuestros hallazgos alienten a los educadores a respetar e incluir los diversos entornos y objetivos de aprendizaje de los niños”.
El profesor Dongshan Yim, coautor del estudio, de la Universidad de Mujeres de Awa, expresó su esperanza y dijo: “Nuestro trabajo demuestra el potencial de los servicios de apoyo lingüístico personalizados y no tradicionales”. “El sistema demuestra la capacidad de extraer vocabulario objetivo y proporcionar estimulación lingüística a los niños expuestos a diferentes entornos e idiomas”, añadió.
La investigación fue apoyada por el Programa de Investigadores de Mitad de Carrera de la Fundación Nacional de Investigación de Corea, SSK, el ITRC del IITP y el Programa de Vales de Innovación en I+D de TIC.