Texto redactado en euskara y traducido automáticamente por Elia y sin posterior revisión. VER ORIGINAL

Duplicación automática, nueva opción de Aditu.eus

Desde hace más de 20 años trabajamos en Elhuyar en tecnologías de la lengua y el habla para el euskera, y recientemente hemos socializado una de las muestras más significativas de este trabajo. De hecho, aunque en los últimos años hemos ido ofreciendo, entre otras cosas, servicios basados en tecnologías avanzadas propias de transcripción automática, traducción automática y síntesis de voz, en esta ocasión hemos integrado en la plataforma Aditu.eus la posibilidad de duplicar audio o vídeo de forma totalmente automática, mediante una combinación de todas ellas.

Leturia Azkarate, Igor

Hace cinco años, justo en la víspera del confinamiento por la pandemia de la COVID-19, presentamos el servicio Aditu.eus, la primera plataforma vasca de transcripción automática y subtitulado de audios y vídeos, que funcionaba en euskera o castellano. Desde entonces, hemos ido incorporando funcionalidades de forma continuada en el servicio de Experto: poco después le añadimos algunas funciones de edición avanzadas; al cumplir un año, comenzamos a ofrecer la posibilidad de transcribir contenidos bilingües euskera-castellano y –utilizando nuestra plataforma de traducción automática Elia.eus– traducir subtítulos; más tarde, pudimos transcribirlos en otros cuatro idiomas (catalán, gallego, inglés y francés)... Por otro lado, a principios de 2023 lanzamos el servicio TTS neuronal, un servicio de síntesis de habla que ofrece varios idiomas y voces.

Pues bien, sumando esta tecnología de síntesis de habla y las tecnologías de transcripción y traducción automáticas que ya tenía, la hemos convertido en una plataforma de duplicación Aditu.eus. Subiendo un audio o vídeo, podemos pedirle que cree subtítulos primero, traducir subtítulos cada vez y finalmente generar audio de esos subtítulos traducidos. De esta manera, con solo tres clics, se obtiene audio o vídeo duplicado. Se trata de la primera plataforma de doblaje automático de Euskal Herria, y está disponible en seis idiomas: euskera, castellano, francés, catalán, gallego e inglés. Con Experto podemos duplicar un contenido audiovisual a cualquiera de ellos.

Hemos hecho todo esto, como hacemos en todas nuestras herramientas, con nuestra propia tecnología. De hecho, en el centro Orai NLP Teknologia creado por Elhuyar hemos desarrollado las tecnologías de transcripción, traducción y creación del habla en Aditu.eus, cuidando especialmente la calidad de los resultados que se obtienen con los contenidos en euskera. Hala, bikoizketa-lanak askoz errazago egin daitezke orain, euskaraz ongi dabilen teknologiarekin eta gure konfidentzialtasun-bermearekin.

Selección de voces, edición...

Al subtitular automáticamente un contenido en Aditu.eus, se identifican los conferenciantes presentes y, si queremos, podemos dar nombre a cada uno de ellos. A continuación, cuando vamos a crear el doblaje con los subtítulos traducidos, el sistema nos pregunta qué voz queremos utilizar para cada uno de estos oradores. Se nos da a elegir entre varias voces masculinas y femeninas, creadas por nosotros, las mismas que se ofrecen en el servicio de TTS neuronal.

Pero también nos permite imitar la voz original del orador. La tecnología para poder hacerlo —es decir, una pequeña muestra de habla (que puede estar también en otro idioma) y la tecnología que sintetiza el habla imitando la voz (aunque el modelo nunca vea esa voz en el entrenamiento) dando un texto— ha sido creada específicamente para este propósito.

«Tiene múltiples aplicaciones: entrevistas formales, documentales, voces en off, vídeos corporativos o de marketing, materiales didácticos para educación...»

Por otra parte, ya hemos mencionado que la duplicación de Aditu.eus puede generarse de forma totalmente automática con solo tres clics. Pero así como puede haber errores en la transcripción y traducción automática y la plataforma permite corregirlos manualmente, también pueden ocurrir los no deseados en esta última fase de la generación de audio del doblaje, que podemos editar. Por ejemplo, puede ocurrir que, por la razón que sea, la traducción de una frase sea bastante más larga que la original. Para poder adaptar los audios traducidos en el mismo intervalo de tiempo que el original (porque se dicen otras cosas antes y después), no hay más remedio que acelerar este habla y, a veces, no queda bien. Por eso, en la pantalla de edición del doblaje se puede ver a cuántos caracteres por segundo se lee cada frase y también si ha habido que acelerar la velocidad y cuánto. Si se pasa por los estándares recomendados, además queda indicado en color rojo. En estos casos, podemos resumir el texto y volver a crear el audio de esa frase. O podemos distribuir y desplazar una frase en el tiempo para adaptarla a los espacios de silencio que hay dentro de la frase y sincronizarla con el movimiento de los labios y luego volver a duplicarla.

Para muchas cosas, pero no para todo

El habla que se produce en el doblaje, como usted sabrá si alguna vez ha probado la plataforma de TTS neuronal, es de muy buena calidad. Cumple con las normas fonéticas, la entonación, etc., del euskera (o de la lengua correspondiente) y lo da muy natural (tanto que no proporciona un habla sintética, y si se oye a ciegas muchas veces no sabríamos si es natural o sintético). La imitación de la voz original también es de muy buena calidad. Pero se produce un habla con entonación neutra, sin expresividad. Por lo tanto, no queda bien en ciertos tipos de contenido: películas, contenidos ficticios, podcasts informales y, en general, cualquier contexto en el que el habla no es neutra, seria o formal.

A pesar de estas limitaciones, la posibilidad del doblaje en Aditu.eus también tiene múltiples aplicaciones en las existentes: entrevistas formales, documentales, voces en off, vídeos corporativos o de marketing, materiales didácticos para educación... Podemos doblar a muchos idiomas muy fácilmente y con muy buenos resultados. Así, podemos ampliar el alcance de nuestro contenido y ampliarlo al mercado global, por ejemplo, o bien utilizarlo en las escuelas para traducir al euskera material didáctico de interés, o doblar los vídeos generados en euskera a otros idiomas, como solución provisional para los alumnos inmigrantes recién llegados y que no dominan el euskera, y así muchos más.

Pero quiero terminar mencionando un caso real de uso que nos alegra especialmente. Seguramente conoceréis el programa de televisión Teknopolis, producido por Elhuyar, que incluye ediciones en euskera y castellano en ETB1 y ETB2. Pues bien, la mayoría de las grabaciones son bilingües, pero, evidentemente, en aquellos casos en los que los entrevistados no saben euskera, la entrevista se debe hacer exclusivamente en castellano. Luego, la transcripción, traducción y doblaje era tarea de los propios miembros del equipo de trabajo. ¡Pues ahora lo hacen aprovechando el doblaje automático de Aditu.eus! En estas partes se indica mediante un símbolo y un texto que se trata de una voz sintética. Enorme, ¿no?