[프로젝트 소개] 다양한 AI 성우가 읽어주는 영어 동화 어플리케이션

 

 

주제 선정 이유

 

코로나 19로 인해 홈스쿨링 교육에 관심이 높아짐에 따라 어린이가 집에서 영어를 배울 수 있는 어플리케이션을 중심으로 주제를 구체화하기 시작했다.

아이의 집중도와 흥미를 이끌기에 영어동화가 효과적이라고 생각하였고 영어 동화를 제공하는 서비스로 정했다.

어떻게 서비스를 제공할까에 대한 고민이 많았는데 여러 가지 후보 중 결국 STT, TTS, NLP를 이용하기로 하였다.

 

 

간략 주제 소개

 

AI 성우가 읽어주는 영어 동화를 통해 영어를 듣고 말하기 학습을 통해 Listening뿐만 아니라 Speaking 교육까지 가능한 어린이용 영어 교육 어플리케이션이다.

 

 

타 서비스와 차이점

 

타 서비스 분석

AI 성우를 통해 동화책 읽기 서비스를 제공하고 있는 타 서비스를 분석해 보았다.

 

1. 소리동화

- 특징 : 아이가 책을 읽으면 문장을 인식해 알맞은 배경음, 효과음이 재생됨

- 장점 : 아이가 혼자 동화를 읽을 때 생동감을 느낄 수 있음

- 단점 : 소리동화 기능이 있는 동화에 한정되며, 동화 내용 상에서의 상호작용은 없음

 

2. 핑크퐁 이야기 극장

- 특징 : 아이의 선택에 따라 동화가 전개되어 여러 종류의 엔딩으로 이어짐

- 장점 : 동화의 전개 방향이 다양함

- 단점 : 성우의 녹음이 필요하며, 아이는 분기점에서 선택만 할 뿐 동화를 직접 읽지는 않음

 

3. 내 목소리 동화

- 특징 : 개인화 음성합성 기술에 기반해 부모의 목소리로 동화를 읽어줌

- 장점 : 성우의 녹음이 필요하지 않음

- 단점 : 화자 구분이나 감정 표현은 되지 않으며, 아이와의 상호작용이 없음

 

차별점

1. 다양한 AI 성우를 이용한다

동화책의 내용을 자연어 처리를 이용하여 화자의 나이대와 성별을 구분 과정을 통해 발화문마다의 AI 성우 목소리를 달리한다.

 

2. 어린이 참여형 동화이다

동화 듣기 시작 전, 가장 많은 대사를 가진 3명의 화자가 선택지로 등장하고 어린이는 선택을 통해 해당 화자의 대사를 직접 읽어야 한다. 아이가 올바르게 읽었을 경우 다음 장면으로 넘어가고 동화가 진행된다.

 

 

서비스 흐름도

 

한계점 파악 및 극복 방향

 

1. AI 성우를 이용에서 오는 어색함

아무래도 인공적으로 만든 목소리이다 보니 기계적이고 어색한 목소리가 단점이 될 수 있다.

이건.. 해결할 수 없는 영역이라 생각한다..

 

2. 다양한 종류의 TTS API 확보

동화책 속의 화자들의 나이대와 성별에 맞는 목소리를 출력하기 위해 다양한 연령대의 목소리가 필요한데

다양한 목소리를 지원하는 API 확보가 어려웠다. 

이를 해결하기 위해

- 여러 API를 함께 사용

- 목소리의 pitch 조절

을 통해 해결해야 할 것 같다.

 

3. 나이대와 성별을 구분할 수 없는 동물이 화자인 경우

사자, 참새, 여우같이 사람들이 통상적으로 생각하는 목소리가 있다.

이를 정리하여 데이터셋으로 넣어 문제를 해결해야 할 것 같다.

 

4. 어린이의 발화 정확도 측정의 어려움

STT로 추출된 데이터와 실제 동화책 데이터를 비교하여 정확도를 분석하고 일정 정확도가 넘었을 시 동화가 진행되게 한다. 관련 내용을 멘토님에게 여쭤 봤을 때 에러율을 계산할 수 있다고 말씀해 주셔서 구현 가능할 것 같다.