Я делаю синтез речи. Самый действенный сейчас подход - это по-умному "склеивать" звуки из записанной речи человека. Работает хорошо, на маленьком наборе фраз или с большим количеством начитки - вообще замечательно. Но если мы хотим изменить говорящего, то всю начитку и её обработку нужно делать снова. Изменения голоса доступны только самые простые, и сильно ничего не поменяешь - будет неестественно звучать.
Так что есть древняя идея - а давайте синтезировать речь "как в жизни", сделаем модель речевого тракта, "погоним" по ней воздух, получим как раз речь. Как раз не так технически получится, как просто склеивать звуки, идейно правильно, и контроля над получаемым звуком будет гораздо больше. Глядишь ещё, что-то умное выйдет.
Как там живут у нас внутри всякие надгортанники, язычки и языки, получить, на самом деле, большая проблема. Много с одного человека не собрать. А очень важно быть в состоянии учитывать, как соседние звуки влияют друг на друга - там разнообразные эффекты есть, и в одну систему их никто не собирал, так только, делают только на нескольких сочетаниях, и всё. А мы хотим покрыть всё-всё-всё. В моём распроряжении с сотню МРТ-снимков, где человек изо всех сил показывает, как бы он произносил /л/ перед /а/, /л/ перед /о/, /л/ перед /у/ и так далее - разные фонемы в разных контекстах. Не все есть, и с этим надо поколдовать. Вдобавок, как начала генерировать те, что есть - оказалось, что в записях много проблем, часто совсем не похожие на правду звуки выходят, надо как-то корректировать и те данные, что есть.
В итоге должна получиться система, которой можно скармливать фразу по фонемам, а она будет её воспроизводить говорящим ртом - со всеми интимными подробностями, куда там язык идёт и как язычок колышется. Там убойная, просто убойная акустика, довольно много математики, вынужденно знакомишься с локальной анатомией и с фонетикой, ну и программируешь всё это.
Статьи по теме настолько ужасны, что я одну семнадцатистраничную читала, если ничего не путаю, две недели.
Мой мозг взорван давно и надолго.