研究方向

基于深度UNet的歌声合成方法 歌曲生成是在自动音乐创作中一个重要的研究方向，歌曲生成中歌声生成更是直接表达音乐内容的重要构成。在虚拟歌手演唱中通常会涉及自动作曲以及歌声合成等技术。歌声合成通常根据输入的歌词以及指定的人声以及旋律进行生成，但现有的歌声合成方法大多基于传统的音频拼接以及声学特征参数估计。随着深度模型在各个领域上不断发展，基于深度模型的歌声合成在合成效果上也有较大的提升。该研究拟提出基于深度UNet的歌声合成方法，从MIDI以及歌词中学习歌声的生成方式。UNet的主要结构成分包含卷积神经网络和相同大小层之间的跳跃连接，基于深度UNet可以对MIDI输入进行特征学习，并对输入的歌词进行向量化表示。利用卷积层对输入进行空间特征学习，映射到二维频谱的音频表示中。利用跳跃连接补充底层到高层的信息流动，提高不同层对特征学习的效率。最终实验准备在公开数据集kritan日语歌曲合成上进行。同时将提出的方法实现为web应用供展示以及一般歌声合成爱好者使用。

 

相关学科

计算机科学技术

 

科研导师

X. Z

• 复旦大学计算机博士，国内某高科技公司高级算法研究员；
• 研究领域为：文本语音合成（TTS），音乐人工智能，音乐信息检索，语音检测，歌手识别等；
• 发表多篇SCI和国际顶会论文，并申请多项国家级专利；
• 有多年中学生、本科生教学经验。

科研成果

成果一：在英文期刊中发表学术论文

有方学者项目能够为学员在正规的英文学术期刊中发表论文。正规的学术期刊均要求由独立审稿人决定论文的录用与否。因此，论文的成功发表标志着这篇文章已达到学界公认的学术标准。有方学者最优秀的学生，不但可以冲击EI、SCI等高级别期刊，而且有机会参与全球顶级的学术会议。

成果二：第一作者身份

有方学者项目坚持帮助学生以第一作者身份发表论文。在申请过程中，招生官最看重的是学生在科研项目中的参与程度，而第一作者顺位恰恰是这一点的最佳证明。近年来，有大量的中国学生在教授署名的论文中挂名，这使得第一作者身份的含金量更为突出。

成果三：独一无二的课题

有方学者项目的导师会为每个学生提供独一无二的课题，连接最前沿的科研方法和学生感兴趣的学术方向，每个学生的研究内容具有差异性。

成果四：顶尖院校导师的推荐信

有方学者项目将为学生提供项目导师撰写的推荐信。导师作为推荐人，来自于美国顶尖学府的科研团队，影响着推荐信的可信度；而导师所提供的丰富的细节和生动的描述能更好展现学生的过人之处，从而大大提高了推荐信的价值。

成果五：高效备战具有高影响力、高含金量的科研竞赛

学生可以直接使用有方学者项目的成果论文冲击多项全球顶级的科研赛事，其中包括：被誉为“中国青年的诺贝尔奖”的丘成桐科学奖、ISEF 国际科学与工程奖、全国青少年科技创新大赛等。

 

 

了解更多详情

请扫描二维码

关注「有方背景提升」