这个项目旨在实现视频自动转换语种，配音，同时更改嘴型
我们首先通过Whisper模型生成标注有时间戳的字幕，用翻译工具把字幕翻译成对应的语言，通过VideoReTalking生成对应语种的嘴型再合成回原视频，通过tortoise-tts训练语音合成模型，生成对应语种的声音，最后将合成的声音和视频合并。
原始视频：
生成视频：
-
Notifications
You must be signed in to change notification settings - Fork 0
princepride/video-trans
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
video-trans
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published