元宇宙時代已經來臨，當你看到網絡新聞上形形色色的虛擬人的時候，是不是有些心動？你是否認為創造虛擬人需要很大的學習成本和技術投入，普通開發者單槍匹馬根本無法辦得到？現在這些都不再是問題，飛槳預訓練模型應用工具PaddleHub助你快速實現！這個虛擬數字人給大家的新年祝福大家應該看過了，今天給大家做一個技術詳細揭秘。背後支持虛擬數字人的「神秘力量」，其實是飛槳強大的開源生態和AI能力。飛槳語音模型庫PaddleSpeech將文字轉換成語音，讓虛擬數字人有了自己的聲音。飛槳生成對抗網絡開發套件PaddleGAN的人臉生成能力賦予了虛擬數字人一張可愛的臉蛋，表情遷移、唇形合成（同步）等模型驅動虛擬數字人的臉部活動，讓虛擬人更加栩栩如生。目前PaddleHub已經把以上模型納入了模型庫當中，現在只需要通過簡單的十幾行代碼調用模型，輸入圖片和文字，即可生成一個生動形象的虛擬數字人。
生成虛擬數字人總共需要調用三個模型，分別是First Order Motion（表情遷移）、Text to Speech（文本轉語音）和Wav2Lip（唇形合成）。1.把圖像放入First Order Motion模型實現面部表情遷移，讓虛擬主播的表情更加逼近真人。依賴安裝
圖像準備
首先需要準備一張帶背景和人臉的二維靜態圖像，如圖所示。
表情遷移
通過FOM模型，輸入圖像和驅動視頻，讓人像動起來。
2.輸入你想讓數字人說的話，通過Text to Speech模型，將輸入的文字轉換成音頻輸出。
3.得到面部表情遷移的視頻和音頻之後，將音頻文件和動態視頻輸入到Wav2Lip模型，並根據音頻內容調整唇形，讓唇形根據說話的內容動態改變，使得虛擬人更加接近真人效果。
經過上面的三個步驟，一個虛擬數字人的視頻就生成了。
PaddleBoBo是飛槳社區開發者基於飛槳框架和PaddleSpeech、PaddleGAN等開發套件的虛擬主播快速生成項目。除了可以實現以上功能之外，同時還支持調整語速、音高等，更可以經過簡單的二次開發，實現實時新聞生成、直播播報等，歡迎大家體驗和一鍵三連！
https://github.com/JiehangXie/PaddleBoBo虛擬數字人的實現離不開飛槳開源生態的努力，希望大家給下面優秀的開源項目點star⭐⭐ PaddleGAN：https://github.com/PaddlePaddle/PaddleGAN⭐ PaddleSpeech：https://github.com/PaddlePaddle/PaddleSpeech⭐ PaddleHub：https://github.com/PaddlePaddle/PaddleHub
覺得不錯，請點個在看呀
留言列表
留言列表