媒體報道 | 消費級超寫實虛擬人，AI 時代的肉身
2023-07-14
消費級虛擬人的“最后一公里”。
引言
畫面中心，一個身穿國風服飾的女子從半空墜到幻境般的地面，一個男聲響起，“千年前，世人將你命名為天妤……”
這是去年4月發(fā)布的抖音和Tiktok短劇《千壁尋蹤》的開場畫面，評論區(qū)的高贊評論是，“我愛這種眼妝！太美了！”
圖片天妤劇照
但天妤并不是一位美妝博主，而是中國首個出海的國風超寫實虛擬數(shù)字人。以短劇女主角身份出道之后，天妤于今年年初成為壹心娛樂旗下“藝人”。她背后真正的創(chuàng)造者，則是近年專注于虛擬數(shù)字人賽道的上市公司天娛數(shù)科。
現(xiàn)在天娛數(shù)科想做的，是讓天妤這樣的超寫實虛擬人制作變得更便捷、成本更低，且能應用到更廣泛的日常生活場景中。畢竟，不是每個人都能擁有3D掃描儀、基于計算機視覺或慣性動作捕捉的專業(yè)級設備。
2023 年 7 月 4 日，天娛數(shù)科宣布與銀牛微電子成立合資公司。銀牛微電子以3D機器視覺和AI的底層硬件平臺實力見長，天娛則在 AI 和軟件應用層面有更豐富的積累，在軟硬件融合的背景下，雙方將共同研發(fā)面向元宇宙及空間計算應用場景的便攜式 3D 視覺感知產(chǎn)品，以實現(xiàn)虛擬數(shù)字人低成本、短周期、批量化的生產(chǎn)制作，打造低延遲、高精度、沉浸式互動體驗，降低進入元宇宙的門檻。
這也意味著，虛擬人從專業(yè)級完成消費級的轉(zhuǎn)變，未來人人有一個自己的虛擬人數(shù)位分身，正加速成為現(xiàn)實。
當“捏”一個虛擬人，就像拍照一樣簡單
以傳統(tǒng)的底層架構技術，打造一個超寫實的虛擬人耗時長，過程也相對復雜，通常需要經(jīng)歷建模、驅(qū)動和渲染三個主要階段。
天娛數(shù)科與銀牛微電子此次達成的戰(zhàn)略合作，初步規(guī)劃了三款產(chǎn)品，分別是 3D 深度相機、3D 攝像機和數(shù)字人 3D 數(shù)據(jù)采集系統(tǒng)。這三款產(chǎn)品，正好對應了虛擬人制作的三個關鍵環(huán)節(jié)。
天娛數(shù)科旗下子公司元境科技創(chuàng)始人&CEO王智武早在 2016 年就入局了虛擬數(shù)字人賽道，他在 36 氪的直播訪談中表示，如果使用人工建模，考慮到中途反復修改等不確定因素，一般要花費一兩個月甚至半年時間，成本也從幾十到上百萬不等。天娛和銀牛共同開發(fā)的這款 3D 深度相機，主要應用于虛擬人掃描與自動化建模，能優(yōu)化虛擬數(shù)字人的制作流程，降低生產(chǎn)周期，加速數(shù)字人低成本批量生產(chǎn)，為虛擬數(shù)字人的普及鋪平道路。
在半導體行業(yè)有著20年研發(fā)與管理經(jīng)驗的銀牛微電子 CEO 錢哲弘談到，比起傳統(tǒng)相機掃描采集的 2D 數(shù)據(jù)，銀牛微電子自研的 3D 雙目立體視覺及多傳感器融合視覺處理的人工智能芯片，可以讓這款相機直接采集 3D 數(shù)據(jù)，節(jié)省了將 2D 轉(zhuǎn)為 3D 的算力資源和時間成本。
除了利好從業(yè)者，這款3D深度相機也將極大降低外行人的使用成本——無需學習操作界面復雜的三維軟件，像拍照一樣使用3D深度相機，“人人都可以成為建模師?！?/span>
回顧相機本身的發(fā)展歷程，從黑白到彩色，從膠卷時代到數(shù)碼時代，從低分辨率到高分辨率，再從 2D 到 3D，如今機器視覺能夠呈現(xiàn)的，早已不再是一張照片。AI 時代，3D 深度相機有望成為新的視覺前景。根據(jù) 36 氪此前的報道，工業(yè) 3D 視覺領域已有千億規(guī)模的市場。在智能升級的趨勢下，便攜、可手持的 3D 深度相機會出現(xiàn)更多非工業(yè)、生活化的場景應用，譬如將 3D 深度相機集成到手機或消費電子產(chǎn)品，幫助人們獲得更好的健身、游戲和娛樂體驗。
更不用提未來的元宇宙，本就是一個天然的 3D 視覺互聯(lián)網(wǎng)。
跑向消費級虛擬人的“最后一公里”
3D深度相機，只是天娛數(shù)科與銀牛微電子在虛擬人產(chǎn)業(yè)鏈發(fā)力的第一步。
在元境科技辦公區(qū)擺放的一排電腦顯示屏中，七八個主播正在直播間講解帶貨。如果不近前仔細辨別，甚至看不出他們是虛擬人。
和天妤這樣擁有“人設”的身份型虛擬人相比，直播間主播屬于服務型的虛擬人。最近幾年，時不時在手機上刷到個虛擬人不再令人驚奇。尤其是最近半年在生成式人工智能技術加持下，在直播、影視、時尚、傳媒、金融和文旅等領域，服務型虛擬人的身影開始大量涌現(xiàn)，并有了比較成熟的商業(yè)化案例?！拔覀儜糜陔娚讨辈鼍暗?AI 數(shù)字主播目前成本可控制在幾百元，真正幫助商家實現(xiàn)降本增效?！?王智武說。
從1982年第一個虛擬偶像林明美誕生至今，虛擬人產(chǎn)業(yè)在 40 年間取得了巨大進步，越來越多人都逐漸明確了虛擬人的巨大潛力，但它距離人人可用的“消費級”似乎總差著最后一公里。
要想讓虛擬人在 C 端大規(guī)模應用，除了低成本、短周期、能批量化生產(chǎn)，還要足夠好用和易用。天娛和銀牛共同開發(fā)的 3D 攝像機，在“建?！薄ⅰ膀?qū)動”和應用的便捷性上，進一步提高了人們的想象空間。
“目前市面上已經(jīng)出現(xiàn)了一些 3D 設備，但難以普遍應用，原因就在于還原度、分辨率和精度都不夠理想?！?銀牛微電子 CEO 錢哲弘表示，銀牛的技術可以保障3D圖像的高實時性、高分辨率和高精度。這次和天娛合作的3D 攝像機可以理解為是一款雙目攝像機，通過銀牛的自研芯片，做到延時小于1毫秒，分辨率高達1080p，并且精度達到亞毫米級。不同于傳統(tǒng)的2D轉(zhuǎn)3D的方式，這樣的技術可以使用戶在使用時能夠像人的雙眼一樣實時獲取完整的3D數(shù)據(jù)信息，時間成本呈幾何級數(shù)的下降，極大提升用戶體驗。
銀牛3D點云直出與3D模型示意
錢哲弘還分享了動漫行業(yè)的案例，“紅外相機的一個頭盔陣列基本在 10 萬元左右，一個動漫工作室可能只能買一套，一二十個動漫師輪著用?！?借助銀牛的核心技術，可以做到僅用一顆功耗不超過1瓦的芯片，把3D 攝像機做成一個消費端的手持式產(chǎn)品，并且能夠把成本降到數(shù)千元級別，對 C 端用戶更加靈活友好，真正實現(xiàn)微型化、大眾化、低成本化數(shù)字人3D建模與表情實時驅(qū)動設備的普及。
跟動漫或游戲相比，超寫實虛擬人在表情、動作和外形等細節(jié)所需的算力更多，而銀牛微電子已量產(chǎn)的自研核心芯片擁有3D視覺感知處理引擎，據(jù)其介紹，是目前全球唯一一款單芯片集成 3D 深度感知、AI（人工智能）、SLAM（實時定位與建模）的系統(tǒng)級芯片。得益于此，這款 3D深度傳感器在人臉識別、姿態(tài)、動作和手勢識別方面，有很強的準確度和細節(jié)捕捉能力。更重要的是，芯片和 3D 攝像機都能夠?qū)崿F(xiàn)批量化生產(chǎn)。
產(chǎn)品落地之后，不僅有助于提升相關產(chǎn)業(yè)的“人效比”，也將優(yōu)化原有行業(yè)的一些應用場景——譬如中國數(shù)千萬的游戲發(fā)燒友，可以通過 3D 攝像機將自己游戲時的表情、語音傳導到游戲角色中，獲得更沉浸的游戲體驗。需要揣摩其他玩家神情、姿態(tài)的線上德?lián)?，便是一個典型案例。如果不愛玩德?lián)洌瑳]關系，在狼人殺或者劇本殺里你可能也用得著。
圖片從形似到神似，“AI+ 3D視覺+虛擬人”讓元宇宙更早到來
和生成式大模型需要大量高質(zhì)量的語料“喂養(yǎng)”類似，虛擬人完成從“形似”到“神似”的過渡，也需要大量的 3D 數(shù)據(jù)積累和訓練，以實現(xiàn)數(shù)字人表情、動作的智能生成，3D 數(shù)據(jù)采集系統(tǒng)的作用便在于此。
在規(guī)范的前提之下，用戶的動作、表情等數(shù)據(jù)集，將形成天娛數(shù)科獨有的3D數(shù)據(jù)庫。并通過后續(xù)深度學習、訓練，不斷豐富虛擬人的表情和動作，避免出現(xiàn)市場上普遍存在的數(shù)字人形象呆板單一、同質(zhì)化，個性不鮮明等問題。
元境科技創(chuàng)始人&CEO王智武表示，從互動性看，目前虛擬人可分為三個階段：1.0 是靜態(tài)階段，生活在圖片或者視頻里；2.0，初步達到可交互形態(tài)；到 3.0 階段，進入更全面的 AI 時代。和 2.0 時代相比，最近半年火熱的 AIGC 技術，加上天娛高質(zhì)量3D數(shù)據(jù)庫，能夠助推虛擬人在智能、互動性的道路上更進一步，更早地進入 3.0 時代。
如果說3D 相機和3D 攝影機這兩款產(chǎn)品，達成的是虛擬人與人之間的“形似”，那么天娛和銀牛研發(fā)的 3D 數(shù)據(jù)采集系統(tǒng)，完成的則是“神似”工程?！拔磥?，兩款硬件設備都會內(nèi)嵌到元境科技現(xiàn)有的 MetaSurfing -元享智能云平臺。
MetaSurfing -元享智能云平臺虛擬人服務
當技術的最后一點差距彌合之后，虛擬人從制作到應用的每一個環(huán)節(jié)都將更加便利和敏捷。元享這樣的元宇宙平臺，除了推動虛擬人走進千行百業(yè)，還能讓每個人都能打造自己的虛擬人分身。把行為數(shù)據(jù)投喂給虛擬人，讓 ta 不斷理解你的需求，甚至幫你處理一些生活上的基本事物，比如家用電器的開關、訂機票，陪自己或親朋聊天。而在天娛數(shù)科與銀牛微電子的強強聯(lián)合之下，錢哲弘表示，未來雙方在元宇宙社區(qū)的合作和開發(fā)亦有廣闊的發(fā)展空間。
正如元境科技虛擬人Veena 日前在 36 氪直播間所說，“未來的我可以作為虛擬化身出現(xiàn)在大家的 MR 眼鏡里，成為大家生活和工作的一部分。在書房里幫你找書，或者是在廚房的某個角落，提醒你今天要吃得健康。幫助每一個更好地實現(xiàn)自己的目標和愿望?！?/span>
到那時，現(xiàn)實與元宇宙，顯然已經(jīng)不再那么涇渭分明。
小結
元宇宙最終要實現(xiàn)的，就是不同的個體在虛擬世界的交互。
隨著便攜式的 3D 視覺設備普及，元宇宙平臺級產(chǎn)品生態(tài)逐漸完善，擁有一個屬于自己的虛擬人數(shù)位分身，就會像擁有一個電腦或智能手機一樣稀松平常。
而當你成為了自己的“中之人”，第二分身除了真的能替你做些工作之外，或許也會讓你發(fā)現(xiàn)另一個自己。