進(jìn)入 2023 年下半年，智能手機(jī)市場(chǎng)在影像上的軍備競(jìng)賽有增無減。更大面積的傳感器、光學(xué)防抖、全焦距的焦段覆蓋，正在成為高端智能手機(jī)的標(biāo)配，也有著逐漸普及的趨勢(shì)。

然而智能手機(jī)畢竟是一種大眾消費(fèi)品，重量和體積都會(huì)制約影像配置的無限增長。而在消費(fèi)者端，用戶往往對(duì)于影像原理不甚了解。因此就需要廠商不斷在軟件、算法層面，去解決實(shí)際的問題。

7 月底，vivo 首次向外界展示了其位于重慶工廠的 3D 影像實(shí)驗(yàn)室，并宣布相關(guān)技術(shù)將會(huì)率先應(yīng)用在下一代 X 系列旗艦手機(jī)上。

vivo 3D 影像實(shí)驗(yàn)室，主要是由 100 余臺(tái)單反相機(jī)，配合閃光燈、處理器、控制器和服務(wù)器所組成。通過采集大量的人體軀干、面部信息，最終實(shí)現(xiàn)對(duì)于智能手機(jī)人像拍攝的提高。

采集人體信息時(shí)，vivo 3D 影像實(shí)驗(yàn)室會(huì)同時(shí)調(diào)動(dòng) 100 多臺(tái)單反相機(jī)，從不同的角度進(jìn)行拍攝，生成 100 余張 2D 圖片，隨后通過局域網(wǎng)上傳至存儲(chǔ)服務(wù)器，再通過 2D 圖片進(jìn)行 3D 匹配，生成 3D 模型。

基于生成的 3D 模型，vivo 可以實(shí)現(xiàn)對(duì)于算法的訓(xùn)練，提升人像模式下，模擬背景虛化的精確性。據(jù) vivo 工作人員介紹，預(yù)計(jì)每年將會(huì)有上萬組 3D 人像模型。

傳統(tǒng)的智能手機(jī)人像虛化算法，往往是在 2D 層面，判斷人的輪廓來實(shí)現(xiàn)虛化，不具備 3D 層面的深度信息，因此主體與背景之間往往會(huì)過渡的比較生硬，" 摳 " 出來的背景也會(huì)缺少層次。

通過大量的 3D 模型進(jìn)行預(yù)訓(xùn)練，vivo 的算法可以變得更加智能，智能手機(jī)可以更好的判斷人的縱深信息，使得虛化更具有漸進(jìn)感也更加細(xì)膩。

此外 3D 模型加入之后，智能手機(jī)的人像虛化算法應(yīng)用范圍可以進(jìn)一步擴(kuò)大。目前人像虛化算法由于缺乏深度方向的信息，只能拍攝全身像或是半身像，未來則可以近距離貼臉拍攝眼睛的特寫虛化畫面。

在 3D 模型之外，vivo 有一套 " 重打光 " 的設(shè)備。由 96 個(gè)可編程的同步光源搭配 vivo 的工業(yè)相機(jī)。與拍照工作站以及服務(wù)器共同組成，可以模擬不同光照條件下的成像圖片，為自研人像算法做數(shù)據(jù)支撐，促進(jìn) 3D 重建和 3D 算法方面的開發(fā)和預(yù)研，提升手機(jī)上的算法效果。

例如在加入重打光技術(shù)后，vivo 手機(jī)可以對(duì)前期拍攝到的 " 逆光黑臉 " 進(jìn)行高精度補(bǔ)光，甚至是調(diào)整光線的冷暖色溫。生成式人像編輯則能通過紋理重建與光照估計(jì)算法等技術(shù)，讓用戶基于自身喜好對(duì)光照、年齡、發(fā)型、表情等內(nèi)容進(jìn)行重新編輯。

基于人像 3D 重建感知能力，vivo 還可以疊加 AIGC 算法，通過 vivo 手機(jī)即可拍攝出虛擬與實(shí)景結(jié)合更為自然的照片，實(shí)現(xiàn) " 足不出戶拍出四季人像大片 " 的人性化體驗(yàn)。

在此之外，3D 影像的相關(guān)技術(shù)可以應(yīng)用在如今火爆的 3D 虛擬人應(yīng)用上。包括抖音上比較火的 3D 數(shù)字人直播、3D 表情驅(qū)動(dòng)、3D 的虛擬場(chǎng)景編輯以及相應(yīng)的一個(gè)動(dòng)畫制作。

此外還有基于 3D 影像衍生的 3D 換裝應(yīng)用，可以根據(jù)采集者的人體模型，在虛擬場(chǎng)景內(nèi)實(shí)現(xiàn)足球游戲，目前在 vivo 手機(jī)和平板電腦上已經(jīng)可以進(jìn)行演示。

vivo 3D 影像實(shí)驗(yàn)室于 2022 年下半年組建，全球共有 7 個(gè)實(shí)驗(yàn)室。預(yù)期 2023 年下半年到 2024 年將會(huì)采集幾萬組數(shù)據(jù)。這些高質(zhì)量的數(shù)據(jù)未來將會(huì)與 vivo 全球的用戶一起組建兼顧質(zhì)量和數(shù)量的龐大數(shù)據(jù)庫。據(jù) vivo 工作人員介紹，相關(guān)技術(shù)落地，將會(huì)在 vivo X 系列的下一代產(chǎn)品上率先應(yīng)用。

鈦媒體 App 了解到，類似 vivo 這種通過大量采集數(shù)據(jù)，建立數(shù)據(jù)庫以優(yōu)化算法的實(shí)驗(yàn)室，在傳統(tǒng)相機(jī)領(lǐng)域早已有之，但 vivo 應(yīng)該是通過 3D 模型實(shí)現(xiàn)多重優(yōu)化以及 AIGC 相關(guān)應(yīng)用的第一家智能手機(jī)廠商。

某種意義上，自建影像實(shí)驗(yàn)室標(biāo)志著 vivo 在影像領(lǐng)域的研究進(jìn)入了深水區(qū)，而能夠借助 AI 的東風(fēng)，擴(kuò)展智能手機(jī)影像的邊界，則是 vivo 探索出來的一條創(chuàng)新之路，也許會(huì)開拓出智能手機(jī)影像的全新方向。

本文僅代表作者觀點(diǎn)，版權(quán)歸原創(chuàng)者所有，如需轉(zhuǎn)載請(qǐng)?jiān)谖闹凶⒚鱽碓醇白髡呙帧?/p>

免責(zé)聲明：本文系轉(zhuǎn)載編輯文章，僅作分享之用。如分享內(nèi)容、圖片侵犯到您的版權(quán)或非授權(quán)發(fā)布，請(qǐng)及時(shí)與我們聯(lián)系進(jìn)行審核處理或刪除，您可以發(fā)送材料至郵箱：service@tojoy.com