• 您的位置:首頁 > 科技 >

    AI賦能影像技術 讓修圖小白秒變大師

    2022-04-15 16:49:00 來源:科技日報

    美圖研究院致力于計算機視覺、機器學習、增強現實等人工智能(AI)相關領域的研發。在人臉技術、人體技術、圖像分割、圖像識別、圖像生成、圖像增強等方面處于領先水平。為美圖現有和未來的產品提供核心算法支持。

    近日,計算機視覺頂級大會CVPR 2022公布了大會的錄取結果,美圖影像研究院(MT Lab)和北航可樂實驗室聯合發表的論文被錄取。提出了一種分布式感知單階段模型(DAS)來解決三維人體姿態估計的難題。該方法通過一次網絡正向推理,可以同時獲得三維空間中人體位置信息和對應的關鍵點信息,簡化了預測過程,提高了效率。此外,該方法有效地學習了人體關鍵點的真實分布,進而提高了基于回歸框架的三維人體姿態估計方法的精度。

    其實這只是美圖用人工智能賦能影像技術的冰山一角。早在2010年,美圖就建立了核心研發;d部,——美圖圖像研究院,致力于計算機視覺、機器學習、增強現實等人工智能(AI)相關領域的研發。在人臉技術、人體技術、圖像分割、圖像識別、圖像生成和圖像增強方面處于領先水平,為美圖現有和未來的產品提供核心算法支持,通過前沿技術推動美圖產品的發展。多次參加CVPR、ICCV、ECCV等計算機視覺頂級國際會議,獲得10多項冠軍和亞軍,被稱為美圖的“技術中心”。

    多人3D人體姿態估計結果的準確獲取

    計算機視覺的經典技術,——人的3D人體姿態估計,在AR/VR、游戲、運動分析、虛擬試衣等領域有著廣泛的應用潛力。近年來,隨著元宇宙概念的興起,這項技術備受關注。

    目前,通常采用兩階段方法來解決多人的三維姿態估計問題:自頂向下方法,即首先檢測多個人體在一幅圖像中的位置,然后利用單個三維姿態估計模型預測每個被檢測人的姿態;自下而上的方法,即先檢測出圖片中所有人的3D關鍵點,然后通過關聯將這些關鍵點賦給相應的人體。

    兩階段法雖然取得了較好的精度,但要依次獲取人體位置信息和關鍵點位置信息,需要冗余的計算和復雜的后處理,其速度通常難以滿足實際場景要求,因此多人3D姿態估計算法的流程亟待簡化。

    為了克服兩階段方法存在的問題,提出一種分布式感知單階段模型來解決基于單幅圖像的多人三維人體姿態估計問題。此外,DAS在優化過程中學習三維關鍵點的分布,為三維關鍵點的回歸提供有價值的指導信息,從而有效提高預測精度。

    此外,為了減輕關鍵點分布估計的難度,DAS采用迭代更新策略來逐步逼近真實分布目標。這樣DAS就可以高效準確地從單目RGB圖片中一次性獲得多人的3D人體姿態估計結果。

    與現有的兩階段方法相比,該模型可以通過一次網絡正向推理同時獲得人體的位置信息和相應關鍵點的位置信息,有效簡化了預測過程,克服了現有方法計算成本高、模型復雜度高的缺點。此外,該方法成功地將標準化流程引入到多人三維人體姿態估計任務中,從而在訓練過程中學習人體關鍵點的分布,并提出了一種迭代回歸策略來緩解分布學習的難度,從而逐步提高人體姿態估計的精度

    人臉皮膚的精細缺損修復和去暗沉。你一輸入“牙齒”來修復牙齒上的缺損,照片中模糊的臉就清晰地重現了。全身美告別大粗腿和水桶腰.……AI技術正在讓修圖成為大師。

    一個商業攝影機構的業務流程基本包括:營銷獲客、攝影服務、后期處理、成品制作等環節。其中后期修圖是商業攝影工作流程中比例高、時間長、工作量大的一個環節。

    在旺季或者拍攝任務激增的時候,從拍攝到開拍的周期甚至可以長達一個月左右。尤其是人像處理部分,更考驗修圖師的專業技能。而培養一個合格的修圖師,需要很高的人力物力成本,還面臨人員頻繁流動的風險。

    美圖創始人兼CEO吳在接受科技日報記者采訪時表示,據不完全統計,商業攝影一年最多可以修圖120億張。大量復雜的重復性工作和高技術門檻給商業影樓帶來巨大的成本壓力。在AI技術的幫助下,重復繁雜的后期修復工作不僅可以提高商業攝影后期修復的效率,還可以為商業攝影行業提供美學與藝術深度融合的專業級圖像處理服務。

    由美圖科技大腦——美圖影像研究院自主研發的美圖云秀,通過智能預設功能,可以一鍵完成照片的批量處理。其中,面部優化功能可以修復面部瑕疵,打造嬌嫩肌膚;妝容調節功能可以實現妝容的智能調節。此外,美圖云秀還可以完成80多項修圖任務,如塑造立體五官、實現不同區域全身美顏、美化身體皮膚等。同時,靈活自由的參數定制也滿足了用戶更專業的修圖需求。

    “美圖云秀還提供濾鏡特效、牙齒修復、去除雙下巴、平滑皮膚、縮頭、一鍵仿妝、背景增強、多體美顏等獨特功能,可以幫助影樓快速完成80%左右的收尾工作?!奔夹g副總裁、美圖影像研究院負責人劉說。

    中國的影像軟件技術在AI方面取得了長足的進步。

    今年3月30日,美圖披露了2021年度業績報告。報道稱,美圖的R & amp2021年d投資達到5.455億元,比2020年增長35%。

    隨著我國影像軟件行業在技術研發上的投入不斷加大,近年來,我國影像軟件在技術性能上取得了長足的進步。

    力方面有了很大的進展,有些已經不輸國外同類產品。

    “我們推出的視頻美顏App——Wink,它的視頻人像美化功能需要將人像美顏從圖像擴展到視頻維度,這就需要實時的人臉檢測跟蹤、分割、3D建模等技術與人像美顏算法進行有機結合,同時還要應對視頻抖動、大側臉等極端情況,才能為用戶提供滿意的結果?!眲⒙鬻枵f。

    “用戶拍攝的照片或視頻存在清晰度低、畫質差、產生噪點等問題,我們利用基于深度學習的畫質增強技術能夠提高用戶照片與視頻的質量,滿足他們的拍攝需求。同時,我們也將深度學習應用到人像美顏中,例如我們自主研發的AI勻膚技術,既能祛除臉部瑕疵,同時也保留了細膩的皮膚紋理質感?!眳切励櫿f。

    “我們基于AI研發的人體美型技術,不是簡單地對人體進行拉伸,而是先結合人體3D重建、人體分割等技術去建立人體的三維模型,再利用深度學習算法學習美化之后的人體模型形變,同時對背景的Mesh(網格)進行建模,從而緩解背景的變形扭曲,最終實現用戶滿意的人體美型效果?!眲⒙鬻柚赋?。

    此外,美圖證件照應用到的人像摳圖技術,可以實現發絲級的精細摳圖,完成對證件照人像的一鍵換裝,同時保持人像和背景的光線和諧性。而基于AI生成的增發技術,可以調整發際線,可以改變發色和發型,還能使頭發顯得更蓬松。

    未來,人工智能將如何賦能影像技術?對此,吳欣鴻表示,一方面,基于人工智能的影像技術,將與各行各業有更多、更深入的結合,這也對影像技術提出了更高的要求。另一方面,通過3D技術和AR技術等,為用戶提供沉浸式和可交互的虛擬化體驗也是未來影像技術發展的熱門方向。

    欄目導讀

    改了!618前淘寶改名:手機淘寶正式更名為淘寶

    終于改了!618前,手機淘寶正式改名為淘寶。記者發現,目前在AppStore等各大應用商店里,原來手機淘寶APP的名稱已經變成了淘寶。據悉,這是

    2021-05-27 16:54

    天貓618預售火爆,犀牛工廠訂單排到下個月

    太火爆了,工廠訂單已經排到了下個月!5月26日,犀牛智造計劃排產總監陳哲發了一則朋友圈。天貓618預售啟動后,一批嘗試即賣即產服飾商家銷

    2021-05-27 16:55

    造車“二進宮” 美的再陷多元化怪圈?

      為提振投資者信心,美的近來真的很努力。對于意興闌珊的資本市場,這家家電巨頭接連打出了回購牌、增持牌以及王炸——進軍新能源汽車產

    2021-06-01 10:42

    特斯拉深陷信任危機 新能源產品供求雙方須心懷足夠敬畏

    日前,有網友向工信部提交信件表示:把動能回收功能與加速踏板相結合,讓加速踏板具有明顯制動效果這一設計違背常理、違背汽車百年駕駛習慣

    2021-06-01 14:35

    中消協測評:奧克斯、科龍空調樣機自清潔細菌表現較差

      如今消費者選購空調時,除了基本的溫度調控功能,更多人傾向關注附加了自清潔、除菌、新風、凈化、舒適等健康理念和功能的產品,但這些

    2021-06-04 14:43
    熊猫体育