登錄 注冊
購物車0
TOP
Imgs 行業(yè)資訊

0

探索ams的3D dToF方案及應用分析

2021-03-05 18:23:27
iPhoneX的結(jié)構(gòu)光將3D感知/成像在消費電子領(lǐng)域徹底帶火了。其后結(jié)構(gòu)光、3DToF市場都獲得了相當快速的成長。不過2020款iPadPro發(fā)布時,其上所謂的“LiDAR”攝像頭仍然挺讓人驚訝,包括iPhone12Pro手機也沿用了這種3D感知方案:5米的測量范圍的dToF方案。
我們在《手機的3D感知能力——消費電子ToF技術(shù)與市場分析報告》中曾提過,主流的兩大類ToF測距方法,iToF與dToF(indirectToF與directToF)。這兩種方案各有利弊,其中dToF在手機拍照的激光對焦、前置距離傳感,以及投影機對焦等領(lǐng)域已經(jīng)有比較廣泛的應用了,但消費電子的3D感知少見dToF方案。
除了蘋果之外,市面上主流的手機、平板所用的3DToF,基本上都是iToF。這主要是因為iToF技術(shù)整體成熟,且成本控制到位。而dToF在3D感知方面似乎面臨諸多挑戰(zhàn)。
上周的MWC上海展會上,ams(艾邁斯半導體)宣布與ArcSoft(虹軟)合作推出面向移動設(shè)備的后置3DdToF傳感解決方案。這套方案預計會在今年年底開始量產(chǎn)。也就是說,明年市場上可能就會有大量采用dToF攝像頭的Android手機和其他移動設(shè)備問世了。
借ams的這套方案,我們也有機會更深入地去了解dToF這種測距方法。
現(xiàn)在流行的iToF存在一些問題
ToF(TimeofFlight)是一種常見的測距方法,如果將其限定在光學領(lǐng)域,則ToF光學測距是指,要測得ToF模組與場景中某個對象的距離,由ToF模組的光源向該對象發(fā)出光(子)。光折返回ToF模組傳感器,計算整個過程里“光的飛行時間”,就能測得距離。
這個原理本身實際上更偏向于dToF,即直接測量。說得更具體些,dToF是指由發(fā)射端發(fā)出一個激光脈沖,經(jīng)過場景中某個對象反射,回到接收端,由接收端的光電探測器檢測到。藉由抽象的“計時電路”測量全過程消耗時間,則獲得距離信息。
iToF實際上還可以做切分,包括p-iToF(基于脈沖的iToF)以及cw-iToF(基于連續(xù)波的iToF)。現(xiàn)在手機上比較常見的3DToF方案普遍是cw-iToF測量方法。這種連續(xù)波ToF方法,是針對發(fā)射端的照明,應用一個周期性的調(diào)制信號,并針對反射光測量相位差,以此來計算距離。cw-iToF可能需要多次相位差采樣來獲得結(jié)果。
Cw-iToF方法示意,這里的c代表光速,f代表調(diào)制頻率,??代表接收信號的相位差
對于一些精度要求并不高的應用而言,cw-iToF方法的優(yōu)勢在于實施起來會更簡單(但精度要求高時,cwToF信號調(diào)制實施難度也不?。?,其系統(tǒng)成本遠低于dToF;而且cw-iToF具備較大的彈性、更快的讀出速度,也比較容易做RoI輸出這類功能。
但它也存在一個致命缺陷,從上圖中的深度計算表達式可知,要獲得更長的測量距離就需要更慢的調(diào)制頻率(f),但這樣就會限制距離精度。距離精度與背景光強度、信號強度、最大不模糊距離(c/2f)有關(guān)。在對象、背景光固定的情況下,反射信號強度隨距離增加而下降,較遠距離的對象測距就會有顯著的精度降低。
所以除了蘋果之外,市面上現(xiàn)有搭載了3DToF模組的手機測量距離普遍是比較受限的。ams大中華區(qū)應用市場總監(jiān)BingXu博士也提到了這一點。“iToF往往采用泛光投射,其距離和精度這對矛盾,在原理上很難調(diào)和。”
“iToF在不同距離下,精度是不同的,基本上是線性遞減??赡軠y1m的時候,精度是10mm或20mm,但距離在2m的時候精度就只有40mm。”BingXu博士說,“傳統(tǒng)的iToF做不了遠距離,最多2、3m,絕對不能超過5m。”“但dToF是直接測來回時間,一個脈沖出去到回來,是直接的測量方法。直接的測量方法可以測得很準,跟距離長短沒什么關(guān)系。”
不過實際上,多調(diào)制頻率方法是可以緩解cw-iToF的這一問題的,只不過系統(tǒng)復雜度會增加。除此之外,cw-iToF方法相比p-iToF和dToF,也更容易受到多徑效應(MultipathEffects,主要是基于調(diào)幅連續(xù)波的ToF)、解調(diào)錯誤(如場景對象的光散射、材質(zhì)反射率低等)、運動偽像等的影響。
另外從系統(tǒng)的角度來看,cw-iToF通常采用多調(diào)制頻率下相關(guān)函數(shù)的多次采樣,再加上多幀處理,后端信號處理的復雜度會比較高。所以發(fā)布會上也提到,dToF比iToF在做3D渲染時會快很多,“三維重建過程中,整個系統(tǒng)運行、算法運行的時間會有很大的優(yōu)勢。”
那么dToF為何一直沒有普及
dToF對上述很多問題都不敏感,包括前文提到的原理更簡單,距離精度不會隨測量距離衰減,也更容易發(fā)現(xiàn)多徑反射問題。但dToF在消費電子產(chǎn)品的3D感知應用上卻很少,主要是因為其成本更高。技術(shù)層面,dToF對于發(fā)射端的光源、接收端的傳感器,還有實現(xiàn)同步、時間檢測相關(guān)電路要求也高。
而且dToF由于傳感器電路設(shè)計相對復雜,包括淬火電路、像素內(nèi)TDC(timetodigitalconverter)等,似乎很難做到高像素(接收端傳感器分辨率)——雖然這兩年通過3D堆疊等技術(shù)正在實現(xiàn)各種改進。所以dToF此前一直局限在諸如激光對焦之類的單點測距應用上。像iPadPro2020這樣應用3萬像素dToF方案的設(shè)備此前是真的很少見。ams在發(fā)布會上給出一張dToF與iToF方法的簡單對比,從距離精度、動態(tài)范圍、環(huán)境光抑制、分辨率、功耗、后處理功耗、抗干擾能力等角度做了比較,前文大致上也提到了。單就這些項目的比較來看,dToF主要在“分辨率”——也就是XY平面上的精度,會相對較弱。
不過ams產(chǎn)品線高級市場經(jīng)理SarahCheng提到:“以現(xiàn)在流行的增強現(xiàn)實AR為例,低功耗和遠距離成為更重要的技術(shù)指標,相較之下分辨率的要求其實并沒有那么強烈。”ams這次所推的方案,在應用場景上也更偏AR。
上面這張圖是不同的應用,對于分辨率、功耗、測量距離這三個指標的不同要求。”其中影像增強對分辨率要求更高,而AR則對距離有更高的要求。“AR對3D攝像頭分辨率要求其實并不是很高,一方面可以避免過長的重建時間和功耗,而且低分辨率可以通過幀累計補償。”SarahCheng說。
BingXu博士提到:“我一直認為每項技術(shù),要看具體的應用??偰苷业竭m合的應用方案,無論是dToF還是iToF。我們說dToF,特別是在AR這個應用里面,在距離、精度、功耗方面是有絕對優(yōu)勢的。”那么就來看一看,ams這次所推的方案究竟是什么樣。
ams的3DdToF方案
ams的這套3DdToF方案在MWC上海展會上已經(jīng)有了展示,且發(fā)布會上的演示效果上佳。先來看看這套dToF方案的一些關(guān)鍵參數(shù):
包括1200個深度點,以及室外5m、室內(nèi)10m以上的檢測距離;在全測量距離內(nèi)<8mm的距離
;幀率最高100fps,在30fps幀率下功耗<300mW,“這對手機平臺就非常友好”。
從上圖也可見,系統(tǒng)分為兩個模組,包括高功率照明模組,以及SPAD3D攝像頭模組——即發(fā)射端和接收端。照明模組主要是VCSEL激光器——這是ams的傳統(tǒng)強項了,包括多結(jié)VCSEL實現(xiàn)極高的峰值功率,還有VCSEL驅(qū)動器系統(tǒng),針對超短脈沖的優(yōu)化連接,實現(xiàn)高距離精度,以及低EMI輻射;整體組成還有配套的點陣光學系統(tǒng)(包括衍射光學器件等);以及SPAD傳感器——dToF常見的一種光敏器件,一個光生載流子就能觸發(fā)大量雪崩電流。
且兩個模組分開,“手機廠商設(shè)計整個系統(tǒng)時,有更大的靈活性,在主板上做零部件的排列和設(shè)計。”SarahCheng說。另外還包括一些周邊的特性,如光源需要確保人眼安全相關(guān)的電路等。
ams方面列出本次所推3DdToF方案的幾個主要特性包括:
?在所有光強條件下(強光,弱光,室內(nèi),室外,較復雜的環(huán)境光等),在恒定分辨率下可實現(xiàn)較大的距離檢測范圍和較高的(不變的)距離檢測精度。其中“所有光強條件”也是絕大部分ToF方案的宣傳點,包括對背景高光的抑制技術(shù)。
?高環(huán)境光抗擾性,與市面上提供的3DToF解決方案相比,“峰值功率高出20倍”;
?針對移動設(shè)備,優(yōu)化最低平均功耗,特別針對房間掃描距離范圍內(nèi)高幀率(>30fps)運行環(huán)境。
從這些特性也可見,這套方案的應用偏向功耗敏感的移動設(shè)備,但同時又需要為這樣的設(shè)備賦予比較可靠的AR能力。
針對移動設(shè)備后置3DdToF傳感的完整解決方案中,還包含了ArcSoft的中間件,結(jié)合RGB攝像頭輸出將depthmap轉(zhuǎn)為精確的場景重建。再上層還有ArcSoft軟件,將3D圖像輸出與移動設(shè)備顯示屏結(jié)合,提供AR應用。“降低手機廠商集成的復雜度和工作量”,“與Android操作環(huán)境集成,讓移動設(shè)備OEM能夠直接集成新的dToF功能”。
單就3DdToF光學傳感解決方案來說,這一直是ams的長項。ams大中華區(qū)銷售與市場高級副總裁陳平路在會上提到,“從我們的技術(shù)平臺、產(chǎn)品平臺基礎(chǔ)上發(fā)展起來的解決方案,光學傳感器系統(tǒng)的解決方案,包括算法、軟件,目前我們認為在光學傳感器領(lǐng)域,我們應該說是唯一的一家可以提供全平臺解決方案的這么一個公司。”表現(xiàn)在這套“垂直鏈的光學元器件技術(shù),完全是從ams來的。”此前我們見到很多來自其他廠商的ToF和結(jié)構(gòu)光模組方案,也都能見到ams提供的組成部分。
3DToF的應用方向在哪兒?
SarahCheng在會上演示了一個demo,是這套方案的完整體現(xiàn)(包括ArcSoft的中間件及軟件算法),也體現(xiàn)這套3DdToF方案實際相比iToF的優(yōu)勢。相比一般的iToF,dToF在3D渲染過程中提供了更高質(zhì)量的深度圖,演示中有更精細的3D網(wǎng)格細節(jié):包括覆蓋范圍更廣,渲染速度更快;對于弱光環(huán)境、對象邊角、紋理特征不明確的光滑平面等,dToF表現(xiàn)也遠優(yōu)于iToF,從深度信息的精度到渲染速度。
另外SarahCheng也演示了這套方案在多徑干擾消除方面的優(yōu)勢,能夠更好地分辨弱光環(huán)境、復雜對象的前后關(guān)系。這些與前文探討的dToF與iToF兩者的特點相符。這讓我們對明年Android移動設(shè)備逐漸普及3DdToF方案更為期待。
事實上ams并沒有在這場發(fā)布會上具體去談,ams是如何在技術(shù)層面實現(xiàn)這套方案面向移動設(shè)備的大規(guī)模量產(chǎn)和應用的;以及ams在這個過程中究竟解決了哪些技術(shù)難題。不過這套方案必然需要在3DdToF的成本、功耗、距離精度、分辨率等參數(shù)上做出權(quán)衡,尤其是在成本不會很高的前提下確保性能,令其適用于移動消費電子設(shè)備,這是大方向的難點所在。BingXu博士也在講話中提到,“我相信隨著量的增加,工藝性能提高,以及ams本土化計劃推進,價格成本就會往下降。”
最后比較值得關(guān)注的話題,還是落腳在消費類的移動設(shè)備搭載此類3D感知方案,究竟能夠用來做什么。畢竟這才是像ams這樣的3DdToF方案能不能普及的驅(qū)動力。
事實上,3DToF在手機和各種移動設(shè)備上始終沒有什么殺手級應用。現(xiàn)有的一些3DToF方案在手機上的應用可能包括成像增強,例如利用深度圖來做對焦輔助、背景虛化,或智能美顏等。此前有評論認為,3D感知實現(xiàn)的智能美顏可能會成為ToF市場需求的殺手級應用,但事實上也并未如預期。
對此,SarahCheng表示:“很多手機廠可能在一些平臺上搭載過ToF后又棄用。其中一個關(guān)鍵因素是,ToF本身帶來的成本壓力,以及它為用戶帶來的收益很有限。這是因為iToF技術(shù)上的限制,導致大家對ToF接受度有限。”前文提及,dToF相較iToF有諸多方面的優(yōu)勢,“使手機后置的一些像AR這樣的應用更加多元化,促使手機廠商去采用這樣的技術(shù)。”以前“dToF門檻高,能選的方案上不多。”
“就我們現(xiàn)在的計劃來看,2021年底先以智能手機為目標平臺,第二波會慢慢延續(xù)到AR設(shè)備,比如AR眼鏡等產(chǎn)品上。”SarahCheng說,“最新版iPadPro和iPhone的出現(xiàn),搭載的dToF技術(shù)的深度相機已經(jīng)成為3D視覺在消費場景的應用推動了新的機會。”
“引用他們的一句標語,‘Pro級攝像頭打通了真實和虛擬的交界’,在我們看來,這是未來手機后置3D應用的大趨勢和核心,也就是更加沉浸式的AR用戶體驗,逐漸融入現(xiàn)有的各大游戲、社交、網(wǎng)上購物、室內(nèi)裝潢、AR導游地圖等線上應用平臺和軟件。”
BingXu博士還補充說:“我們首先會推消費電子類,這個市場很大。從消費電子推到工業(yè)界,各種各樣的工業(yè)界,只要測距離、測體積,需要3D建模的我們都會去推。”

高都電子,為客戶創(chuàng)造價值!

雙面板免費加費,四層板加急打樣,厚銅電路板打樣

Xcm