前言
自從iPhone7 PLUS推出了2倍光學(xué)變焦的雙攝方案，拉開(kāi)了計算光學(xué)創(chuàng )新的序幕，OPPO不甘落后最近推出了潛望式的5倍光學(xué)變焦方案，計算光學(xué)在手機上一直作為創(chuàng )新的重頭戲呈現給廣大消費者。最近關(guān)于iPhone8要推3D成像的傳聞，讓整個(gè)手機業(yè)界都為之歡呼雀躍，似乎看到了新的機遇，普遍認為這是2D成像通往3D成像的一次重大變革。因為工作需要，對3D成像進(jìn)行了一次深度的調研，跟大家探討下，3D成像在手機上的應用到底是雞肋還是一次行業(yè)創(chuàng )新，對此業(yè)界持有不同意見(jiàn)。
1.什么是3D成像。
3D成像就是在二維圖像，包括顏色，亮度，細節的基礎上增加了景深的信息，在拍照的同時(shí)，獲取對象的景深數據，應用于人臉識別，虹膜識別，手勢控制，機器視覺(jué)，計算攝影。3D成像方案包括了結構光，TOF和雙目。
2.是什么驅動(dòng)力推動(dòng)結構光方案能在手機3D成像技術(shù)取得重大突破，成為蘋(píng)果新機的標配。
2.1芯片技術(shù)的創(chuàng )新，讓結構光方案落地到手機應用。
蘋(píng)果收購了PrimeSense，從經(jīng)驗積累到實(shí)際應用，方案成熟度當屬最高，特別是在手機上的應用。PrimeSense有一顆獨立的PS1080景深算法芯片，用在蘋(píng)果上的型號有待確認和解開(kāi)。芯片除了能高效的處理3D景深算法，也為降低手機功耗起到舉足輕重的作用，因為3D人臉檢測通過(guò)外部ASIC處理，只需要很小的功耗，在數十微秒內即可完成拍照，景深數據采集，而不用每次主芯片去跑CPU、GPU和DSP，即高效又環(huán)保，因為省電。國內方案商奧比中光是結構光領(lǐng)域的實(shí)力派,其三月底的結構光生態(tài)伙伴發(fā)布會(huì )將有軟件合作商虹軟,模組合作商丘鈦以及投資方MTK等幾家業(yè)界實(shí)力玩家站臺。奧比中光的算法跑在自己研發(fā)的一顆型號為MX400的ASIC上，從應用和效果上經(jīng)過(guò)了實(shí)際的批量檢驗。公司自2013年成立到現在，短短幾年即取得了不錯的成績(jì)。預計今年，奧比中光也會(huì )有適合在手機應用的ASIC和整體方案呈現給手機廠(chǎng)商。
2.2先進(jìn)的模組制造技術(shù)進(jìn)一步推動(dòng)3D成像產(chǎn)業(yè)化。
模組供應商舜宇，歐菲，丘鈦在3D成像變革中將會(huì )受益。IR攝像頭和RGB攝像頭采用AA共基板模組結構，丘鈦在雙攝模組制程上有多項技術(shù)創(chuàng )新，經(jīng)驗豐富，特別是后段測試自動(dòng)化工位，大大提高生產(chǎn)效率，保證了出廠(chǎng)的每一只模組都在一致的標準下經(jīng)過(guò)嚴格測試。丘鈦擁有國內主流客戶(hù)群，成為了3D方案商和手機廠(chǎng)商的香餑餑，相信在這一波3D成像技術(shù)升級中會(huì )脫穎而出，最近宣布將并購和控股一家鏡頭供應商NEWMAX，而NEWMAX是主流3D相機的紅外鏡頭零部件供應商，在光學(xué)設計和鍍膜技術(shù)上技術(shù)領(lǐng)先，丘鈦的這筆投資可謂未雨綢繆，長(cháng)遠看將給丘鈦在光學(xué)技術(shù)創(chuàng )新上會(huì )注入更多的動(dòng)力。
圖2.1 丘鈦的雙攝模組全自動(dòng)化AA制程
2.3結構光Projector核心部件的創(chuàng )新推動(dòng)了器件微型化，得以應用到手機設計中。
下圖為Kinect紅外激光投射器的原理圖。根據PrimeSense在專(zhuān)利中的描述，紅外激光生成器（42）射出準直后的激光束（44），通過(guò)光學(xué)衍射元件（DOE）進(jìn)行散射，進(jìn)而得到所需的散斑圖案。
圖2.2 Kinect紅外激光投射器原理圖
2.3.1 Projector采用VCSEL（垂直腔面激光發(fā)射器）。
圖2.3 VCSEL（垂直腔面激光發(fā)射器）
VCSEL具有以下特點(diǎn)：
特點(diǎn)一：光束窄且圓 VCSEL耦合效率高
特點(diǎn)二：閾值電流低 VCSEL低功耗
特點(diǎn)三：易集成
特點(diǎn)四：VCSEL可以直接在wafer上完成工藝制作與測試 低成本
VCSEL受益的供應商：
LITE.O、II-VI.O、FNSR.O是主要的VCSEL供應商，Winsemi擁有VCSEL晶圓制程。
2.3.2 準直鏡頭WLO（Wafer-level Optics）大部分專(zhuān)利掌握在Heptagon手中，Heptagon被收購后應該要改名為AMS。
準直鏡頭一般由兩組鏡片組成，第一組鏡片先把激光壓縮成散角較小的光束，經(jīng)過(guò)第二組凸透鏡使得在象空間的光束為軸對稱(chēng)的園柱形平行光束。
圖3.1 半導體準直激光鏡頭
圖3.2準直鏡頭的光路
Heptagon WLO技術(shù)有以下特點(diǎn)：
a.按準確數量對例如雙鏡頭和三鏡頭等光學(xué)系統中分離出單面光學(xué)晶圓或者把雙面光學(xué)晶圓互相分離出來(lái)。
b.按準確數量把光學(xué)系統從傳感器或者光源分離出來(lái)。
c.Heptagon 為隔片開(kāi)發(fā)了復制技術(shù)，使得像玻璃一樣的聚合物隔片的成本更低也更結實(shí)。
Heptagon的WLO鏡頭模組4P結構。
圖3.3 WLO鏡頭模組架構圖
2.3.3 光學(xué)衍射元件DOE（Diffractive Optical Elements）
.png)
圖4.1 DOEs - Diffractive Optics
DOE由擴散片（Diffuser）和光柵片（Raster）組成，擴散片作用是將激光光束散射成不規則分布的點(diǎn)狀散斑圖案，由于擴散片對于光束進(jìn)行散射的角度（FOV）有限，所以需要光柵（見(jiàn)下圖）將散斑圖案進(jìn)行衍射“復制”后，擴大其投射角度。這種“復制”效果被稱(chēng)為光學(xué)卷積，從下圖的原理圖中我們看到，當光束通過(guò)擴散片（如毛玻璃）后產(chǎn)生的散斑，再經(jīng)過(guò)光柵后進(jìn)行卷積就能得到所需透射角度的散斑。
圖4.2 散斑擴散圖
DOE衍射元件供應商：HOLOOR，馭光科技，水晶光電
3 什么原因導致TOF沒(méi)能趕上這一波的3D成像技術(shù)升級?
TOF相對于結構光方案,精度高,可以達到mm級別,處理速度快,可以同時(shí)捕捉整幅畫(huà)面的深度信息。但是在實(shí)際應用中也存在以下問(wèn)題尚待解決。
3.1 核心器件圖像傳感器是3D成像的關(guān)鍵，而傳感器的供應鏈影響了技術(shù)的落地。
結構光用的紅外CMOS傳感器，主流的廠(chǎng)家三星，OV，Onsemi，國內廠(chǎng)家格科微，產(chǎn)品線(xiàn)豐富，大Pixel，小尺寸，高動(dòng)態(tài)，各大平臺也有驅動(dòng)的適配，制程經(jīng)過(guò)手機行業(yè)大規模制造和批量出貨檢驗。而TOF Sensor產(chǎn)品線(xiàn)不夠豐富，TOF Sensor主流供應商集中在STM，TI，AMS。在這里特別提一下AMS，剛剛在過(guò)去不久的2月份，花了接近6億美金，收購了WLO 供應商Heptagon 100%的股份。同時(shí)也看到一些廠(chǎng)家，如比利時(shí)Melexis擁有TOF Sensor,通過(guò)技術(shù)創(chuàng )新來(lái)分一杯羹。
圖5 Melexis的TOF應用架構圖
3.2 圖像傳感器Sensor的分辨率和尺寸，制約TOF在手機的應用。
前面提到，手機紅外CMOS的產(chǎn)品線(xiàn)較豐富，選擇性較多，能滿(mǎn)足3D人臉識別，自拍背景虛化等這些應用。而TOF則選擇性小很多，目前我找到的分辨率最高的是Melexis的一顆QVGA的Sensor，QVGA是什么概念，就是320240分辨率，大家如果有更好的也可以給我推薦。制約TOF 分辨率上不去的原因，據調研跟功耗有一定關(guān)系，分辨率越高，功耗越大。另外Sensor的尺寸也制約了在手機上的應用，因為這顆Sensor除了感知紅外圖像信息，還有特別的單元來(lái)記錄光的相位信息，那么這樣一顆1/3” QVGA的Sensor，到底有多大？4.8x3.6mm，這只是傳感器的感光面積的尺寸，而封裝片的尺寸則是6.5x5.5mm。一顆普通的1/7.5” VGA手機紅外CMOS OV7251 COB封裝的尺寸是3.9x3.4mm，懸殊太大。
3.3結構光和TOF方案因為有光投射和接收的過(guò)程，稱(chēng)之為主動(dòng)式3D成像，很容易受到自然光線(xiàn)的影響和干擾。
圖6 TOF原理
要解決這個(gè)問(wèn)題，可以把發(fā)射端功率加大，這個(gè)道理很容易理解，但是這會(huì )影響到手機的功率，影像手機的待機時(shí)間。結構光受環(huán)境光線(xiàn)影響要小于TOF，因為結構光是通過(guò)Projector投射紅外圖案，而圖案是一直存在于物體表面，Sensor可以通過(guò)延長(cháng)快門(mén)時(shí)間來(lái)捕捉足夠清晰的圖案，而TOF是通過(guò)調制的高頻脈沖來(lái)計算光飛行時(shí)間的，要讓Sensor在這么短時(shí)間能夠捕捉足夠的光信息，那么就要把Sensor的Pixel size也就是單個(gè)像素的感光面積做得足夠大，以前面提到的Melexis的這顆QVGA為例，15x15um的Pixel size，手機1/2.3” CMOS的1200萬(wàn)像素的感光面積也就只有1.5x1.5um。因此芯片的功耗隨之增大，芯片的面積自然也要比一般的相同分辨率的手機CMOS大很多，而要把芯片做到足夠小，分辨率足夠高，應用在手機上，現在是有相當難度的，這個(gè)問(wèn)題也許以后隨著(zhù)制程的提升，能夠獲得解決。
圖7 Large Pixel能夠在同一時(shí)間接收更多的光線(xiàn)
4.3D成像在手機上的應用有哪些？是技術(shù)創(chuàng )新還是雞肋？
4.1傳言iPhone8會(huì )上3D成像，用在前攝做3D人臉檢測,配合虹膜識別，進(jìn)行解鎖功能，搭配G-sensor和GYRO，實(shí)現用戶(hù)行為檢測快速解鎖功能，這將提升用戶(hù)體驗，因為指紋解鎖的時(shí)間可以長(cháng)達一秒，而且經(jīng)常受到汗水和手指狀態(tài)的影響而導致失敗，但是3D人臉識別可以在0.03秒內完成。同時(shí)手機去掉指紋模塊以提升屏占比，讓手機ID做得更漂亮，可以突破更多的局限。
4.2因為3D攝像頭提供了景深數據，配合算法就可以實(shí)現背景虛化功能，虹軟和WestAlgo都有此類(lèi)算法。因為是主動(dòng)式景深探測,對于無(wú)紋理的景物,景深提取會(huì )更準確。
4.3另外一個(gè)應用是人臉補光，因為人臉的深度信息可以做到很精確，那么就可以對特定的人臉?lè )秶M(jìn)行補光，對陰陽(yáng)臉進(jìn)行光線(xiàn)補救。
4.4除了以上應用，3D當然也可以開(kāi)發(fā)游戲應用，手勢控制。
4.5.觀(guān)點(diǎn)
1)前攝結構光3D成像方案隨著(zhù)iPhone8的謎底解開(kāi)，將會(huì )成為手機應用的主流方案，TOF方案受限于各種因素，還無(wú)法落地到手機應用，也沒(méi)有看到TOF Sensor供應商在手機應用的推薦，而多應用于A(yíng)utomotive, Robot, Toy。
2)3D成像在手機上以前攝為主，有多項接地氣的應用，對于用戶(hù)體驗提升很有價(jià)值。后攝的應用較少，除了SLAM的應用，對于拍照的景深提取，因為受到環(huán)境影響，不具備可用性。
3)雙攝方案會(huì )是手機主攝像頭的3D成像的主流，通過(guò)雙攝獲取景深信息，實(shí)現背景虛化，Super Light，Super Pixel等功能。
4)業(yè)界都在等待iPhone8的發(fā)布，前期通過(guò)技術(shù)積累，以便迅速跟進(jìn)。專(zhuān)利風(fēng)險和成熟度需要評估。
5)一直以來(lái),無(wú)論是結構光還是TOF這兩種3D成像技術(shù)都和Kinect,RealSense,Project Tango這些關(guān)鍵詞相匹配，行業(yè)應用包括體感操控，3D掃描，機器人，玩具,Automotive等等。直到聯(lián)想PHAB2 Pro Tango在移動(dòng)終端上作了一次AR應用探索。三維重建作為連接真實(shí)物理世界和虛擬世界的最重要感知計算通道，前途自然是星辰大海，但和所有偉大的技術(shù)一樣，需要的不但有資本的堆積和市場(chǎng)的培育，更加需要的是時(shí)間和耐心。在這條馬拉松的跑道上，唯有堅信篤定的選手，才可以跑到最后，摘取AI和AR的果實(shí)。
圖片引用了各大媒體的發(fā)布的資料，在此表示感謝。
01月07日 18:14
