在《雙攝像頭來(lái)勢洶洶核心芯片ISP扮演怎樣的角色？》中我們已經(jīng)講述了ISP在雙攝像頭中的重要性，簡(jiǎn)而言之，雙攝像頭需要ISP于CIS兩者結合在一起運行。那么，在采用了雙攝像頭的智能手機中，ISP究竟是如何與CIS結合一起運作的呢？周宇向記者解釋道：“如果說(shuō)以攝像頭為基礎的成像系統是人類(lèi)的視覺(jué)系統的話(huà)，那么鏡頭是人眼中的晶狀體和玻璃體，它負責光學(xué)系統的變焦和光學(xué)能量的收集；CIS就是人眼的視網(wǎng)膜，它負責將收集到的光能轉化成可以處理的電信號（視網(wǎng)膜是生物電信號，CIS是模擬電信號）；而ISP則相當于是人類(lèi)視覺(jué)系統的視神經(jīng)和負責視覺(jué)處理的大腦皮層。它負責將CIS采集到的信號進(jìn)行分析和處理，將看似雜亂的、專(zhuān)業(yè)的圖像‘信號’處理成豐富的、大家都能看得懂的圖片‘信息’。”
他還指出，由于CIS出來(lái)的圖像信號具有很強的專(zhuān)業(yè)性，那么作為ISP，想要將這個(gè)圖像信號給處理好、輔佐好，就需要ISP對圖像、CIS甚至光電系統有深厚的理解。并且，隨著(zhù)現代攝像頭逐步的智能化，ISP這個(gè)“大腦皮層”越進(jìn)化越強大，都開(kāi)始“搶大腦的活”了，比如我們的ISP就在學(xué)習空間想象、三維建模，從平面幾何做到了立體幾何。（雙攝測距，三維建模）。
對此問(wèn)題，路標表示，ISP與sensor之間的調試配合工作的確是密不可分的。同時(shí)，除了Sensor，整個(gè)攝像頭模組的配置，如鏡頭，步進(jìn)馬達等，也會(huì )影響到最終的畫(huà)質(zhì)。目前，索喜科技與目前所有市面上的主流Sensor廠(chǎng)家和攝像頭模組廠(chǎng)家都建立了良好的合作關(guān)系，不僅僅是單一產(chǎn)品的匹配，更多的是配合的模式和聯(lián)絡(luò )渠道的方式。針對雙攝的方案，索喜一樣與各個(gè)市場(chǎng)上主要的攝像頭模組廠(chǎng)都已經(jīng)配合并完成一系列雙攝的方案。
從上文中我們已經(jīng)得知雙路ISP在雙攝像頭中的重要性以及其如何與CIS結合一起進(jìn)行工作。據筆者了解到，目前ISP應用到智能手機攝像頭方面，主要有兩種方式，一種是如高通、MTK、華為海思一樣將ISP集成到自家的手機處理器中，而另一種方式，則是采用獨立的ISP芯片。那么，對于這兩種方式而言，究竟哪種方式更可取呢？
對于這個(gè)問(wèn)題，從受訪(fǎng)的四家企業(yè)來(lái)看，主要可以分為兩大陣營(yíng)，一方是以高通、MTK為主將ISP集成到手機處理器的平臺商，他們認為將ISP集成到處理器中更具優(yōu)勢；另一大陣營(yíng)則是以興芯微為主的ISP供應商，周宇認為獨立的ISP將更具優(yōu)勢。路標則表示，獨立ISP與集成ISP比起來(lái)，最重要的區別還是對畫(huà)質(zhì)的處理。
王宇飛表示：“在我們整個(gè)處理器產(chǎn)品組合中，ISP是集成進(jìn)驍龍處理器的。這是我們從一開(kāi)始就成功的秘訣，而對于未來(lái)產(chǎn)品路線(xiàn)圖中的處理器，我們也將繼續這樣做。緊密集成到處理器中的ISP具有許多優(yōu)勢，而其中最重要的是功率效率和電池續航時(shí)間。例如，驍龍820利用DSP/HVX（驍龍處理器中的另一項關(guān)鍵技術(shù)）來(lái)進(jìn)行預處理，從而能夠將成像預處理和后處理工作從CPU卸載到DSP，實(shí)現更佳的電池續航。我們集成的ISP還可以直接與視頻和顯示子系統連接，在視頻拍攝功耗方面實(shí)現最高達25%的改進(jìn)。具有專(zhuān)用降噪和串色校正硬件，當然尖端且高效的ISP還能讓驍龍處理器支持領(lǐng)先的分辨率（高達2300萬(wàn)像素）和所有尺寸的圖像傳感器。”
此外，他還介紹，得益于高度的集成，Qualcomm已在計算機視覺(jué)/認知技術(shù)領(lǐng)域取得重大進(jìn)步，并借此使成像與驍龍處理器的深度學(xué)習功能相搭配。“觸摸跟蹤（Touch-to-track）”和“文本激活”等特性是提升拍攝體驗的算法，能讓攝像頭更智能，識別多個(gè)移動(dòng)中的物體，或者認出圖片中的URL和電話(huà)號碼的差別，并采取適當行動(dòng)。這均是通過(guò)利用驍龍處理器中的多種技術(shù)（CPU、傳感器和ISP）來(lái)實(shí)現的。通過(guò)理解認知技術(shù)算法，并將計算負荷協(xié)調到最適合的專(zhuān)用引擎，就有可能實(shí)現最高效的處理。Qualcomm正通過(guò)異構計算和高效的SoC架構，解決在移動(dòng)終端上支持認知技術(shù)的挑戰。
MTK也表示：“集成ISP的方式比較好, 因為對客戶(hù)來(lái)講，不僅BOM成本得到降低，而且能采用異構計算的方式分配運算資源，把很大運算量會(huì )分給GPU來(lái)做，給用戶(hù)帶來(lái)更佳的功耗和畫(huà)面體驗。”此外，如高通、MTK、華為海思都是集成自家的ISP，據MTK稱(chēng)，由于其他企業(yè)的ISP會(huì )授權給很多廠(chǎng)商采用，所以接口不是最優(yōu)的，而平臺商采用自家的ISP，接口則會(huì )更優(yōu)，而且運算會(huì )更有效率。
周宇則稱(chēng)：“對于后端平臺（手機處理器）廠(chǎng)商而言，將ISP集成到手機處理器中就是將ISP的部分或全部功能與模塊集成入自家的處理器芯片中。相比于獨立的ISP，兩者的設計約束差異與實(shí)現方式不同必然的導致了其在性能上各具風(fēng)格。”
他從多方面分析了兩種方式的優(yōu)劣勢，首先是將ISP集成到處理器中，作為集成ISP，由于是后端平臺廠(chǎng)商整體規劃并集成，其與手機處理器交互的便捷性、計算資源共享、功耗、體積以及研發(fā)成本上都會(huì )具有獨立ISP無(wú)可匹敵的優(yōu)勢。
不過(guò)，他也指出了將ISP集成到處理器中的不足之處，他表示：“相對于獨立ISP的劣勢也非常明顯，主要表現在這么幾點(diǎn)上：1、一名好的IC工程師未必能當好一名攝影師：做好一款好的ISP需要的是在圖像和成像領(lǐng)域深厚的積累和理解，一個(gè)優(yōu)秀的手機處理器廠(chǎng)商未必是一個(gè)好的圖像“理解者”和“設計者”，尤其在圖像還是一件需要極度專(zhuān)注才能做好的背景下；2、單一手機處理器平臺應對各家傳感器，其寬容度是一個(gè)極大的考驗。在這個(gè)消費電子去同質(zhì)化的市場(chǎng)需求下，各家設計需求不盡相同，如何利用同一款集成ISP匹配各家的傳感器并做出差異化的方案將是一個(gè)很大的挑戰；3、一個(gè)模塊和一塊芯片的圍城。集成ISP引以為傲的功耗和體積優(yōu)勢在作為一個(gè)模塊時(shí)，必然的會(huì )帶來(lái)運算能力的限制，如果處理不好就會(huì )限制和影響到最終的成像效果。”
不難看出，周宇更看好獨立ISP的處理性能，當然，他也指出一個(gè)例外，那就是蘋(píng)果，蘋(píng)果在其處理器中同樣集成了自家的ISP，據周宇稱(chēng)，蘋(píng)果是為數不多的能自己設計手機處理器并且在圖像領(lǐng)域有著(zhù)深厚理解的公司，它能夠很好的結合上述兩者的優(yōu)點(diǎn)將集成的ISP做出獨立ISP甚至更佳的效果。
其實(shí)，將ISP集成到手機處理器中還將面臨著(zhù)不小的挑戰，據路標稱(chēng)：“圖像處理部分并不是簡(jiǎn)單的軟硬件調整就可以完成覆蓋，更多的還是需要對這部分整體工作的深度理解和豐富經(jīng)驗。此外，使用外置的ISP對降低系統的功耗，節省AP的資源（用以做其他應用）。”MTK也稱(chēng)：“最主要是處理器性能和電路板面積的挑戰。因為各家對性能和面積的取舍不一定會(huì )一致. 無(wú)論是別人改，還是自己改都會(huì )有上市時(shí)間的問(wèn)題。”
當然，做獨立ISP同樣會(huì )面臨一些挑戰，據周宇介紹，作為ISP供應商，首先要能夠提前預判市場(chǎng)的需求，找到能為客戶(hù)帶來(lái)差異化的個(gè)性化需求，能夠引導客戶(hù)去采用并為拍照帶來(lái)額外的價(jià)值。其次，一旦這些性能成為高端旗艦機的一個(gè)主流應用的時(shí)候，AP廠(chǎng)商會(huì )再次試圖集成，這時(shí)ISP供應商就需要做到更好的效果或者找到更新的技術(shù)方向。所以，國內ISP供應商一直需要跟國際巨頭賽跑。
此外，在上文中我們有提到ISP的技術(shù)研發(fā)難度相當大，如華為海思就投入了巨額資金花費了三年時(shí)間才實(shí)現ISP的商用，這點(diǎn)足以體現ISP的技術(shù)研發(fā)難度。據MTK表示：“與sensor廠(chǎng)商合作，要配合很多零件，比如 Lens、ois、imagesensor等。Sensor廠(chǎng)商做不足的地方，我們要補足，還要長(cháng)期跟sensorvendor 一起做review ，克服一些技術(shù)困難，比如PDAF、RWWB等。”
據周宇介紹，圖像是一個(gè)模糊化的數學(xué)，由于圖像在很多領(lǐng)域和方向并沒(méi)有一個(gè)統一的規范和評價(jià)標準，甚至很多對立的邊界都是模糊的，這就必然的導致了做圖像或者說(shuō)做ISP更像是由我們的研發(fā)人員和工程師在進(jìn)行一件藝術(shù)的創(chuàng )作，為我們的客戶(hù)畫(huà)一幅畫(huà)。而將這幅畫(huà)畫(huà)好首先需要有精湛的畫(huà)功和獨到的審美。其次，除了需要有精湛的畫(huà)工和突出的審美能力，還要有深刻理解客戶(hù)需求并及時(shí)響應的能力。最為重要的是，ISP畢竟是一項芯片的研發(fā)工程，這里需要非常多折衷的智慧和經(jīng)驗的積累。
作為國內為數不多的ISP供應商，在手機市場(chǎng)，興芯微當初推出一顆應用于500萬(wàn)像素的ISP芯片，主要用于MTK6572平臺，傳音、中興等客戶(hù)都有采用。針對雙攝像頭，其重點(diǎn)還是提供雙路的ISP處理芯片，同時(shí)聯(lián)合戰略合作伙伴提供后面的應用算法，組合成為一個(gè)解決方案。
此外，對于ISP供應商而言，除了智能手機市場(chǎng)，一些新興市場(chǎng)同樣是他們的目標，據周宇介紹，興芯微目前一個(gè)核心領(lǐng)域是汽車(chē)電子，并且在該市場(chǎng)，通過(guò)兩年多的耕耘，已經(jīng)奠定了市場(chǎng)地位，并即將做車(chē)規級的芯片，進(jìn)軍汽車(chē)前裝市場(chǎng)，為自動(dòng)駕駛、ADAS的普及作出貢獻。同時(shí)興芯微非常看好AR/VR、無(wú)人機、機器人市場(chǎng)，已經(jīng)在為很多合作伙伴提供芯片。MTK同樣表示將會(huì )將ISP技術(shù)應用到AR/VR、車(chē)載等領(lǐng)域。索喜科技同樣將ISP產(chǎn)品用于安防，運動(dòng)相機，無(wú)人機相機，全景相機等應用方向中。
01月07日 18:14
