日前肇觀電子完成2億人民幣D輪融資，由華山資本領(lǐng)投，本輪融資資金將用于肇觀電子下一代芯片和模組的研發(fā)和迭代。

肇觀電子于2016年在上海成立，聚焦計(jì)算機(jī)視覺和AI端側(cè)芯片及模組研發(fā)，服務(wù)工業(yè)、機(jī)器人、汽車、消費(fèi)、安防等場(chǎng)景，致力于賦予所有的智能設(shè)備視覺能力，是硬氪長(zhǎng)期關(guān)注的公司。此前，肇觀電子曾先后完成多輪融資，去年6月獲數(shù)億元C輪融資。

隨著智能設(shè)備的普及和發(fā)展，其中視覺能力的重要性也愈發(fā)凸顯，直觀體現(xiàn)在攝像頭數(shù)量越來越多，分辨率也越來越大，數(shù)據(jù)信息量也隨之爆增，進(jìn)而拍攝的照片和視頻背后所需要的處理算法的復(fù)雜度也在不斷的上升。“這幾個(gè)因素使得智能設(shè)備理解一張圖片或者一段視頻，背后所需要的算力需求呈現(xiàn)指級(jí)數(shù)增長(zhǎng)?！闭赜^電子CEO馮歆鵬告訴硬氪。

但傳統(tǒng)的CPU、GPU芯片面對(duì)海量信息無法滿足處理需求，為此，肇觀電子研發(fā)的VPU 芯片，又稱視覺處理器，區(qū)別于傳統(tǒng)芯片，專門解決像素爆炸的痛點(diǎn)。


解決傳統(tǒng)相機(jī)光線干擾問題

面向車載領(lǐng)域布局

這一芯片一方面可以解決強(qiáng)光、弱光和逆光等各種特殊光照條件下的成像問題，同時(shí)其中3D計(jì)算引擎的設(shè)計(jì)使得設(shè)備擁有3D感知能力，直接通過采集的數(shù)據(jù)就能計(jì)算出遠(yuǎn)處空間的 3D 的深度圖，并反過來推算出自身在空間環(huán)境中的位置，和其他物體進(jìn)行互動(dòng)。此外，SLAM （實(shí)時(shí)定位和構(gòu)圖技術(shù)）加速，實(shí)現(xiàn)三維重建，使得設(shè)備能夠識(shí)別三維空間中不一樣的物體。

在成像、3D、AI、SLAM能力的基礎(chǔ)上，肇觀電子采用SoC單芯片方案，高度集成上述多種能力，單顆芯片具備性能高、功耗低、成本低、系統(tǒng)復(fù)雜度低的特點(diǎn)。

面向機(jī)器人行業(yè)，肇觀基于自研的芯片的3D智能深度相機(jī)的產(chǎn)品形態(tài)交付給客戶，同時(shí)也支持定制，幫助機(jī)器人擁有環(huán)境感知和理解能力，產(chǎn)品已導(dǎo)入機(jī)器人行業(yè)頭部供應(yīng)商體系，其中費(fèi)曼系列全年出貨預(yù)計(jì)超10萬套。

費(fèi)曼相機(jī)支持在零下40度到70度這一溫度范圍內(nèi)的高低溫環(huán)境中使用，對(duì)溫度的適應(yīng)范圍較廣，相機(jī)內(nèi)部就能進(jìn)行AI算法處理，無需再利用工控機(jī)輸出信號(hào)部署算法，大大減輕系統(tǒng)復(fù)雜度，可靠性方面已做到10萬小時(shí)不間斷連接。

面向車載領(lǐng)域，肇觀主要給車上的CMS（電子后視鏡）提供芯片，采用其芯片方案的新一代智能外耳鏡可以做到1秒內(nèi)冷機(jī)快速啟動(dòng)出圖，并且從光子打到攝像頭的CMOS上到光子傳輸給顯示屏上面的延時(shí)可低至40毫秒以內(nèi)，為業(yè)界最短之一。目前肇觀的全國(guó)產(chǎn)車規(guī)級(jí)SoC已進(jìn)入二十余家Tier1供應(yīng)鏈，還在部分車廠的ADAS（高級(jí)輔助駕駛）方案上有應(yīng)用。

視覺芯片未來發(fā)展方向：感存算一體化

目前有兩種主要的智能視覺芯片架構(gòu)。

（1）架構(gòu)一：傳感單元內(nèi)部計(jì)算。這種架構(gòu)的光電探測(cè)器被置于模擬存儲(chǔ)器和計(jì)算單元中，以組成處理元件（PE），然后利用PE電路來實(shí)現(xiàn)原位傳感功能，并處理傳感器獲得的模擬信號(hào)。然而，模擬存儲(chǔ)器和計(jì)算單元占用了較大的面積，使得PE電路比傳統(tǒng)傳感單元大得多，這導(dǎo)致像素填充因子較低，并限制了成像分辨率。

（2）架構(gòu)二：傳感單元附近計(jì)算。由于較低的填充因子，視覺芯片難以采用原位傳感和計(jì)算相結(jié)合的架構(gòu)。相反，將像素陣列和處理電路物理分離，但仍然保持片上并行連接，這使得二者可以根據(jù)系統(tǒng)要求進(jìn)行獨(dú)立設(shè)計(jì)和優(yōu)化。這種架構(gòu)具有廣域圖像處理、高分辨率和大規(guī)模并行處理的優(yōu)勢(shì)，并且可以在數(shù)字處理電路中結(jié)合現(xiàn)有的AI算法（包括人工神經(jīng)網(wǎng)絡(luò)等）。

目前，視覺芯片的神經(jīng)元規(guī)模只有102~103個(gè)，遠(yuǎn)少于視網(wǎng)膜和皮層（1010個(gè)），因此，感存算一體化智能視覺芯片需要更大規(guī)模的集成。其中一種方法是通過片上光學(xué)卷積神經(jīng)網(wǎng)絡(luò)（CNN）和光學(xué)脈沖神經(jīng)網(wǎng)絡(luò)（SNN）實(shí)現(xiàn)大規(guī)模高并行運(yùn)算，以顯著提高計(jì)算效率。另一種方法是采用三維（3D）集成技術(shù)，使用硅通孔（TSV）垂直集成空間中的功能層（傳感器、存儲(chǔ)器、計(jì)算、通信等）。在2017年，索尼提出了一種3D集成視覺芯片，像素分辨率為1296×976，處理速度達(dá)到1000 fps。部分研究人員認(rèn)為，3D集成芯片已經(jīng)成為一種必然趨勢(shì)，但在架構(gòu)設(shè)計(jì)和引線互連等方面仍然需要更深入的研究。研究證明，雖然短互連可以降低功耗和延遲，但由于層間距離較短可能會(huì)導(dǎo)致散熱難題。因此，解決3D集成的可靠性問題和提高性能至關(guān)重要。

近些年來，在AI發(fā)展需求的驅(qū)動(dòng)下，涉及新型材料和先進(jìn)器件的技術(shù)不斷涌現(xiàn)，也為感存算一體化智能成像系統(tǒng)提供了新方案。

（1）具有探測(cè)和記憶功能的材料（DAM）。光電突觸器件被視為構(gòu)建感存算一體化智能成像系統(tǒng)的一種方式，并有望促進(jìn)視網(wǎng)膜仿生技術(shù)的發(fā)展。研究發(fā)現(xiàn)，一些金屬氧化物（氧化物半導(dǎo)體、二元氧化物等）、氧化物異質(zhì)結(jié)和二維（2D）材料在實(shí)現(xiàn)光電突觸器件方面有巨大的潛力。光電突觸具有臨時(shí)記憶能力和突觸可塑性，如短時(shí)程可塑性（STP）和長(zhǎng)時(shí)程可塑性（LTP），可以通過光信號(hào)進(jìn)行調(diào)制以完成實(shí)時(shí)圖像處理。這類器件有許多優(yōu)點(diǎn)，它提供了一種非接觸式的寫入方法（光寫入），權(quán)重寫入過程具有高速并行的特點(diǎn)。然而，這類器件仍然面臨一些挑戰(zhàn)，包括脈沖寫入下電導(dǎo)非線性變化和由于較大的照明強(qiáng)度而導(dǎo)致的高能耗。在寫入過程中，光刺激用于實(shí)現(xiàn)增強(qiáng)突觸活性，而電刺激用于抑制突觸活性。具體來說，器件的電導(dǎo)在光脈沖作用下逐漸增加，而在負(fù)電脈沖作用下則逐漸減小，這類似于生物突觸中的增強(qiáng)和抑制，器件的電導(dǎo)變化對(duì)應(yīng)突觸的活性變化。此外，研究指出負(fù)光響應(yīng)或者光刺激用于抑制突觸活性可以實(shí)現(xiàn)全光調(diào)制的復(fù)雜神經(jīng)功能。目前大多數(shù)研究側(cè)重于在器件中模擬突觸行為[如興奮性突觸后電流（EPSC）、成對(duì)脈沖易化（PPF）、STP、LTP等]，因?yàn)槟７氯搜垡暰W(wǎng)膜神經(jīng)元仍然是一大挑戰(zhàn)。為了模仿視網(wǎng)膜，光電突觸器件的大規(guī)模集成有待進(jìn)一步研究。在DAM材料中，基于二元氧化物（如ZnO、HfO2、AlOx等）的器件具有結(jié)構(gòu)簡(jiǎn)單和CMOS兼容性的優(yōu)點(diǎn)，這是大規(guī)模集成的關(guān)鍵因素。相反，與集成電路（IC）基礎(chǔ)結(jié)構(gòu)不兼容的材料可以通過采用異質(zhì)集成、異質(zhì)外延、鍵合和三維異質(zhì)集成等技術(shù)來實(shí)現(xiàn)。

（2）結(jié)合傳感器與存儲(chǔ)器的器件結(jié)構(gòu)。近些年來，隨著半導(dǎo)體器件的發(fā)展，部分研究提出采用先進(jìn)器件代替PE電路，如新型存儲(chǔ)器件[如阻變存儲(chǔ)器（RRAM）和其他憶阻器等。例如，兩類器件通過串聯(lián)的方式來實(shí)現(xiàn)固有特性的結(jié)合，使傳感器陣列具有可編程性，并且將光學(xué)圖像轉(zhuǎn)變?yōu)橐子谧R(shí)別的信息。這種結(jié)構(gòu)將單個(gè)像素的占地面積顯著降低到4F2的理論極限（F是工藝的特征尺寸），可以實(shí)現(xiàn)高填充因子的集成方式。然而，與CCD不同的是，該陣列不顯示破壞性讀出，也不顯示任何積分行為。在該陣列中，乘加運(yùn)算（MAC）可以通過模擬域中的基爾霍夫定律直接實(shí)現(xiàn)。然而，大規(guī)模集成引起的串?dāng)_是一個(gè)亟待解決的問題。有研究報(bào)道了一種由單光子雪崩二極管（SPAD）和憶阻器組成的系統(tǒng)，用于處理脈沖事件形式的信息，從而完成實(shí)時(shí)成像識(shí)別。

隨著新型材料與器件的發(fā)展，感存算一體化智能成像系統(tǒng)也同樣需要新的架構(gòu)和算法來適配其應(yīng)用。例如，深度學(xué)習(xí)算法（如DNN、CNN、SNN等）是目前較為成熟的圖像處理技術(shù)，而如何將其應(yīng)用于感存算一體化智能成像系統(tǒng)是一個(gè)亟待解決的難題。SNN通過對(duì)時(shí)間并行編碼的神經(jīng)信號(hào)進(jìn)行編碼和處理，為提高計(jì)算效率提供了一種很有前景的解決方案。


腦機(jī)應(yīng)用風(fēng)口：讓“失明”人員重見光明

最近，科技大佬馬斯克宣布，他的公司Neuralink正在研發(fā)一種叫“視覺芯片”的植入設(shè)備，這對(duì)于失明的朋友來說無疑是一個(gè)巨大的福音。這種芯片能夠植入視覺皮層，直接解碼我們的視覺信息，讓失明者重拾視覺能力。

但是這項(xiàng)技術(shù)也面臨著巨大的科學(xué)難題，我們距離真正實(shí)現(xiàn)還任重道遠(yuǎn)，需要視覺神經(jīng)科學(xué)和植入技術(shù)雙管齊下，才能突破各種技術(shù)瓶頸。讓我們拭目以待，相信科技終將戰(zhàn)勝疾病，帶來光明。

要實(shí)現(xiàn)視覺芯片，我們需要從視覺機(jī)制和植入技術(shù)兩個(gè)方面進(jìn)行突破。

首先是視覺機(jī)制。

光線進(jìn)入眼睛后，必須轉(zhuǎn)換為腦中的神經(jīng)信號(hào)，經(jīng)過復(fù)雜的信息處理才形成我們的視覺圖像。馬斯克必須破解大腦對(duì)視覺信息的編碼機(jī)制，才能通過有限的電極植入，取得充分的視覺反饋。這需要整合神經(jīng)科學(xué)多學(xué)科知識(shí)，對(duì)視網(wǎng)膜和視覺皮層有深入理解。

其次是植入技術(shù)。視覺芯片需要實(shí)現(xiàn)與特定腦神經(jīng)元的無損耦合，獲取視覺神經(jīng)沖動(dòng)。

這需要電極植入技術(shù)和材料的革新，以及精準(zhǔn)的定位與手術(shù)操作。否則可能造成大腦功能損傷。

要實(shí)現(xiàn)從電子信號(hào)到視覺圖像的轉(zhuǎn)換，還需要巨大的算法能力和測(cè)試優(yōu)化。這條路遙遙無期，但馬斯克的宣言加速了這個(gè)魔幻領(lǐng)域的發(fā)展。也許在不遠(yuǎn)的將來，視覺芯片真的可以讓失明者重見光明。

盡管從理論到實(shí)踐任重道遠(yuǎn)，但相關(guān)核心技術(shù)的進(jìn)展還是讓我們看到了光明的曙光。在視覺神經(jīng)科學(xué)領(lǐng)域，通過對(duì)視覺皮層研究，科學(xué)家們已經(jīng)初步證實(shí)了植入電極可以引起腦內(nèi)視覺感受。這為視覺芯片奠定了基礎(chǔ)。腦機(jī)接口技術(shù)也取得重大進(jìn)展，實(shí)現(xiàn)了受試者通過思維控制外部設(shè)備。

材料科學(xué)也創(chuàng)造了更加生物相容的植入電極，并實(shí)現(xiàn)了對(duì)機(jī)體內(nèi)植入設(shè)備的無線供能。這為長(zhǎng)期植入和應(yīng)用保駕護(hù)航。手術(shù)機(jī)器人的應(yīng)用也將大大減少手術(shù)風(fēng)險(xiǎn)。在算法方面，通過深度學(xué)習(xí)等AI技術(shù)，轉(zhuǎn)化編碼也成為可能。

當(dāng)所有技術(shù)融會(huì)貫通，視覺芯片終將成為現(xiàn)實(shí)。我們要對(duì)科技報(bào)以濃厚的興趣與信心，并為病人提供更多關(guān)愛與支持。