智能視覺助力 AI 大模型新拐點 Arm 創(chuàng)新生態(tài)服務(wù)本土市場
2023-07-14
縱觀整個數(shù)字經(jīng)濟(jì)創(chuàng)新發(fā)展史，每一次顛覆式創(chuàng)新往往伴隨著新范式的產(chǎn)生。古有“讀萬卷書，不如行萬里路”的說法，精準(zhǔn)詮釋了親身體驗和實踐的重要性：人類通過視覺、聽覺等主要感知方式接受外界信息，并加以思考進(jìn)而付諸行動，由此對世界進(jìn)行理解、改變和創(chuàng)造?；氐浆F(xiàn)在，隨著算力不斷的提升，AI 的發(fā)展也由于大模型的突破迎來了加速時代，今有機(jī)器人、自動駕駛等技術(shù)為代表的新范式，將重新定義人機(jī)交互的模式。我們也將見證專屬于人類的感知，思考和行動能力逐漸實現(xiàn)向機(jī)器的轉(zhuǎn)移。在模型和行動無處不在的新時代，智能視覺將變得必不可少人類獲取的信息 70% 來自于視覺，目前，智能視覺已深入到智慧家居、智慧城市、智慧零售和智能制造之中，而在模型和行動無處不在的新時代，智能視覺也將變得必不可少。無論是聊天機(jī)器人還是自動駕駛技術(shù)，都需要借助智能視覺等感知技術(shù)從現(xiàn)實生活中采集真實數(shù)據(jù)，形成更準(zhǔn)確的模型，以提供關(guān)鍵的安全和避障能力，或更好地適應(yīng)多樣化的需求和行為。智能視覺系統(tǒng)的五大技術(shù)趨勢隨著智能視覺應(yīng)用的普及，其系統(tǒng)也朝著五大技術(shù)趨勢發(fā)展：云邊端協(xié)同：高清圖像和視頻數(shù)據(jù)、巨大的數(shù)據(jù)量、以及諸如自動駕駛等應(yīng)用的實時性要求、決定了智能視覺系統(tǒng)需要能夠?qū)⒂嬎愫蜎Q策任務(wù)分布在云、邊和終端設(shè)備上，并實現(xiàn)負(fù)載調(diào)動與協(xié)同。云端可以承擔(dān)訓(xùn)練深度學(xué)習(xí)模型、處理大規(guī)模圖像和視頻數(shù)據(jù)集、等計算密集型任務(wù)。邊緣設(shè)備可以進(jìn)行實時圖像處理、簡單的特征提取和初步的決策；終端設(shè)備可以接收來自云端或邊緣端的智能決策結(jié)果，并進(jìn)行展示、用戶交互等，或在超低延時和離線需求下進(jìn)行端側(cè)視覺數(shù)據(jù)處理和決策。AI 加持：深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò)在計算機(jī)視覺領(lǐng)域的應(yīng)用已經(jīng)取得了巨大的成功。未來的智能視覺系統(tǒng)將繼續(xù)依賴深度學(xué)習(xí)模型和神經(jīng)網(wǎng)絡(luò)，通過大規(guī)模數(shù)據(jù)集的訓(xùn)練、來提高圖像和視頻數(shù)據(jù)的分析和識別能力，并利用強(qiáng)化學(xué)習(xí)和自主、自適應(yīng)學(xué)習(xí)，使系統(tǒng)能夠從環(huán)境中不斷學(xué)習(xí)和改進(jìn)，并適應(yīng)新的場景和任務(wù)。圖像處理：智能視覺系統(tǒng)需要準(zhǔn)確和高質(zhì)量的圖像處理，以支持更高效的特征提取，目標(biāo)檢測和跟蹤, 圖像分析和理解，以及圖像生成和合成。算力支撐：由于復(fù)雜的模型和算法、大規(guī)模圖像數(shù)據(jù)處理、實時性、高精度、高并發(fā)等要求，智能視覺系統(tǒng)需要強(qiáng)大的計算資源和算力支持。隱私和安全性：智能視覺系統(tǒng)大量的數(shù)據(jù)采集，以及廣泛的應(yīng)用也引發(fā)了對隱私和安全性的關(guān)注。未來的趨勢是設(shè)計更加隱私保護(hù)和安全可靠的智能視覺系統(tǒng)，采用加密、匿名化等技術(shù)手段保護(hù)用戶的隱私，同時加強(qiáng)系統(tǒng)的安全性，防止被惡意攻擊和濫用。智能視覺應(yīng)用催生智能視覺芯片架構(gòu)的演進(jìn)而在芯片層面，為了滿足對 AI 支持、計算能力、能效和實時性的不斷增長的需求，智能視覺芯片架構(gòu)也經(jīng)歷了一系列的演進(jìn)——從功能固定難以編程的 DSP 和 ASIC，到通用性強(qiáng)、易編程的 CPU 架構(gòu)，直至今日集成 CPU、ISP、NPU AI 加速器、VPU、GPU 的先進(jìn)異構(gòu) SoC。智能視覺芯片已經(jīng)逐步實現(xiàn)低功耗、高性能和高度集成的特點。適用于資源受限的邊緣設(shè)備，如智能手機(jī)、攝像頭和物聯(lián)網(wǎng)設(shè)備等，為智能視覺成為一種普適的能力奠定基礎(chǔ)。支持高效、敏捷地視覺產(chǎn)品和解決方案的開發(fā)，是產(chǎn)業(yè)的現(xiàn)實需求。Arm 豐富的產(chǎn)品組合，包括 Arm Cortex-A CPU、Mali GPU、Mali-C55 ISP、Ethos ML 加速器、Corstone 子系統(tǒng)等，能夠帶來高質(zhì)量、高可靠、高性能和高能效的不同組合，滿足智能視覺的各個細(xì)分市場需求，助力加速智能視覺的創(chuàng)新。首度集成第三方 IP 的 Arm 全新智能視覺參考設(shè)計為企業(yè)快速打造產(chǎn)品差異化為了助力智能物聯(lián)和視覺領(lǐng)域的創(chuàng)新企業(yè)降本增效，使更多的新商機(jī)和新想法可以更快地轉(zhuǎn)化成量產(chǎn)的產(chǎn)品。Arm 處理器和系統(tǒng) IP 也在向預(yù)先集成驗證的子系統(tǒng)的方式轉(zhuǎn)變。這種新的設(shè)計方式和產(chǎn)品形態(tài)，通過選用 Arm 廣泛應(yīng)用于智能視覺領(lǐng)域的處理器和系統(tǒng) IP，并根據(jù)客戶的特定應(yīng)用引入第三方 IP，構(gòu)建出相對標(biāo)準(zhǔn)化的 IP 組合，集成后 IP 組合必須經(jīng)過預(yù)先驗證。此外，該 IP 組合還將搭配對應(yīng)的 Arm 虛擬硬件（Arm Virtual Hardware）與參考軟件棧，形成堅實的基礎(chǔ)技術(shù)平臺。如此一來，不僅給予客戶足夠的靈活性和選擇，使企業(yè)可以專注于產(chǎn)品的差異化，加快產(chǎn)品上市時間，并且?guī)椭蛻麸@著降低芯片開發(fā)成本和風(fēng)險，大幅縮短研發(fā)周期。作為這樣產(chǎn)品形態(tài)的第一個范例便是 Arm 全新發(fā)布的智能視覺參考設(shè)計，首次將 Arm IP 與安謀科技的 IP 結(jié)合在一起，并由安謀科技預(yù)先集成和預(yù)先驗證。該方案的硬件參考設(shè)計包括 CPU、ISP、NPU 和 VPU 處理器選項，以及將子系統(tǒng)粘合在一起的互連和系統(tǒng) IP。?該視覺參考設(shè)計通過 Arm SystemReady 認(rèn)證和 PSA 安全認(rèn)證，保證對主流操作系統(tǒng)的支持和平臺安全性。而其 Arm 虛擬硬件可為生態(tài)伙伴提供虛擬模型，實現(xiàn)軟硬件協(xié)同設(shè)計，進(jìn)一步縮短系統(tǒng)設(shè)計周期。Arm 發(fā)布“全新智能視覺參考設(shè)計”滿足中國市場視覺應(yīng)用設(shè)備的強(qiáng)勁增長需求“全新的智能視覺參考設(shè)計也確實收獲了客戶正面的反饋。昱感微電子作為一家專注于智能感知 (包含機(jī)器視覺) 的芯片解決方案新創(chuàng)公司，該公司為了展現(xiàn)競爭力，需要聚焦資源在產(chǎn)品的差異化上，并快速推動產(chǎn)品上市進(jìn)程。根據(jù)昱感微電子 CEO 蔣宏的反饋：Arm 智能視覺參考設(shè)計可以很好地奠定該公司的底層技術(shù)根基，為他們大幅減低花費在基層技術(shù)架構(gòu)的心力，并將更多的時間與資源投入在其技術(shù)優(yōu)勢的開發(fā)，創(chuàng)造創(chuàng)新與差異，從而掌握市場機(jī)遇?！贝蛟靹?chuàng)新生態(tài) 共赴視覺未來隨著智能視覺來到新的節(jié)點，它將更普及地被應(yīng)用在各行各業(yè)，創(chuàng)建出更多的市場機(jī)遇，而行業(yè)中的軟硬件提供商，以及系統(tǒng)集成商都需要一個資源匯聚的平臺，快速實現(xiàn)創(chuàng)意，掌握商機(jī)?！癆rm 智能視覺合作伙伴計劃”應(yīng)運而生，將 AI、視覺、芯片設(shè)計、軟件、算法、系統(tǒng)集成等生態(tài)合作伙伴匯聚一處，共同協(xié)作。通過這項計劃，芯片設(shè)計服務(wù)商將能訪問且熟悉 Arm 的參考設(shè)計，并在參考設(shè)計的基礎(chǔ)上快速流片，助力客戶推出滿足 SystemReady 和 PSA 安全標(biāo)準(zhǔn)的芯片；另一方面，對于軟件提供商而言，Arm 智能視覺參考設(shè)計包含了云原生的開源視覺軟件堆棧，可為其客戶適配不同的應(yīng)用場景，為不同的設(shè)備制造商定制軟件，并進(jìn)行整合，測試與調(diào)優(yōu)，達(dá)到量產(chǎn)水平；此外，系統(tǒng)集成商通常具有芯片設(shè)計、固件軟件開發(fā)、創(chuàng)建 FPGA 甚至開發(fā)板的綜合能力，來提供一站式服務(wù)，他們能在這個計劃中優(yōu)化產(chǎn)品，并提升開發(fā)者體驗。“繼成為 Arm 首家在華圖像信號處理器的認(rèn)證調(diào)式夥伴后，誠邁科技也成為首批加入 Arm 智能視覺伙伴項目的成員。誠邁科技計算機(jī)視覺事業(yè)部總經(jīng)理韓薇明確表達(dá)：通過 Arm 先進(jìn)的處理器與 Arm 智能視覺參考設(shè)計，結(jié)合誠邁科技在軟件方面的專業(yè)積累與機(jī)器視覺的全套解決方案，加入這項計劃將能助力誠邁科技加速智能視覺在各領(lǐng)域的落地應(yīng)用，為客戶帶來更高效率、性能與創(chuàng)新優(yōu)勢?！盇rm 智能視覺合作伙伴計劃一經(jīng)推出便獲得業(yè)界的巨大支持，目前已有十多家生態(tài)伙伴已加入隨著 AI 和大模型的發(fā)展，智能視覺技術(shù)將無處不在。在視覺成為普適能力的趨勢下，預(yù)先集成、預(yù)先驗證的標(biāo)準(zhǔn)化子系統(tǒng)會為加速視覺產(chǎn)品設(shè)計和創(chuàng)新提供堅實的基礎(chǔ)。而實現(xiàn)視覺領(lǐng)域內(nèi)不斷創(chuàng)新的愿景更需要整個生態(tài)系統(tǒng)的協(xié)同合作，相信 Arm 及生態(tài)伙伴將共同創(chuàng)建智能視覺的未來！本文作者：Arm 物聯(lián)網(wǎng)事業(yè)部業(yè)務(wù)拓展副總裁 馬?。ㄎ恼聛碓垂娞枺篈rm社區(qū)）+++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++++關(guān)于億道電子上海億道電子技術(shù)有限公司是國內(nèi)資深的研發(fā)工具軟件提供商，公司成立于2009年，面向中國廣大的制造業(yè)客戶提供研發(fā)、設(shè)計、管理過程中使用的各種軟件開發(fā)工具，致力于幫助客戶提高研發(fā)管理效率、縮短產(chǎn)品設(shè)計周期，提升產(chǎn)品可靠性。十多年來，先后與ARM、Altium、Ansys、QT、Green Hills、Minitab、EPLAN、QA Systems、OpenText、Visu-IT、HighTec、PLS、Ashling、MSC Software、Autodesk、Source Insight、IncrediBuild、Lauterbach、Adobe、Testplant、TeamEDA等多家全球知名公司建立戰(zhàn)略合作伙伴關(guān)系，并作為他們在中國區(qū)的主要分銷合作伙伴服務(wù)了數(shù)千家中國本土客戶，為客戶提供從芯片級開發(fā)工具、EDA設(shè)計工具、軟件編譯以及測試工具、結(jié)構(gòu)設(shè)計工具、仿真工具、電氣設(shè)計工具、以及嵌入式GUI工具等等。億道電子憑借多年的經(jīng)驗積累，真正的幫助客戶實現(xiàn)了讓研發(fā)更簡單、更可靠、更高效的目標(biāo)。歡迎關(guān)注“億道電子”公眾號了解更多研發(fā)工具軟件知識
查看更多→
首頁 > 新聞資訊 > 
滬公網(wǎng)安備 44030602004326號