HUAWEI HiAI Foundation端云協(xié)同助力開(kāi)發(fā)者快速上線新業(yè)務(wù)

目前AI服務(wù)和算法模型不斷快速演進(jìn)，AI計(jì)算平臺(tái)難以快速適應(yīng)新服務(wù)、升級(jí)新算法。

為了幫助開(kāi)發(fā)者快速推出新業(yè)務(wù)，為消費(fèi)者提供新體驗(yàn)，華為HiAI  Foundation在華為開(kāi)發(fā)者大會(huì)2021(HDC)上發(fā)布了全新技術(shù)功能——端云協(xié)同。一起)。端云協(xié)作是為新業(yè)務(wù)場(chǎng)景運(yùn)營(yíng)商和現(xiàn)有典型業(yè)務(wù)場(chǎng)景運(yùn)營(yíng)商提供性能優(yōu)化和平臺(tái)能力快速升級(jí)的解決方案。它擁有可變的計(jì)算框架和廣泛的模型結(jié)構(gòu)，幫助開(kāi)發(fā)者快速支持新模型和推出新服務(wù)，讓消費(fèi)者快速獲得端側(cè)AI帶來(lái)的體驗(yàn)提升。

把運(yùn)營(yíng)商庫(kù)放到云端，老手機(jī)“煥發(fā)青春”

首先，端云協(xié)同解決了老手機(jī)的“新服務(wù)”問(wèn)題。

以往消費(fèi)者想要體驗(yàn)最新的AI功能和服務(wù)，需要等待運(yùn)營(yíng)商庫(kù)更新，而運(yùn)營(yíng)商庫(kù)內(nèi)置在手機(jī)的ROM中，只有在手機(jī)新版本更新時(shí)才能更新運(yùn)營(yíng)商庫(kù)。但是，舊手機(jī)的版本更新次數(shù)會(huì)隨著時(shí)間的推移而減少，甚至?xí)Ｖ狗?wù)，停止更新。如果手機(jī)版本不更新，運(yùn)營(yíng)商庫(kù)的升級(jí)將成為難題，消費(fèi)者體驗(yàn)將被耽誤。此外，新功能從開(kāi)發(fā)到rom升級(jí)的周期也是幾個(gè)月，極大影響了新業(yè)務(wù)推出的周期。

端對(duì)云協(xié)同可以讓老手機(jī)用戶更靈活地享受更新更好的服務(wù)，不受終端版本的限制?；谌A為端核云的優(yōu)勢(shì)，——底層是計(jì)算芯片和HiAI  Foundation，端側(cè)有預(yù)設(shè)的HiAI  Engine，云側(cè)有自己的計(jì)算庫(kù)插件更新云，HiAI  Foundation可以把運(yùn)營(yíng)商庫(kù)放到云中。當(dāng)新支持的運(yùn)營(yíng)商或性能優(yōu)化發(fā)布后，華為HiAI  Foundation會(huì)在空閑時(shí)間默默自動(dòng)更新新的運(yùn)營(yíng)商庫(kù)。開(kāi)發(fā)者只需要在APP開(kāi)發(fā)的時(shí)候正常調(diào)用，不知覺(jué)地使用升級(jí)后的計(jì)算能力，就可以刷新舊手機(jī)。

fde4c2e8-42c3-11ec-b939-dac502259ad0.png

(HiAI基金會(huì)云協(xié)作示意圖)

將模型放到云中，開(kāi)發(fā)人員可以根據(jù)需要使用它。

其次，端云協(xié)作可以快速匹配開(kāi)發(fā)者的需求，幫助他們降低開(kāi)發(fā)成本。

通常，應(yīng)用程序開(kāi)發(fā)的理想狀態(tài)是一個(gè)模型可以應(yīng)用于所有類型的手機(jī)終端。雖然在CPU上運(yùn)行該模型可以實(shí)現(xiàn)這一目標(biāo)，但傳統(tǒng)的以CPU為核心的計(jì)算架構(gòu)已經(jīng)不能滿足當(dāng)前應(yīng)用對(duì)計(jì)算性能的強(qiáng)烈需求，很多應(yīng)用只有借助NPU強(qiáng)大的計(jì)算能力才能將功能發(fā)揮到極致。此時(shí)，開(kāi)發(fā)人員需要為NPU定制模型，但問(wèn)題隨之而來(lái)。一方面，不可能在打包的一個(gè)SDK中下載所有的模型，另一方面，API的大小會(huì)受到限制，開(kāi)發(fā)麻煩會(huì)增加而不是減少。

HiFoundation的云協(xié)同解決方案支持開(kāi)發(fā)者將模型放入云端，不僅可以節(jié)省APP的體積，還可以為芯片獨(dú)立部署最佳模型，最大化用戶體驗(yàn)。端云協(xié)同技術(shù)不會(huì)干擾開(kāi)發(fā)者的任何模型數(shù)據(jù)，真正建立起完整的生態(tài)屏障，幫助各行業(yè)開(kāi)發(fā)者加速業(yè)務(wù)應(yīng)用的落地。

fe6c9a4c-42c3-11ec-b939-dac502259ad0.png

(HiAI基金會(huì)云協(xié)作示意圖)

未來(lái)是一個(gè)以智力為主導(dǎo)的時(shí)代。HiFoundation將利用這一端云協(xié)同的渠道，進(jìn)一步放大端側(cè)的AI能力，通過(guò)端云協(xié)同的運(yùn)營(yíng)商搜索、融合策略、異構(gòu)細(xì)分策略、FFTL等技術(shù)賦能NPU模型，快速、高效地解決開(kāi)發(fā)者的技術(shù)難題