HiLens是業(yè)界首個端云協(xié)同多模態(tài)AI應(yīng)用開發(fā)框架,以簡潔統(tǒng)一的API降低AI應(yīng)用開發(fā)者的上手難度,在保持高性能的前提下,簡化開發(fā)者工作量。HiLens Framework則為開發(fā)者提供了一套開發(fā)工具,讓開發(fā)者不必重復(fù)制造輪子,直接調(diào)用相關(guān)模塊的API,即可規(guī)范快速地開發(fā)出高性能的端云協(xié)同多模態(tài)AI技能和應(yīng)用。
HiLens Framework開源,有力提速端云協(xié)同AI部署
現(xiàn)代生活中,很多地方都有AI應(yīng)用落地的場景和例子。比如在線下零售門店中,可以通過攝像頭精準(zhǔn)識別用戶,實(shí)現(xiàn)千人千面的個性化定制服務(wù);在無人車比賽中,高速行駛的無人車通過快速識別圖像,實(shí)現(xiàn)實(shí)時推理,做出準(zhǔn)確決策;在家里,具備AI能力的攝像頭,可以實(shí)時看護(hù)老人、兒童的狀態(tài),一旦發(fā)生意外,就能第一時間發(fā)出警報;在各行業(yè)中通過OCR文字快速智能識別各種文本和票據(jù)等。
在這些應(yīng)用場景中,有些數(shù)據(jù)敏感且要求實(shí)時處理響應(yīng),但往往因?yàn)榫W(wǎng)絡(luò)不夠穩(wěn)定,無法上傳到云端處理,因而采用端云協(xié)同方式,結(jié)合云上高效開發(fā)和邊端側(cè)的敏捷快速部署,既能保證AI計算的性能,又能兼顧用戶隱私訴求,更加快捷高效。
但如何實(shí)現(xiàn)圖像、聲音等數(shù)據(jù)的端云協(xié)同AI計算呢?很多方案都存在AI運(yùn)算能力不強(qiáng)、難以實(shí)現(xiàn)復(fù)雜的定制化功能、初學(xué)者上手難度太大、部署繁雜等缺點(diǎn),無法在工業(yè)或商業(yè)用途中大規(guī)模落地應(yīng)用。
華為云關(guān)注到這種用戶需求,在2018年的華為全聯(lián)接大會上,推出了業(yè)界首個端云協(xié)同多模態(tài)AI開發(fā)應(yīng)用平臺Huawei HiLens,支持視頻、音頻、圖片、紅外等多模態(tài)數(shù)據(jù)的AI應(yīng)用開發(fā)、AI應(yīng)用在線部署、海量設(shè)備管理等,能夠?qū)佣喾N端側(cè)計算設(shè)備,為諸多場景的AI應(yīng)用提供了更大發(fā)揮空間。
Huawei HiLens發(fā)布兩年后的今天,華為云宣布開源HiLens Framework,作為HiLens的端云協(xié)同多模態(tài)AI應(yīng)用開發(fā)框架,簡化了HiLens Kit技能開發(fā)者的開發(fā)工作,以簡潔統(tǒng)一的API降低AI技能應(yīng)用開發(fā)者的上手難度,在保持高性能的前提下,簡化開發(fā)者工作量。10分鐘即刻學(xué)會開發(fā)技能;性能普遍提升3倍,代碼量減少80%,開發(fā)周期縮短70%,開發(fā)成本降低90%。
以音頻解碼+片段截取+預(yù)處理的代碼撰寫為例,基于TensorFlow/OpenCV 需要100+行,而采用HiLens Framework則只需3行;以模式初始化+推理的代碼撰寫為例,基于TensorFlow/OpenCV 往往需要20+行,而采用HiLens Framework則只需2行。
此次HiLens Framework開源,涉及了音視頻輸入、媒體處理、模型推理、資源管理、日志系統(tǒng)、EI 服務(wù)接口、輸出管理等功能模塊,通過HiLens Framework開發(fā)的AI應(yīng)用可移植運(yùn)行到任何基于Ascend 310設(shè)備上,提供常用語言Python和C++接口,符合AI開發(fā)者的開發(fā)習(xí)慣。
HiLens Framework的開源,能夠很好地幫助開發(fā)者快速定位AI開發(fā)中的問題,進(jìn)而快速解決問題,實(shí)現(xiàn)端云協(xié)同AI的快速開發(fā)和落地。同時,將吸引更多的外圍設(shè)備輸入、輸出,更多的外圍工具集成等,更將匯聚開發(fā)者力量,豐富完善HiLens Framework集成能力,擴(kuò)大HiLens端云協(xié)同影響力,同時拓展華為昇騰生態(tài)和華為云生態(tài)。
10倍提升開發(fā)效率,加速AI應(yīng)用落地
AI應(yīng)用開發(fā)框架HiLens Framework是打通端云協(xié)同的重要技術(shù)環(huán)節(jié),與開發(fā)環(huán)境HiLens Studio、管理平臺和多模態(tài)AI技能市場一起,大大加速了開發(fā)者的開發(fā)效率,幫助行業(yè)快速構(gòu)建設(shè)備端與云上能力高效協(xié)同的HiLens智慧解決方案,通過HiLens Kit、Atlas500智能小站、第三方商用攝像頭等端側(cè)設(shè)備,提供了高效易用、成本低廉的AI應(yīng)用開發(fā)方案,能夠快速部署于商超、園區(qū)、家庭、工業(yè)等應(yīng)用場景。
AI落地使用邊緣計算的應(yīng)用場景時,往往場景數(shù)據(jù)都存在差異,難以用一個AI模型達(dá)到最佳性能。華為云HiLens與邊緣云創(chuàng)新lab技術(shù)合作,推出難例上傳與MA Pro HiLens套件結(jié)合的增量學(xué)習(xí)模板,實(shí)現(xiàn)了對模型的增量訓(xùn)練,使得AI模型在具體應(yīng)用場景中越用越聰明。
例如,某工廠出于安全原因,采用視頻監(jiān)控智能檢測現(xiàn)場人員安全帽佩戴情況。項(xiàng)目部署方在HiLens技能市場檢索后發(fā)現(xiàn),這一應(yīng)用場景已有基礎(chǔ)模型,直接購買安裝后先搭建出基礎(chǔ)的技能。然后再通過HiLens Framework的接口將難以識別的部分?jǐn)?shù)據(jù)篩選出來,上傳到自己賬戶下的云端存儲,借助ModleArts Pro HiLens套件,在基礎(chǔ)模型上增量訓(xùn)練,使得模型越用越聰明,最終訓(xùn)練出符合該工廠環(huán)境的模型,實(shí)現(xiàn)根據(jù)具體應(yīng)用場景的模型定制化。在這一過程中,該工廠僅用800張安全帽檢測實(shí)踐數(shù)據(jù),就將模型精度從80%快速提升到90%,漏檢率從25%下降到10%,通過幾次難例上傳與迭代,部署時間從原計劃的3個月縮減到1個月,有效地推進(jìn)了行業(yè)應(yīng)用落地。
端云協(xié)同,拓展新生態(tài)
HiLens Framework的開源如水到渠成,不止向開發(fā)者提供一個AI應(yīng)用的高效開發(fā)框架,還進(jìn)一步推動華為云HiLens與華為云ModelArts PRO視覺計算AI平臺的結(jié)合,形成一整套的AI模型訓(xùn)練、應(yīng)用開發(fā)、分發(fā)部署的端云協(xié)同管理平臺。
當(dāng)HiLens用戶通過HiLens Framework連接到ModelArts Pro,就進(jìn)入了一個更加廣闊的AI世界,聯(lián)接了從昇騰芯片、MindSpore開發(fā)框架,再到華為全棧全場景AI解決方案,以及華為不斷積累的各行業(yè)AI經(jīng)驗(yàn)。
此次HiLens Framework的開源,如同一條金線,一頭穿起華為云的云端AI能力,另一頭穿起更多AI場景,讓云端協(xié)同的邊緣計算更易于部署落地,推動AI更加普惠,在開發(fā)者的共同推動下,AI將拓展將到日常生產(chǎn)、生活的方方面面,和每個人都息息相關(guān)。
當(dāng)前,HiLens已擁有80+生態(tài)伙伴,助力企業(yè)開發(fā)者加速商業(yè)落地,如上海意賦教育等。已擁有30+高校,助力AI教育和科學(xué)研究,如浙江大學(xué)、上海交通大學(xué)等,歡迎更多開發(fā)者加入到HiLens Framework的開源項(xiàng)目中來。