全場景AI推理引擎MindSpore Lite， 助力HMS Core視頻編輯服務打造更智能的剪輯體驗
2022-04-29 13:47:35

移動互聯網的發(fā)展給人們的社交和娛樂方式帶來了很大的改變，以vlog、短視頻等為代表的新興文化樣態(tài)正受到越來越多人的青睞。同時，隨著AI智能、美顏修圖等功能在圖像視頻編輯App中的應用，促使視頻編輯效率和視頻效果得到了很大的提升，也讓視頻應用場景更加豐富。

當前剪輯產品功能多樣、素材豐富，但是開發(fā)周期較長、門檻較高。為了讓剪輯軟件更加智能、簡單易用，提升開發(fā)者的效率，HMS Core 6為開發(fā)者提供視頻編輯服務（Video Editor Kit），提供視頻導入、編輯、渲染、導出、媒資管理等一站式視頻處理能力。除了支持完整的傳統(tǒng)視頻編輯功能，視頻編輯服務還提供了諸如專屬濾鏡、人物追蹤、一鍵染發(fā)等豐富的AI處理能力輔助視頻創(chuàng)作，為用戶帶來更加暢快的創(chuàng)作靈感，打造更加智能的剪輯體驗。

圖1. 基于AI能力的專屬濾鏡、人物追蹤、一鍵染發(fā)效果展示

多樣化的智能視頻處理能力是由一個個神經網絡模型實現的，由于訓練好的模型文件較大（單個模型大小一般為十幾甚至幾十兆），而手機等設備ROM和RAM空間大小有限，如何以更少的終端設備空間占用為開發(fā)者提供更豐富的智能化視頻處理能力，成為移動應用視頻編輯面臨的一大挑戰(zhàn)。

為解決以上挑戰(zhàn)，HMS Core視頻編輯服務選擇使用華為自研AI框架MindSpore Lite進行神經網絡模型推理。MindSpore Lite是一款全場景AI推理引擎，通過統(tǒng)一API接口支持在端、邊、云的不同環(huán)境快速部署，支持HarmonyOS、Android、iOS、Windows等多種操作系統(tǒng)，支持Ascend、GPU、CPU（x86、arm……）等多種硬件執(zhí)行。除支持MindSpore訓練出的模型格式，MindSpore Lite還支持TensorFlow，TensorFlow Lite、Caffe、ONNX等第三方模型格式的轉換及推理。

?圖2. MindSpore Lite架構圖

MindSpore Lite為AI模型推理提供高性能和超輕量的解決方案：通過高效的內核算法和匯編級優(yōu)化，以及CPU、GPU、NPU的異構調度，可以充分發(fā)揮硬件算力，實現最小化推理時延和功耗；提供模型量化壓縮技術，采用訓練后量化（Post-Training Quantization, PTQ），無需數據集即可直接將權重數據從浮點型映射到低比特的定點數據，有效降低模型大小，助力AI模型在資源受限環(huán)境下的部署執(zhí)行。

圖3. 量化技術原理介紹

針對權重數據的量化支持固定比特量化和混合比特量化兩種形式。固定比特量化采用Bit-Packing的方式，支持1-16任意比特的權重量化，滿足用戶在不同壓縮場景下的要求，同時針對模型量化后的數據分布情況，自動選擇合適的編碼策略進行壓縮編碼，從而達到最優(yōu)的壓縮效果。

圖4. 固定比特量化壓縮

混合比特量化根據神經網絡不同層對量化損失的敏感度不同的特點，采用均方誤差作為優(yōu)化目標，自動搜索出最適合當前層的比特位，在保證精度的同時實現更大的壓縮率。同時針對量化后的模型，采用有限狀態(tài)熵(Finite State Entropy, FSE)對量化后的權重數據進行熵編碼進一步壓縮，實現對模型的高效壓縮，提升模型傳輸速率和減少模型存儲空間。

圖5. 混合比特量化壓縮

除此之外，量化時還會采用Bias Correction的方式，最小化其量化誤差。Bias Correction會根據權重數據固有的統(tǒng)計學特性，反量化時對其進行校準，使權重值量化前后具有相同的期望和方差，能夠大幅度提高模型精度。

視頻編輯服務中的AI模型采用MindSpore Lite提供的混合比特量化方式，最終在保證精度的同時達到了平均5x+的模型壓縮效果，例如一鍵染發(fā)的模型從原來的20.86M壓縮到3.76M，有效解決了模型過多、文件過大導致的部署困難問題。

圖6. 視頻編輯模型量化效果（來源于MindSpore Lite實測數據）

通過對AI模型的量化壓縮，在ROM空間占用不變的前提下，保障剪輯產品可以部署更多的AI模型，充分發(fā)揮AI能力來提供更多的特效應用場景，使得剪輯功能更加強大、更加智能。華為官方剪輯軟件花瓣剪輯在接入視頻編輯服務能力后，用戶可通過使用專屬濾鏡、人物追蹤等AI視頻剪輯功能（部分特性隨花瓣剪輯App升級陸續(xù)開放），讓視頻剪輯更便捷和更富有趣味性。

MindSpore Lite致力于打造高性能、超輕量級的全場景 AI引擎，除高性能內核算法及硬件異構調度、量化壓縮之外，還提供端云協(xié)同的一站式訓練和推理能力。HMS Core視頻編輯服務基于MindSpore Lite，助力開發(fā)者打造更加易用且智能的剪輯工具。

欲了解更多信息，歡迎訪問官網

??華為開發(fā)者聯盟HMS Core官網??

??MindSpore官網??

??MindSpore開源社區(qū)??