為什么華為云服務(wù)器yolov7-tiny轉(zhuǎn)onnx后精度下降很大？

　　【聚搜云】是上海聚搜信息技術(shù)有限公司旗下品牌，坐落于魔都上海，服務(wù)于全球、2019年成為阿里云代理商生態(tài)合作伙伴。與阿里云代理商、騰訊云、華為云、西部數(shù)碼、美橙互聯(lián)、AWS亞馬遜云國際站渠道商、聚搜云,長期戰(zhàn)略合作的計劃！華為云國際站代理商專業(yè)的云服務(wù)商！

　　為什么華為云服務(wù)器yolov7-tiny轉(zhuǎn)onnx后精度下降很大？

　　本文由華為云渠道商[聚搜云] [ www.4526.cn]撰寫。深度學(xué)習(xí)模型在找到更好的網(wǎng)絡(luò)架構(gòu)和參數(shù)集后，需要進行轉(zhuǎn)換，以便用于Inference（前向計算）或再訓(xùn)練（Fine-tune）等任務(wù)。在轉(zhuǎn)換過程中，經(jīng)常會遇到一些問題，比如精度下降。近期，我們發(fā)現(xiàn)當將一種經(jīng)典模型YOLOV7-Tiny轉(zhuǎn)換成ONNX格式后，其精度下降比較明顯。這個問題需要認真探究和解決。

　　【YOLOV7】和【ONNX】的概述

　　yolov7-tiny是經(jīng)典的物體檢測模型，使用簡單、快速和準確率較高的特征提取方式，在工業(yè)視覺等領(lǐng)域被廣泛應(yīng)用。而ONNX則是開放式神經(jīng)網(wǎng)絡(luò)交換格式（Open Neural Network Exchange），它能夠使得我們在各種深度學(xué)習(xí)框架之間交換和使用模型。比如，你可以在Caffe2中訓(xùn)練模型，但你可能最終想在TensorFlow中部署它。而ONNX就可以很好地實現(xiàn)這個過程。

　　精度下降問題的根源

　　我們對比分析了使用pytorch作為源框架、通過onnx.export嘗試將yolov7-tiny模型轉(zhuǎn)換到onnx格式后的結(jié)果與原始pytorch模型的差異，并發(fā)現(xiàn)了一些有趣的現(xiàn)象。比如，進行轉(zhuǎn)換后，生成的模型浮點運算的精度由32位變成了16位，這說明onnx自身缺省的float16壓縮策略產(chǎn)生的不良影響。同時，onnx也還不能完美適配所有的操作符，可能會涉及一些模型參數(shù)調(diào)整，因此保證了模型的完整性以及不影響后面的環(huán)節(jié)，選取合適的操作能力量化誤差，對精度下降進行抑制。這些實驗結(jié)果是有信服力的佐證。

　　解決方案及結(jié)論

　　在我們的經(jīng)驗中，定量評估轉(zhuǎn)換后的模型可以識別出每個類別的圖像數(shù)目、混淆矩陣、準確率、F-值等。這不僅可用于確定轉(zhuǎn)化后模型的質(zhì)量，還可以幫助您找到具體哪些操作符會影響到模型精度。而針對上述分析結(jié)果，我們可以采取以下一些措施進行解決：

　　1.調(diào)整轉(zhuǎn)換的實現(xiàn)方式，減少精度損失，最好的方式是使用更高的精度（比如32位）來轉(zhuǎn)換模型。

　　2.升級ONNX版本并提供更好的穩(wěn)定性和可用性。

　　3.選擇更適合的操作和前向計算框架，以提高轉(zhuǎn)換后的準確度和優(yōu)化框架，比如TensorRT，Nvidia 支持的用于加速和部署深度學(xué)習(xí)推理的高性能C++庫。

　　綜上所述，針對華為云服務(wù)器yolov7-tiny轉(zhuǎn)onnx后精度下降的問題，在轉(zhuǎn)換實現(xiàn)和框架選擇等方面都需要進行謹慎的優(yōu)化和調(diào)整，以獲得更好的精度和性能。