本文分享自華為云社區(qū)《在昇騰平臺上對TensorFlow網絡進行性能調優(yōu)-云社區(qū)-華為云》，作者：昇騰CANN 。
用戶將TensorFlow訓練網絡遷移到昇騰平臺后，如果存在性能不達標的問題，就需要進行調優(yōu)。本文就帶大家了解在昇騰平臺上對TensorFlow訓練網絡進行性能調優(yōu)的常用手段。
首先了解下性能調優(yōu)的全流程：
當TensorFlow訓練網絡性能不達標時，首先可嘗試昇騰平臺提供的“三板斧”操作，即上圖中的“基本提升手段”：使能自動混合精度 > 進行親和接口的替換 > 使能訓練迭代循環(huán)下沉 > 使用AOE工具進行調優(yōu)。
基本調優(yōu)操作完成后，需要再次執(zhí)行模型訓練并評估性能，如果性能達標了，調優(yōu)即可結束；如果未達標，需要使用Profling工具采集詳細的性能數據進一步分析，從而找到性能瓶頸點，并進一步針對性的解決，這部分調優(yōu)操作需要用戶有一定的經驗，難度相對較大，我們將這部分調優(yōu)操作稱為進階調優(yōu)。
本文主要帶大家詳細了解基本調優(yōu)操作，即上圖中的灰色底紋部分。
使能自動混合精度混合精度是業(yè)內通用的性能提升方式，通過降低部分計算精度提升數據計算的并行度。混合計算訓練方法通過混合使用float16和float32數據類型來加速深度神經網絡的訓練過程，并減少內存使用和存取，從而可以提升訓練網絡性能，同時又能基本保證使用float32訓練所能達到的網絡精度。
Ascend平臺提供了“precision_mode”參數用于配置網絡的精度模式，用戶可以在訓練腳本的運行配置中添加此參數，并將取值配置為“allow_mix_precision”，從而使能自動混合精度，下面以手工遷移的訓練腳本為例，介紹配置方法。
針對TensorFlow訓練網絡中的dropout、gelu接口，Ascend平臺提供了硬件親和的替換接口，從而使網絡獲得更優(yōu)性能。
例如，TensorFlow原始代碼：
遷移后的代碼：
from npu_bridge.estimator.npu_unary_ops import npu_unary_opslayers = npu_unary_ops.gelu(x)訓練迭代循環(huán)下沉
訓練迭代循環(huán)下沉是指在Host調用一次，在Device執(zhí)行多次迭代，從而減少Host與Device間的交互次數，縮短訓練時長。用戶可通過iterations_per_loop參數指定訓練迭代的次數，該參數取值大于1即可使能訓練迭代循環(huán)下沉的特性。
使用該特性時，要求訓練腳本使用TF Dataset方式讀數據，并開啟數據預處理下沉，即enable_data_pre_proc開關配置為True，例如sess.run配置示例如下：
custom_op.parameter_map["enable_data_pre_proc"].b = True
其他使用約束，用戶可參見昇騰文檔中心（昇騰社區(qū)-官網丨昇騰萬里 讓智能無所不及）的《TensorFlow模型遷移和訓練指南》。
Estimator模式下，通過NPURunConfig中的iterations_per_loop參數配置訓練迭代循環(huán)下沉的示例如下：
session_config=tf.ConfigProto(allow_soft_placement=True)config = NPURunConfig(session_config=session_config, iterations_per_loop=10)AOE自動調優(yōu)
昇騰平臺提供了AOE自動調優(yōu)工具，可對網絡進行子圖調優(yōu)、算子調優(yōu)與梯度調優(yōu)，生成最優(yōu)調度策略，并將最優(yōu)調度策略固化到知識庫。模型再次訓練時，無需開啟調優(yōu)，即可享受知識庫帶來的收益。
建議按照如下順序使用AOE工具進行調優(yōu)：
訓練場景下使能AOE調優(yōu)有兩種方式：
sess.run模式，訓練腳本修改方法如下：
custom_op.parameter_map["aoe_mode"].s = tf.compat.as_bytes("2")
estimator模式下，訓練腳本修改方法如下：
config = NPURunConfig( session_config=session_config, aoe_mode=2)
以上就是TensorFlow網絡在昇騰平臺上進行性能調優(yōu)的常見手段。關于更多文檔介紹，可以在昇騰文檔中心查看，您也可在昇騰社區(qū)在線課程板塊（昇騰社區(qū)-官網丨昇騰萬里 讓智能無所不及）學習視頻課程，學習過程中的任何疑問，都可以在昇騰論壇互動交流！
相關參考：[1]昇騰文檔中心
[2]昇騰社區(qū)在線課程
[3]昇騰論壇
關注#華為云開發(fā)者聯(lián)盟#點擊下方，第一時間了解華為云新鮮技術~
華為云博客_大數據博客_AI博客_云計算博客_開發(fā)者中心-華為云
