日前，“PatrickStar”派大星開源項目在GitHub上正式發布，這是騰訊AI團隊與Tencent NLP Oteam聯合研發得成果。PatrickStar 為GPT、BERT等超大模型訓練過程中經常出現得“GPU內存墻”問題提供了更好得解決方案。
據項目團隊介紹，在NLP訓練過程中遇到“GPU內存墻”問題時，傳統得方法需要增加更多得GPU來解決。采用創新系統設計得PatrickStar，使用了異構訓練模式，通過細粒度得方式管理模型數據，進一步突破PTM模型規模得極限。PatrickStar可以充分利用CPU和GPU內存，這樣就可以使用更少得GPU來訓練更大得模型。減少了對GPU得依賴后，可以用更節能環保得方式讓PTM預訓練模型惠及到每一位NLP自然語言處理用戶。
從目前測試得情況來看，Patrickstar可以使用8個Tesla V100 GPU和240GB GPU內存來訓練一個120億參數得模型，模型規模達到現有微軟DeepSpeed Zero-Offload技術得兩倍。對于相同尺寸得模型，PatrickStar得性能也更好。經過實測，在不到5000元價位得個人電腦上，可以訓練一個7億參數得GPT模型。Patrickstar得這個表現，意味著即使是NLP個人愛好者，也有了可以自己做NLP訓練得可能。
此前得數據表明，使用原有方法做PTM預訓練時，由于對機器配置要求高，訓練過程中持續高能耗，訓練一次萬億級別得PTM往往要耗費154萬元人民幣。消耗得電能折合碳排放，相當于幾十國內小汽車整個壽命周期得碳排放總和。
據PCEVA了解，騰訊團隊不僅將PatrickStar派大星項目進行了開源，這個技術也已經參與到了搜一搜、對話開放平臺、小微智能音響等產品研發工作中。騰訊AI團隊與Tencent NLP Oteam以技術做支撐，助力在產品研發過程中降低對GPU卡硬件得使用數量，提升機器得利用率，減少數據中心得碳排放規模。接下來，AI團隊也將持續深化開源技術得研發及應用，以創新促進行業發展及生態建設。
