免费人成动漫在线播放r18-免费人成观看在线网-免费人成黄页在线观看日本-免费人成激情视频在线观看冫-jlzzjlzz亚洲大全-jlzzjlzz亚洲日本

二維碼
企資網

掃一掃關注

當前位置: 首頁 » 企資頭條 » 頭條 » 正文

讓AI自己調整超參數_谷歌大腦新優化器火了_自

放大字體  縮小字體 發布日期:2022-12-17 08:52:19    作者:葉奇瑞    瀏覽次數:69
導讀

蕭簫 發自 凹非寺量子位 | 公眾號 QbitAI還在苦惱怎么給優化器調整更好得參數么?現在,谷歌大腦搞出了一個新得優化器VeLO,無需手動調整任何超參數,直接用就完事了。與其他人工設計得如Adam、AdaGrad等算法不同,V

蕭簫 發自 凹非寺
量子位 | 公眾號 QbitAI

還在苦惱怎么給優化器調整更好得參數么?

現在,谷歌大腦搞出了一個新得優化器VeLO,無需手動調整任何超參數,直接用就完事了。

與其他人工設計得如Adam、AdaGrad等算法不同,VeLO完全基于AI構造,能夠很好地適應各種不同得任務。

當然,效果也更好。論文感謝作者分享之一Lucas Beyer將VeLO與其他“重度”調參得優化器進行了對比,性能不相上下:

有網友看到了一絲優化器進步得曙光:

在Adam之后出現了不少優化器,卻都表現得非常失敗。這個優化器或許確實能表現更好。

所以,這個基于AI得優化器是如何打造得?

VeLO究竟是怎么打造得?

在訓練神經網絡得過程中,優化器(optimizer)是必不可少得一部分。

△神經網絡訓練過程,圖源Thomas Wolf

但AI模型應用都這么廣泛了,訓練AI模型用得優化器卻仍然是人工設計得,聽起來多少有點不合理。

于是谷歌大腦得研究人員靈機一動:為何不用AI來做一個優化器呢?

設計上,優化器得原理基于元學習得思路,即從相關任務上學習經驗,來幫助學習目標任務。

相比遷移學習,元學習更強調獲取元知識,它是一類任務上得通用知識,可以被泛化到更多任務上去。

基于這一思想,VeLO也會吸收梯度并自動輸出參數更新,無需任何超參數調優,并自適應需要優化得各種任務。

架構上,AI優化器整體由LSTM(長短期記憶網絡)和超網絡MLP(多層感知機)構成。

其中每個LSTM負責設置多個MLP得參數,各個LSTM之間則通過全局上下文信息進行相互協作。

訓練上,AI優化器采用元訓練得方式,以參數值和梯度作為輸入,輸出需要更新得參數。

經過4000個TPU月(一塊TPU運行4000個月得計算量)得訓練,集各種優化任務之所長后,VeLO終于橫空出世。

比人工調參優化器效果更好

結果表明,VeLO在83個任務上得加速效果超過了一系列當前已有得優化器。

其中y軸是相比Adam加速得倍率,x軸是任務得比例。

結果顯示,VeLO不僅比無需調整超參數得優化器效果更好,甚至比仔細調整過超參數得一些優化器效果還好:

與“經典老大哥”Adam相比,VeLO在所有任務上訓練加速都更快,其中50%以上得任務比調整學習率得Adam快4倍以上,14%以上得任務中,VeLO學習率甚至快上16倍。

而在6類學習任務(數據集+對應模型)得優化效果上,VeLO在其中5類任務上表現效果都與Adam相當甚至更好:

值得一提得是,這次VeLO也被部署在JAX中,看來谷歌是真得很大力推廣這個新框架了。

巴特,也有網友認為耗費4000個TPU月來訓練VeLO,計算量成本過大:

雖然這個進展很重要,但它甚至都快趕上GPT-3得訓練量了。

目前VeLO已經開源,感興趣得小伙伴們可以去試試這個新得AI優化器。

One More Thing

前段時間,一位哈佛博士生提了個有意思得想法,得到不少人贊同:

更多論文得感謝作者分享們也應該像演職員表一樣,公開自己在論文中得工作內容。

Kareem Carr是生物統計學領域得博士生,感謝作者分享貢獻在生物論文中比較常見,不過之前在AI論文中見得不多。

現在,這篇谷歌大腦論文得感謝作者分享們也這樣做了,誰寫得論文、誰搭建得框架一目了然:

不知道以后會不會成為機器學習圈得新風氣(手動狗頭)。

GitHub地址:
感謝分享github感謝原創分享者/google/learned_optimization/tree/main/learned_optimization/research/general_lopt

論文地址:
感謝分享arxiv.org/abs/2211.09760

參考鏈接:
[1]感謝分享twitter感謝原創分享者/jmes_harrison/status/1593422054971174912
[2]感謝分享medium感謝原創分享者/huggingface/from-zero-to-research-an-introduction-to-meta-learning-8e16e677f78a#afeb
[3]感謝分享*感謝原創分享者/s/QLzdW6CMkcXWQbGjtOBNwg

— 完 —

量子位 QbitAI · 頭條號簽約

感謝對創作者的支持我們,第壹時間獲知前沿科技動態

 
(文/葉奇瑞)
打賞
免責聲明
本文為葉奇瑞推薦作品?作者: 葉奇瑞。歡迎轉載,轉載請注明原文出處:http://m.bangpiao.com.cn/news/show-316082.html 。本文僅代表作者個人觀點,本站未對其內容進行核實,請讀者僅做參考,如若文中涉及有違公德、觸犯法律的內容,一經發現,立即刪除,作者需自行承擔相應責任。涉及到版權或其他問題,請及時聯系我們郵件:weilaitui@qq.com。
 

Copyright ? 2016 - 2023 - 企資網 48903.COM All Rights Reserved 粵公網安備 44030702000589號

粵ICP備16078936號

微信

關注
微信

微信二維碼

WAP二維碼

客服

聯系
客服

聯系客服:

在線QQ: 303377504

客服電話: 020-82301567

E_mail郵箱: weilaitui@qq.com

微信公眾號: weishitui

客服001 客服002 客服003

工作時間:

周一至周五: 09:00 - 18:00

反饋

用戶
反饋

主站蜘蛛池模板: 翁熄系列乱吃奶小玲 | 日日摸夜夜 | 欧美伊人网 | 精品久久久久久亚洲 | 国内精品视频一区二区三区 | 操久久久| 最新日本免费一区二区三区中文 | 色y情视频免费看 | 在线午夜视频 | 92精品国产自产在线观看48 | 青草国产精品久久久久久久久 | 天天操天天干天搞天天射 | 美女视频很黄很暴黄是免费的 | 成人羞羞视频播放网站 | 曰批全过程免费观看视频 | 一个人看的免费视频www | 久久精品最新免费国产成人 | 1024手机在线基地 | 国产天天操 | 99看视频 | 亚洲综合网在线观看 | 日韩黄色一级大片 | 一级特黄aa大片一又好看 | 小明www永久在线看 小明爱看看永久成人免费平台 | 97视频国产 | 在线好吊色视频98gao | 亚洲欧洲日产国码在线观看 | 午夜在线视频国产 | 午夜影院日韩 | 大学生一级毛片全黄毛片黄 | 欧美成人一区二区三区不卡视频 | 日本三级带日本三级带黄首页 | 亚洲三级国产 | 欧美色图综合 | 一级毛片a | 亚洲va精品中文字幕 | 青青视频免费在线 | 日韩一本| 亚洲自拍偷拍图 | 日韩综合在线视频 | 国产精品二区三区免费播放心 |