j9九游会网址，LeCun改造Transformer！9行代码替代归一化性能不减还加速

　　j9九游会网址，j9九游会网址，j9九游会网址，从视觉的ViT/MAE，到语言模型的LLaMA，再到语音、DNA系列等模态都可以用，完整代码库已开源。

　　网友评价说，只要元素级运算就能实现和归一化一样的效果，这对于效率优化来说简直是免费的午餐。

　　前Salesforce首席科学家、搜索引擎You的CEO Richard Socher也表示，这项成果加强了他之前的假设——原始的Transformer只是众多等效神经结构之中的一个。

　　选取ViT、wav2vec 2.0和DiT三种训练好的网络，对每个网络采样一个小批量样本进行前向传播，测量LayerNorm层在可学习仿射变换前的输入和输出，建立输入输出元素的一一对应关系，从而直接可视化两者关系。

　　结果发现，LayerNorm传统上被认为是线性变换，但实际整体居然呈现出出类似tanh函数非线性变换效果。

　　受到这一相似性启发，团队提出DyT作为归一化层的直接替代品， DyT 层定义如下：

　　其中α是可学习的标量参数，负责缩放调整输入；γ和β是可学习的per-channel矢量参数，将输出缩放回任何尺度。

　　DyT适用于注意力块、FFN块和最终归一化层，尽管它可能看起来像是激活函数，但在这篇研究中不会改变原始架构中激活函数的任何部分，网络的其他部分也保持不变j9九游会网址，。

　　同时团队还观察到，几乎不需要调整原始架构使用的超参数即可使DyT表现良好。

　　实验选用多种任务和模型架构，DyT在大多数情况下能达到与归一化层相当甚至更好的性能。

　　视觉监督学习，选用ViT和ConvNeXt，在ImageNet-1K分类任务中训练，DyT在两种架构的不同模型尺寸下，性能均略优于LayerNorm，且模型收敛行为高度一致，表明二者学习动态相似。

　　视觉自监督学习，选用两种训练目标不同的网络MAE和DINO，DyT的表现与LayerNorm相当。

　　扩散模型实验中，训练了三个不同尺寸的DiT模型，用FID分数评估生成图像质量。

　　仅用 tanh (αx) 函数替换DiT中LN 层的归一化变换，保留其仿射参数（用于class conditionin），结果相差也不大。

　　语言模型实验中，用DyT代替了LLaMA默认的RMSNorm，在所有四种参数规模上的性能与RMSNorm相当，在整个训练过程中j9九游会网址，，训练损失保持一致。

　　以LLaMA 7B为研究对象，分别采用RMSNorm和DyT进行实验，测量在使用单个长度为4096 tokens的序列时，100次前向传递（推理）和100次前向-后向传递（训练）所需的总时间。

　　在BF16精度下，DyT显著缩短了计算时间，另外在FP32精度下观察到类似的趋势。

　　但DyT也有局限性，在非Transformer模型中，如替换ResNet的Batch Norm时效果不佳，是否以及如何适应其他类型归一化层的模型还需进一步研究

　　包括何恺明和LeCun在内，本文的作者一共有五位，其余三位分别是第一作者、纽约大学博士生Jiachen Zhu，以及来自Meta FAIR实验室的刘壮和陈鑫磊。

　　虽然这是五人第一次聚在一起发表的论文，但其中部分成员之间的合作已经进行过多次。

　　项目负责人、Meta FAIR实验室科学家刘壮，就是何恺明的一位“老搭档”。

　　和何恺明一样，刘壮本科毕业自清华，并且也是CVPR最佳论文奖得主——他是CVPR2017最佳论文DenseNet的第一作者。

　　2017年，刘壮从清华姚班毕业，进入加州大学伯克利分校攻读博士学位，师从Trevor Darrell，是贾扬清的同门师弟。

　　博士毕业后，刘壮进入Meta AI Research工作。在此之前j9九游会网址，，他已经在Meta实习了一年多时间，期间和谢赛宁合作，发表了ConvNeXt。

　　还有浙大校友陈鑫磊， 目前是Meta FAIR实验室的研究科学家，研究兴趣集中于预训练，特别是有自监督或是多模态视觉表示的预训练。

　　发表在CVPR上、目前谷歌学术引用量达8998次的MAE开山论文，陈鑫磊与何恺明是共同一作，谢赛宁也参与其中。

　　第一作者Jiachen Zhu，来自重庆，本科就读于香港理工大学，取得了计算机和工商管理双重学位。

　　本科毕业3年后，Jiachen Zhu重回校园，到纽约大学先后攻读计算机硕士和博士学位，目前仍然在读，博士生导师就是LeCun。

　　谷歌学术信息显示，除了本次的新成果之外，Jiachen Zhu自2022年至今一共还发表过5篇论文，其中3篇为一作或共同一作，每篇均有LeCun的参与。

　　并且Jiachen Zhu去年以Meta实习生身份发表的一篇关于多模态理解与生成的论文，也与刘壮、陈鑫磊以及LeCun的参与。

　　03月06日，“中华玉龙之乡”上演千人高跷大巡游，天豪棋牌抢庄牛牛，12bet手机APP，现金上下分捕鱼，365体育官网注册登录

　　03月06日，福建实现国家级台创园设区市全覆盖，cq9网站，大圣捕鱼游戏，多宝体育官网网址，必威官网下载地址

　　03月06日，和谐共生丨构建人与自然和谐共生的地球家园 习阐明中国理念，真钱网赌推荐，bbin体育手机客户端下载，万博体彩app下载，体育在线日发挥优势，积极作为，香港打造全球人才聚集的“新高地”欧洲杯直播网必赢亚洲官方篮球比分网海牛比分网最新银河国际

　　03月06日为家乡代言！李宇春受聘四川文化旅游宣传推广大使真人代理在线网站凯发娱乐全站官网首页AG亚洲国际官网登录九州快速注册

　　03月06日澳门轻轨延伸横琴线九州平台送体验金网站龙8国际最新版APP必威苹果客户端下载不了……

　　03月06日，强军的召唤 青春的选择——军队代表委员与基层官兵共话高素质兵员征集，bet9九州手机登录入口，必定赢注册登录，bet365竞彩官网，亚娱在哪玩

　　03月06日，数读中国 量增、质优、份额稳 上半年外贸运行稳中有进，大发真钱，澳博体育平台首页，银河国际bb，新濠天地赌场网站

　　03月06日【行 看阿里】河北：十年守护只为阿里妇幼健康AG只为非同凡响亚美体育是什么爱游戏体育威客电竞app

　　03月06日，日本女川核电站一设备意外启动 电力公司称无辐射影响，雷速体育最新网页，口袋app彩票，88什么网站，捕鱼一万分下分

　　03月06日，新能源汽车→油泼面、立柱架梁→联通万里，“钢铁驼队”有新变！，澳门金沙城官网开户，365亚洲版可靠吗，极速体育网址平台，新威尼斯人官网

　　03月06日，新能源汽车渗透率过半，与燃油车的竞争将走向何方？，线年欧洲杯比赛结果，银河游戏厅app，澳博体育手机APP

　　03月06日探访新疆帕米尔高原乡村邮局 快递进村全覆盖至尊炸金花下载AG真人代理bwin官网登录入口英语国际音标三日速成(线日河北沧州黄骅港保税仓库正式投运新浪博雅德州下载千亿体育平台是干什么欧宝电子竞技平台名豪app

　　03月06日十余名美籍人士在京郊露营遇险获救 美驻华大使赠锦旗致谢官方银河国际备用下载伟德网站是多少AG真人在线买球诺亚体育下载

　　举报女老师出轨丈夫称其或被处罚，男子干外卖偷外卖干快递偷快递金店报价逼近670元，黄金涨势难止步澳门新葡3522网站金宝搏app下载大富豪下载网址谁有AG平台进入

　　白雪公主必须死-BLACK OUT，老家伙“京剧第二故乡”吉林市举办京剧艺术月活动金沙手机电子游戏app金宝188最新地址庄闲游戏app下载十博体育链接

　　00后男生继承家业收破烂 年入20万，国漫女配颜值比拼大赛野生东北虎时隔30年再现吉林长白山18bet体育移动版海洋之神8590cc手机版6163银河电子游戏网站云顶娱乐登录网页版

　　Uzi回应不去伦敦现场解说，暗杀女仆冥土小姐网络微短剧霸屏，光“爽”不行澳门新葡亰总站约彩365最新版m6米乐在线九州体育信誉

　　曝足协在亚洲杯前没有做换帅预案，全红婵实现卫冕内蒙古达里湖上演车王争霸 数百辆越野车冰面画“龍”捕鱼达人2破解版pt平台送体验金银河真人注册贝搏下载

　　上岸体制内，富翁教师港科大与中国气象局签署合作框架协议 共推气象科学创新m6米乐竞彩官网美高梅体育平台bob ios下载互博国际最新下载

　　一组图了解秘鲁钱凯港，我可以参加你们婚礼吗新疆阿克苏地区乌什县地震未对通信用户造成影响皇家马德里官网赢钱在线bbin登录官网凯发是正规平台吗