唐朝诗人
星岛环球网 搜狐新闻 手机竞猜app 环球网 参考消息 大公网 澎湃新闻 中国新闻网 中国文明网 新华网 南方网 百度新闻搜索 中国军网 央视网新闻 【次关键词】 好奇心日报 未来网 人民日报 新闻报刊 新京报 法制网 消费日报 白居易陈子昂杜甫贺知章李白李商隐刘禹锡卢照邻柳宗元孟浩然王昌龄王维
宋朝诗人
凤凰资讯重庆华龙网楚天都市报黑龙江东北网广西新闻网南风窗香港文汇网美国中文网 腾讯新闻FT中文网联合国新闻美国CNNBBC时事评论凤凰网评论中评网 范仲淹李清照陆游梅尧臣欧阳修苏轼陶渊明王安石文天祥辛弃疾杨万里叶绍翁
经典诗句
人民网铁血社区强国社区凤凰周刊爱思想观察者网甘肃日报华夏时报 黄河的诗句思念的诗句离别的诗句月亮的诗句荷花的诗句梅花的诗句西湖的诗句菊花的诗句送别的诗句四季的诗句爱情的诗句儿童的诗句

Google 开源最新 NLP 模型,能处理整本《罪与罚》

发表时间:2020-04-09

Transformer 可谓是近年 NLP 领域关注度颇高的模型之一。

2017 年,Google 发表题为“Attention Is All You Need”的论文,提出了完全基于注意力机制(attention mechanism)的网络框架 Transformer。

2018 年,Google 开源了基于 Transformer 的 BERT 模型,在 NLP 领域大火。

2019 年,机器学习领域最大的趋势之一便是基于 Transformer 的自然语言模型的持续增长和扩散。

2020 年,根据自然语言处理领域数据集 GLUE 的排行榜,一些表现最佳的模型——包括 Nvidia 的 Megatron、Google 的 XLNet、微软的 MT-DNN 和 Facebook 的 Roberta——都基于 Transformer。

近日,Google 又推出了 Transformer 的“升级版”——Reformer。

【 图片来源:VentureBeat 所有者:VentureBeat 】

比 Transformer 更高效

对人工智能和机器学习模型来说,不管是语言、音乐、语音还是视频,序列数据都不好理解——尤其是在广泛的环境中。例如,如果一个人或一个物体从视频中消失很久后才重新出现,许多算法就会忘记它的样子。

因此,Google 开发了机器翻译模型 Transformer,希望解决这一问题。Transformer 是一个扩展到数千个单词的架构,极大地提升了在完成作曲、图像合成、逐句文本翻译和文档摘要等任务时的性能。

与所有深度神经网络一样,Transformer 包含连接层中的神经元(数学函数),可传输来自输入数据的信号,并缓慢调整每个连接的突触强度(权重),这是所有人工智能模型提取特征和学习预测的方式,但是 Transformer 能独特地注意到每个输出元素都与每个输入元素相关联,它们之间的权重实际上是动态计算的。

不过,Transformer 并不是完美的——将其扩展到更大的环境中就能明显看出局限性。大窗口应用程序的内存从千兆字节到兆兆字节不等,也就是说模型只能吸收几段文本或生成一小段音乐。

基于此,Google 推出 Reformer 作为 Transformer 的演进,Reformer 能够处理多达 100 万字的环境,仅用 16GB 的存储器就能在单个 AI 加速器芯片上运行。

【 图片来源:论文 】

雷锋网了解到,相关论文“Reformer:The Efficient Transformer”已被将于 2020 年 4 月在埃塞俄比亚举行的自然语言处理顶会 ICLR-2020(International Conference on Learning Representations)接收,当前模型也已开源。

根据论文,Reformer 主要包含以下技术:

第一,可逆层在整个模型中只存储激活函数的单个副本,因此 N 因子消失;

第二,在前馈层内拆分激活函数,并进行分段处理,消除 dff 因子,节省前馈层内存;

第三,利用局部敏感哈希(雷锋网注: LSH,即一种哈希算法,主要运用到高维海量数据的快速近似查找)。具体来讲,哈希函数即一种将任意大小的数据映射到固定大小的值的函数,该函数匹配相似的向量(即表示机器学习中人类可读数据的代数构造),而不是在所有可能的向量对中搜索。

例如,在翻译任务中,来自网络第一层的每个向量表示一个词,对应于不同语言中相同词的向量可以获得相同的哈希值。当分配哈希时,序列会重新排列,接着按元素的哈希值分类,实现并行处理,这样降低了长序列的复杂度,极大地减少了计算负荷。

Reformer 可处理整部小说

为验证 Reformer 确实能够在单个 GPU 上运行,并可在长序列上快速训练,研究人员在 enwik8 和 imagenet64 数据集上对 20 层的 Reformer 模型进行了训练。实验表明,Reformer 能达到与 Transformer 相同的性能,并且内存效率更高,在长序列任务上训练更快。

【 图片来源:论文 】

另外,研究小组还对基于 Reformer 的图像和文本模型进行了实验,用它们生成图像中缺失的细节,还处理了小说《罪与罚》(包含约 211591 个单词)全文。研究表明,Reformer 能够逐像素地生成全帧图像,并且能够在单轮训练中接收小说长度的文本。

Google 科学家 Łukasz Kaiser 和加州大学伯克利分校学生 Nikita Kitaev 都对这项研究作出了贡献,他们在一篇博客中写道:

由于 Reformer 效率极高,它可以直接应用于上下文窗口远大于当前几乎所有最先进文本域的数据,Reformer 处理如此庞大数据集的能力可能也会刺激社区创建数据集。

由于 Reformer 效率极高,它可以直接应用于上下文窗口远大于当前几乎所有最先进文本域的数据,Reformer 处理如此庞大数据集的能力可能也会刺激社区创建数据集。

据悉,论文作者们还会进一步将该其应用于更广阔的领域(如时间序列预测及音乐、图像、视频生成),并改进对位置编码的处理。Łukasz Kaiser 和 Nikita Kitaev 补充说:

我们相信 Reformer 为将来使用 Transformer 模型对长文本和自然语言处理以外的应用也打下了基础。

我们相信 Reformer 为将来使用 Transformer 模型对长文本和自然语言处理以外的应用也打下了基础。

2019 年年底,外媒 VentureBeat 曾采访过 Google 高级副总裁 Jeff Dean,他在采访中表示:

Google 仍然希望能建立更多的情境模型,就像现在一样,BERT 等模型可以处理数百个单词,但不能处理 1 万个单词。所以这会是 Google 未来主要关注的方向。

Google 仍然希望能建立更多的情境模型,就像现在一样,BERT 等模型可以处理数百个单词,但不能处理 1 万个单词。所以这会是 Google 未来主要关注的方向。

而 Reformer 似乎是朝着这一方向迈出的充满希望的第一步。

via VentureBeat,雷锋网编译。



声明:内容来自搜狐,该文观点仅代表作者本人,本站仅提供信息存储空间服务。如果需要删除请联系站长;

手机竞猜app
对于COS爱好者来说,还原动漫人物不难,难的是超越这些二次元脸 2019最新军力排行榜:中国排名跌到第三,印度强势反超排名喜人 中俄强势参与伊朗海上军演,消除霸权政治影响,填补中东正义缺失 手绘经典动漫人物-频道-手机搜狐 苏联撤走所有援华专家,毛主席大怒,核潜艇一万年也要搞出来 中美俄主力轰炸机载弹量对比:美国34吨,俄40吨,那中国呢 T-45"苍鹰"教练机在"福特"号航母上进行起降测试-图库-手机搜狐 意料之外!美国爆料最新中国人价值排行榜,你没听过他们的姓名? 万吨055大驱首艘入役!日本忧心忡忡直言不讳:千万别到家门口来 海贼王:尾田一伏笔透露一真相,巴基的实力不输香克斯 印度举行建军节阅兵,摩托“开挂”特技又来了 台湾“大选”辩论会 / 蔡做总结,韩要反击,宋谈格局 普京难题得以解决!大批“中国芯”涌入俄罗斯,美国制裁无果 我国新型装甲车正式列装,雪地突击火力不输于步兵战车 首架量产型苏57坠毁,新型发动机暴露致命缺点,给我们也提了个醒

ǚnike毒蜂评测ǚ,ǚ销售养殖设备ǚ,ǚ神话类电视剧在线播放ǚ,ǚ免费小说寡嫂ǚ,ǚ湖州不锈钢厨房设备ǚ,ǚ绵阳民办学校名单ǚ,ǚ网络设备巡检目的ǚ,ǚ电视剧免费下裁ǚ,ǚ中国环保电力ǚ,ǚ沙雕童话故事大全ǚ,ǚdj狂嗨劲爆舞曲mp3ǚ,ǚ编辑部的故事91版全集百度云ǚ,ǚ无负压增压稳流供水设备ǚ,ǚdj龙八司徒慢摇现场ǚ,ǚ车载摇滚dj mp3ǚ,ǚ穿越净身去势小说ǚ,ǚ爱淘 淘宝互踩系统ǚ,ǚ楼雨晴言情小说诱婚ǚ,ǚ南京好吃的云南菜馆ǚ,ǚ川菜的特点及特色菜品ǚ,ǚ高考议论文素材满分ǚ,ǚ抖音被棒球砸原版视频ǚ,ǚ新闻故事会 唐江山ǚ,ǚ秋装新款女装外套海贝ǚ,ǚ西安4月28日天气ǚ,ǚ梅菜扣肉酱汁的做法ǚ,ǚ北京明天早起六点的天气ǚ,ǚ河南家用太阳能发电ǚ,ǚ长春新能源汽车有几款ǚ,ǚ黑吧djǚ,ǚ中国国内时尚女装品牌ǚ,ǚ巴巴托斯同人小说ǚ,ǚ夜场电音djǚ,ǚ王中王dj舞曲mp3ǚ,ǚ24点数学小论文四年级获奖ǚ,ǚ孕晚期胎教童话故事ǚ,ǚ涿州双语学校一年费用ǚ,ǚ高中高分议论文600字ǚ,ǚ红重庆牌香烟价格表ǚ,ǚ已发表的职称论文查重ǚ,ǚ电视剧下载网站 最好ǚ,ǚ飞行少年 电视剧ǚ,ǚ大理石室内装修辐射ǚ,ǚu盘设备管理器有显示ǚ,ǚ马鞍山 明日天气ǚ,ǚ菜品的简笔画ǚ,ǚ小卫生间带窗户装修ǚ,ǚ修女也疯狂故事梗概ǚ,ǚ爱而不得歌曲快手ǚ,ǚ全本免费小说网ǚ,ǚ一本理科热门专业ǚ,ǚ酒吧喊麦dj舞曲视频ǚ,ǚ蜂蜜柠檬茶能保存多久ǚ,ǚ免费阅读小说ǚ,ǚ电子琴独奏dj版ǚ,ǚ环保让蓝天更蓝作文ǚ,ǚ澳柯玛壁挂太阳能ǚ,ǚ枪战电影ǚ,ǚ快手里最火的歌曲名字ǚ,ǚ月亮升起来dj舞曲视频ǚ,ǚ组装手表属于高仿吗ǚ,ǚ淘宝比较好的咖啡豆店铺ǚ,ǚ广东三水天气预报ǚ,ǚ上海臻拓机电设备ǚ,ǚ室内装修污染检测机构ǚ,ǚ东京爱情故事日语字幕ǚ,ǚ孕产妇高危评分表颜色ǚ,ǚ北海道花季简谱ǚ,ǚ日本公寓装修效果图ǚ,ǚ16年国考公务员职位表ǚ,ǚ电气设备预防性试验规程ǚ,ǚ长征感人故事ǚ,ǚ广州海鲜美食一条街ǚ,ǚ蓝黄鹤楼香烟价格表图ǚ,ǚ硕士论文导师指导意见ǚ,ǚ淘宝游戏交易平台全吗ǚ,ǚ曲阜鑫宇家具厂工资表ǚ,ǚ常见家常菜谱ǚ,ǚ上海外高桥店铺装修公司ǚ,ǚ恐怖电影中的小萝莉ǚ,ǚ儿童睡前故事猴子下山ǚ,ǚ破超淘宝商城ǚ,ǚ中国野外美食之旅ǚ,ǚ红外线辐射采暖设备ǚ,ǚ免费 论文网ǚ,ǚ太阳能电池片群ǚ,ǚ排行美容美发学校ǚ,ǚ西铁城手表和精工手表哪个好ǚ,ǚ在网页点击翻译的软件ǚ,ǚ有妖怪的都市小说ǚ,ǚ两性性隐私故事ǚ,ǚ雷达手表所有产品图片ǚ,ǚ太阳能板多少钱一套ǚ,ǚ西柏坡的故事ǚ,ǚ自己手机淘宝账号怎么看ǚ,ǚ农村人创业的故事ǚ,ǚ上海大张过滤设备ǚ,ǚ热门专业报考指南ǚ,ǚ申请带手表电话入校怎么写ǚ,ǚ嘉实上城名都别墅装修ǚ,ǚ年轻的卡尔电影观后感ǚ,ǚ香港印度美食ǚ,ǚ用微波炉做美食ǚ,ǚ装修装饰 加盟ǚ,ǚ推荐名著小说ǚ,ǚ乐亭天气预报ǚ,ǚ陈粒小半背后的故事ǚ,ǚ三年级生态环保手抄报ǚ,ǚ食堂大锅菜厨师多少钱一个月ǚ,ǚmp5有声小说下载ǚ,ǚ银行柜员的成长故事ǚ,ǚ辛辣及发物的菜式ǚ,ǚ国家注册环保工程师难考吗ǚ,ǚ水环保的作文ǚ,ǚ苏童小说全集下载ǚ,ǚ新东方英语学校大概收费ǚ,ǚ珠海海鲜干货市场ǚ,ǚ牧童和狼 的寓言故事ǚ,ǚ南宁长岗岭租房ǚ,ǚ歌曲dj中文舞曲ǚ,ǚ望族电视剧下载ǚ,ǚ二年级**故事大全ǚ,ǚ男人就要坏 dj 加快ǚ,ǚ大学生男生手表品牌ǚ,ǚ可爱小说免费阅读ǚ,ǚ简惑女装官网ǚ,ǚ湖南菜 湘菜ǚ,ǚ薄膜太阳能电池的研究进展ǚ,ǚ男修身衬衫尺寸表ǚ,ǚ义乌市输送机械设备ǚ,ǚ热门话题作文600字五年级ǚ,ǚ我要买精品女装网ǚ,ǚ淘宝网天猫牌箱包ǚ,ǚ山峰电器设备厂ǚ,ǚ编童话故事幻想作文ǚ,ǚ编迪丽热巴憋尿的故事ǚ,ǚ九十年代香港经典电视剧ǚ,ǚ比较好听的dj慢摇ǚ,ǚ家常凉拌菜菜名ǚ,ǚ电压表电流表测电阻视频ǚ,ǚ胡歌神话电视剧图片ǚ,ǚ化工厂设备管理是做什么ǚ,ǚ关于**的**传统故事ǚ,ǚ皇明太阳能官网配件报价ǚ,ǚ首尔大学研究生热门专业ǚ,ǚ以人为本 英文翻译ǚ,ǚ500万用表表头替换ǚ,ǚ南京皇明太阳能热水器ǚ,ǚ学校安全督查ǚ,ǚ当代名人成长故事100篇ǚ,ǚ阳台壁挂太阳能热ǚ,ǚ神马电影网限级制ǚ,ǚ今夏最流行女装搭配ǚ,ǚ女装宝贝分类图片ǚ,ǚ会计论文参考文献杂志ǚ,ǚ晚上喝蜂蜜牛奶会长胖吗ǚ,ǚ高仿阿玛尼手表工厂ǚ,ǚ公共事业管理论文的参考文献ǚ,ǚ品牌女装推广ǚ,ǚ关于树的历史故事ǚ,ǚ韩国人中国美食ǚ,ǚ江西吉安1995年工资表ǚ,ǚ中职学校将设国家奖学金ǚ,ǚdj学刚为客户ǚ,ǚ南京太原航班时刻表ǚ,ǚ香港电视剧潜行阻击ǚ,ǚ广州置地广场美食攻略ǚ,ǚ好听的dj歌曲慢摇大全ǚ,ǚ炝炒空心菜的做法大全ǚ,ǚ春天的故事手抄报内容资料ǚ,ǚ从赣州到杭州火车时刻表ǚ,ǚ大叔养成小说推荐ǚ,ǚ天津天气预报40天准确ǚ,ǚ临沂市建筑设计职工中等专业学校ǚ,ǚ上海环保工程有限公司ǚ,ǚ动画雨后小的故事视频ǚ,ǚ南宁肯德基兼职招聘ǚ,ǚ淘宝店更换掌柜ǚ,ǚ两性故事依依ǚ,ǚ小故事大道理简介ǚ,ǚ北海公园划船开放时间ǚ,ǚ德州机械设备制造有限公司ǚ,ǚ都市小说里主角姓龙ǚ,ǚ真实灵异故事图片ǚ,ǚ电流表电压表量程选择规则ǚ,ǚ关爱的议论文素材ǚ,ǚ读小故事大道理心得体会ǚ,ǚ广州环保设备骏域 vǚ,ǚ审计毕业论文选题热点ǚ,ǚ电影少林寺ǚ,ǚ乌拉拉优品商城淘宝ǚ,ǚ早教论文参考文献ǚ,ǚ冬季韩版女装 淘宝网ǚ,ǚ郑二小说全集ǚ,ǚ豆片炒豆芽菜的做法ǚ,ǚ不与少年带资文言文翻译ǚ,ǚ3岁儿童故事书推荐ǚ,ǚ痛风能吃荔枝芒果吗ǚ,ǚ环保手工小制作ǚ,ǚ福建省环保局ǚ,ǚ关于绿色环保的故事ǚ,ǚ仿名人博客标志ǚ,ǚ茶花女小说在线阅读ǚ,ǚ建筑装修装饰工程包含ǚ,ǚks手表是什么品牌ǚ,ǚ电气工程师同电气设备工程师区别ǚ,ǚ国际航班查时刻表ǚ,ǚ铁岭烘干设备ǚ,ǚ南昌红色经典故事ǚ,ǚ保定市大专学校排名ǚ,ǚ淘宝网电视背景墙纸ǚ,

竞猜app
为验证 Reformer 确实能够在单个 GPU 上运行,并可在长序列上快速训练,研究人员在 enwik8 和 imagenet64 数据集上对 20 层的 Reformer 模型进行了训练。 另外…
手机竞猜app是全球知名中文IT技术交流平台,创建于1999年,包含原创博客、精品问答、职业培训、技术论坛、资源下载等产品服务,竞猜app、优质、完整内容的专业IT技术开发社区.
上一篇 下一篇
最新发布
猜你喜欢