头条焦点:编码器和解码器到底有什么用?看完你就明白了
编码器和解码器最开始看概念的时候有点懵,因为说编码器先把原始信号给编码,然后解码器再给解出来得到原始信号。哈?这是干啥,原始信号本来就有,用这个搞啥,做无用功吗?
1. 首先,说一下编码器和解码器干什么用的。
我们举个例子。
(资料图)
一个是,类似PCA这样的,做矩阵分解,然后恢复。矩阵分解里,把原始大矩阵变成了几个小矩阵相乘,信息没有丢失,但需要存储的数据变少了很多。虽然解码的时候需要额外的计算,但相比起来,小矩阵更符合我们的需求。实际使用的例子,如,图片的传输。以往,是一行一行的像素传输的,所以,网速慢的时候,我们可以看到刷新图片都是从上往下慢慢出来;而现在,是计算特征矩阵,所以看的时候,图片都是先是整体模糊的图片,然后慢慢清晰起来。这个就是传输的特征矩阵,随着特征数据的增多,图片逐渐清晰。
二个是,就像电话,把声音信号转换为电信号,然后远距离传输,再反向把电话信号转换为声音信号,从而达到目的:声音的远距离传输。这里面,打的电话是一个编码器,把声音信号转换为电信号。接的电话是一个解码器,把电信号解码成声音信号。这里面,电话同时具有编码和解码的功能,而且是硬件实现的。本身的功能呢,就是实现了声音的远距离传输。
而我们用到的编码器和解码器,本身编码器是用来做数据特征抽取的,用来做原始信号的主要特征。解码器,只是在编码器训练过程中的一个反向的组件,用来协助编码器做训练的。在我们的场景中,实际使用里,主要是使用编码器的。
2. 其次,说一下编码器怎么训练。
根据上面提到编码器的作用,我们说一个最简单的编码器,就是直接传输的恒等编码器。
比如,输入100个信号,我们让中间编码器也有100个节点,每个节点都是对接一个输入,然后不变的输出。解码器也是一样,对应编码器的输出,不变,直接输出。这样,编码器和解码器都没有损失信息,输出也和输入完全一样,没有信息丢失。这就是一个最简单的编码器和解码器。恒等,无损失。挺好。
或者,编码器对对应的输入乘以2,解码器来乘以1/2,结果同样是无损失的。
但如果我们的目标是想要对数据压缩,不给这么多中间节点。比如说,输入100个信号,但编码器只有10个节点,那么,就没发一一对应的恒等输出的。所以,就需要编码器来努力了。首先,不能再是和输入的一一对应的连接了,因为编码节点数不够。所以,需要全连接这样的。其次,为了让信号方便做转换,可以加入非线性转换一类的。编码器弄完了之后,解码器也是对应的反向参数来解出来,然后输出。把输出和原始输入进行对比,计算损失函数,然后反向传播来降低loss,从而逐步把编码器和解码器的参数训练好,最后拿到一个比较好的压缩的输入数据的特征。
3. 再次,说一下编码器的结构。
注意:编码器+解码器,和MLP的结构可以很像。但是,解码器由于要把编码器的输出特征再解析出原始信号,所以,要求解码器的输出节点个数等于原始信号的输入节点个数。
正常的,编码器和解码器可以是两个层。比如,输入层+编码器层+输出层(解码器层)。也可以,把编码器和解码器都弄成多层的结构。
一般的,解码器是编码器的参数的反函数,这样,二者结构相似,参数相反。但也可以,解码器和编码器并不相同,包括,结构不同,或者参数不按照相反来。
一般的,解码器和编码器是同一种网络,比如,都是层、或者都是CNN,或者都是RNN等。但特殊的,也可以二者不同结构,比如,CNN+RNN等。
所以,本身编码和解码是一种概念。编码器输入数据的特征抽取出来(一般是压缩的,但应该也可以是扩张的),然后解码器根据特征反向解出原始输入信号,让二者尽可能的接近,就可以了。
4. 再说一下编码器的应用。
一个是,特征抽取。这个说过了。二个是,新东西的生成。因为,编码器把重要特征抽出来了,那么,我们可以把这些特征自由的组合,就生成一个新的原始样本中没有的样本,这个也可以比较好玩。
5. 最后,再说一下编码器的一些trick。
比如,可以往编码器的输入中,加入一些噪声。这样,可以防止编码器学出来恒等的复制输入输出的问题。
也可以加入dropout,来增加健壮性。
标签:
相关推荐:
最新新闻:
- Win7下VS2008破解方法有哪些?Win7下VS2008破解方法
- Win10电脑怎么取消开机密码?取消Win10开机密码的两种操作方法
- qq个人邮箱无法登陆怎么办?个人经验分享-天天视讯
- 世界实时:多功能电脑管理工具——fantool安装教程
- DATEADD怎么使用?SQL中DATEADD用法介绍-世界观点
- 什么是二分法?一个有序数组中找某个数是否存在?
- 递归算法的时间复杂度如何写?递归算法的时间复杂度|世界热点评
- 环球热讯:python创建画布?python生成白色画布的方法
- 头条焦点:编码器和解码器到底有什么用?看完你就明白了
- 环球速读:busybox怎么使用?busybox的作用和功能
- 华硕A450C触控板失灵怎么办?华硕解决办法 全球短讯
- 微软和IBM联合开发的WAFF文件格式 如何使用?
- 如何修复LSP协议?教你一招_最新
- jsp和servlet的区别是什么?jsp和servlet的区别介绍
- 什么是驱动程序签名?驱动程序如何获取数字签名?-天天百事通
- 洗衣机购买多大功率的好?洗衣机功率选择说明
- 如何安装工行网银助手?工行网银助手无法安装的方法|热点聚焦
- 光电式转速传感器的工作原理 你了解多少?:世界快消息
- 如何选用高压电容补偿器?高压电容补偿器的使用方法-世界速读
- 手机刷卡器怎么用?手机刷卡器使用方法
- 天天热消息:NSBundle怎么使用?注意mainBundle和Custom Bundle的区别
- 天天时讯:如何用interface实施接口?阿里架构师讲解Java接口的继承与抽象类
- 自学培训机构哪家强?市面上的云计算机构有哪些?
- 如何确定电视吊架的位置?安装方法有哪些?|当前滚动
- 【热闻】如何在Windows上清除/刷新DNS缓存?全平台详细教程
- dota2:Dota2OMG模式强力技能组合推荐
- 手机上网需要做哪些事儿?手机上网的关键流程_每日头条
- 16比9尺寸是多少厘米?液晶显示器16比9计算公式 焦点短讯
- 天天新消息丨怎么在线压缩视频文件?视频压缩方法分享
- 驱动精灵有哪些特点?如何使用驱动程序?:环球新资讯
- 如何在代码中设置WIFI静态IP?设置WIFI静态IP流程:当前热议
- 环球热资讯!怎样美容?最全面的美容大法
- 如何拍出漂亮的满月?八招教你记录中秋节的美
- 全球快看:qq扩列功能怎么找不到了?2021新版功能在哪?
- ie浏览器哪个版本好用?最好用的IE是什么?:环球今日讯
- 世界信息:什么是M档?单反相机的全手动模式解读
- 天天微速讯:如何定期清洗油烟净化器?详细步骤来了
- 浴霸开关接线的方法有哪些?如何安装?
- 头条:支付宝和微信免费提现有什么不同?支付宝和微信免费提现的区别
- iOS11.0.3怎么升级?iOS11.0.3升级方法教程
- 如何免费压缩PDF文件?这几个方法帮你搞定_世界聚焦
- hdmi接口有什么用?笔记本电脑常见接口科普
- 涡轮式离心风机有哪些特点?涡轮式离心风机特点介绍
- 百度指数是怎样计算的?百度指数计算方法
- 环球报道:win10怎么查看端口是否开启?教你win10查看端口是否开启的方法
- Msi微星怎么样?游戏本的品牌效应有哪些? 速递
- 世界焦点!地热供暖系统好不好?地热供暖系统有哪些优势?
- 全民英雄游戏怎么玩?全民英雄游戏攻略新手入门必看
- 酷派大神9976A怎么刷机?酷派大神9976刷机教程:独家
- 【干货】PLC之间的通信怎么入门?PLC之间的通信怎么学?:世界新消息
- 类银河战士恶魔城《动物井》还将登陆Switch
- 环球速递!董宇辉自曝发一条广告给1000万:这钱不能挣
- iPhone14 128GB只要4919元
- 今日热文:特斯拉Model3价格跌破4万美元
- 今日热文:生态才是关键 运动的终点在朋友圈
- 又一款国民神车来了 定价仅为5.39万|环球讯息
- 《伊苏10》公布新角色及三种特殊能力 环球资讯
- 开发者称《浩劫前夕》发行前将举行Beta测试
- 【世界新视野】钞能力真香?宝马高管大呼我们的家在中国
- 全球观天下!NVIDIA显卡降价开启:RTX 4090居然破发
- 18万买特斯拉Model 3?官方紧急辟谣想得美
- 天天看热讯:小米13 Ultra首销破10万?秘密就是价格定低了
- 小米11青春版8+256G只要1319元 世界最新
- 罗素兄弟《惊天营救3》有望立项 欲打造系列宇宙
- 第三方展示蜘蛛侠主题定制rtx4070 红蓝配色经典logo
- 观热点:《新无主之地:传说》D加密被移除 历时约半年
- 新增武器技能《神之亵渎2》2023年夏季全平台发售
- PS三档会员新福利:试玩2小时《迪士尼无限飞车》_讯息
- 硬盘减负难!曝《星战绝地幸存者》PS5版大小为147G
- 环球观点:《星球大战绝地:幸存者》PS5版超147GB
- 胆小慎入!《潜伏5:红门》首曝港版中字预告 世界新要闻
- 买来收藏!近半数玩家选择《王国之泪》实体版
- 《红霞岛》新角色预告:武器发明家 花式杀僵尸-快讯
- 外媒:游戏中黑人女主比例正在上升 但仍有增长空间
- 移动游戏的魅力壹号本PC掌机与你相约ZOL“武汉潮好玩”嘉年华_当前看点