您的当前位置:首页>新品 > 正文

头条焦点:编码器和解码器到底有什么用?看完你就明白了

来源:CSDN 时间:2023-04-20 08:58:38

编码器和解码器最开始看概念的时候有点懵,因为说编码器先把原始信号给编码,然后解码器再给解出来得到原始信号。哈?这是干啥,原始信号本来就有,用这个搞啥,做无用功吗?

1. 首先,说一下编码器和解码器干什么用的。

我们举个例子。


(资料图)

一个是,类似PCA这样的,做矩阵分解,然后恢复。矩阵分解里,把原始大矩阵变成了几个小矩阵相乘,信息没有丢失,但需要存储的数据变少了很多。虽然解码的时候需要额外的计算,但相比起来,小矩阵更符合我们的需求。实际使用的例子,如,图片的传输。以往,是一行一行的像素传输的,所以,网速慢的时候,我们可以看到刷新图片都是从上往下慢慢出来;而现在,是计算特征矩阵,所以看的时候,图片都是先是整体模糊的图片,然后慢慢清晰起来。这个就是传输的特征矩阵,随着特征数据的增多,图片逐渐清晰。

二个是,就像电话,把声音信号转换为电信号,然后远距离传输,再反向把电话信号转换为声音信号,从而达到目的:声音的远距离传输。这里面,打的电话是一个编码器,把声音信号转换为电信号。接的电话是一个解码器,把电信号解码成声音信号。这里面,电话同时具有编码和解码的功能,而且是硬件实现的。本身的功能呢,就是实现了声音的远距离传输。

而我们用到的编码器和解码器,本身编码器是用来做数据特征抽取的,用来做原始信号的主要特征。解码器,只是在编码器训练过程中的一个反向的组件,用来协助编码器做训练的。在我们的场景中,实际使用里,主要是使用编码器的。

2. 其次,说一下编码器怎么训练。

根据上面提到编码器的作用,我们说一个最简单的编码器,就是直接传输的恒等编码器。

比如,输入100个信号,我们让中间编码器也有100个节点,每个节点都是对接一个输入,然后不变的输出。解码器也是一样,对应编码器的输出,不变,直接输出。这样,编码器和解码器都没有损失信息,输出也和输入完全一样,没有信息丢失。这就是一个最简单的编码器和解码器。恒等,无损失。挺好。

或者,编码器对对应的输入乘以2,解码器来乘以1/2,结果同样是无损失的。

但如果我们的目标是想要对数据压缩,不给这么多中间节点。比如说,输入100个信号,但编码器只有10个节点,那么,就没发一一对应的恒等输出的。所以,就需要编码器来努力了。首先,不能再是和输入的一一对应的连接了,因为编码节点数不够。所以,需要全连接这样的。其次,为了让信号方便做转换,可以加入非线性转换一类的。编码器弄完了之后,解码器也是对应的反向参数来解出来,然后输出。把输出和原始输入进行对比,计算损失函数,然后反向传播来降低loss,从而逐步把编码器和解码器的参数训练好,最后拿到一个比较好的压缩的输入数据的特征。

3. 再次,说一下编码器的结构。

注意:编码器+解码器,和MLP的结构可以很像。但是,解码器由于要把编码器的输出特征再解析出原始信号,所以,要求解码器的输出节点个数等于原始信号的输入节点个数。

正常的,编码器和解码器可以是两个层。比如,输入层+编码器层+输出层(解码器层)。也可以,把编码器和解码器都弄成多层的结构。

一般的,解码器是编码器的参数的反函数,这样,二者结构相似,参数相反。但也可以,解码器和编码器并不相同,包括,结构不同,或者参数不按照相反来。

一般的,解码器和编码器是同一种网络,比如,都是层、或者都是CNN,或者都是RNN等。但特殊的,也可以二者不同结构,比如,CNN+RNN等。

所以,本身编码和解码是一种概念。编码器输入数据的特征抽取出来(一般是压缩的,但应该也可以是扩张的),然后解码器根据特征反向解出原始输入信号,让二者尽可能的接近,就可以了。

4. 再说一下编码器的应用。

一个是,特征抽取。这个说过了。二个是,新东西的生成。因为,编码器把重要特征抽出来了,那么,我们可以把这些特征自由的组合,就生成一个新的原始样本中没有的样本,这个也可以比较好玩。

5. 最后,再说一下编码器的一些trick。

比如,可以往编码器的输入中,加入一些噪声。这样,可以防止编码器学出来恒等的复制输入输出的问题。

也可以加入dropout,来增加健壮性。

标签:

最新新闻:

新闻放送
Top