status
Published
slug
dive-into-deep-learning-4
type
Post
category
Technology
date
Apr 26, 2022 → Apr 27, 2022
tags
深度学习
pytorch
summary
《动手学深度学习笔记》第四章的学习笔记
基础知识
层（layer）
神经网络的单层就是一个模型，每个单独层接收输入（由前一层提供），生成输出（到下一层的输入），并且具有一组可调参数，这些参数根据从下一层反向传播的信号进行更新。
块（block）
块可以描述单个层、由多个层组成的组件或整个模型本身。使用块进行抽象的一个好处是可以将一些块组合成更大的组件，通过定义代码来按需生成任意复杂度的块， 我们可以通过简洁的代码实现复杂的神经网络。
- 一个块可以由许多层组成；一个块可以由许多块组成。
- 块可以包含代码
- 块负责大量的内部处理，包括参数初始化和反向传播。
- 层和块的顺序连接由
Sequential块处理
nn.Sequential定义了一种特殊的Module， 即在PyTorch中表示一个块的类
每个块必须提供的基本功能：
- 将输入数据作为其前向传播函数的参数。
- 通过前向传播函数来生成输出。请注意，输出的形状可能与输入的形状不同。例如，我们上面模型中的第一个全连接的层接收一个20维的输入，但是返回一个维度为256的输出。
- 计算其输出关于输入的梯度，可通过其反向传播函数进行访问。通常这是自动发生的。
- 存储和访问前向传播计算所需的参数。
- 根据需要初始化模型参数。
常数参数（constant parameter）
既不是上一层的结果也不是可更新参数的项
- 在实例化时被随机初始化，之后为常量。 这个权重不是一个模型参数，因此它永远不会被反向传播更新。
延后初始化（defers initialization）
直到数据第一次通过模型传递时，框架才会动态地推断出每个层的大小。
- 延后初始化使框架能够自动推断参数形状，使修改模型架构变得容易，避免了一些常见的错误。
- 我们可以通过模型传递数据，使框架最终初始化参数
- 当使用卷积神经网络时， 由于输入维度（即图像的分辨率）将影响每个后续层的维数， 有了该技术将更加方便
在pytorch中可使用torch.nn.LazyLinear实现
技巧
参数绑定
希望在多个层间共享参数： 我们可以定义一个稠密层，然后使用它的参数来设置另一个层的参数。
共享参数的好处：
共享参数通常可以节省内存，并在以下方面具有特定的好处：
- 对于图像识别中的CNN，共享参数使网络能够在图像中的任何地方而不是仅在某个区域中查找给定的功能。
- 对于RNN，它在序列的各个时间步之间共享参数，因此可以很好地推广到不同序列长度的示例。
- 对于自动编码器，编码器和解码器共享参数。 在具有线性激活的单层自动编码器中，共享权重会在权重矩阵的不同隐藏层之间强制正交。
GPU&CPU
- 我们可以指定用于存储和计算的设备，例如CPU或GPU。默认情况下，数据在主内存中创建，然后使用CPU进行计算。
- 深度学习框架要求计算的所有输入数据都在同一设备上，无论是CPU还是GPU
模型的保存
由于模型本身难以序列化，在保存模型的时候仅保存参数，而使用代码生成模型的架构，通过加载参数的方法恢复模型。
save和load函数可用于张量对象的文件读写。
- 我们可以通过参数字典保存和加载网络的全部参数。
- 保存架构必须在代码中完成，而不是在参数中完成。