基础参数说明#

基础网络创建参数#

RNN(input_size, hidden_size)

input_size：输入数据X的特征值的数目，可视为nlp中词嵌入向量的维度。
hidden_size：隐藏层的神经元数量，即每个时刻输出向量 $h_t$ 的维度。

网络输入参数说明#

rnn(input, h_0)

input：输入数据，一般包含三个维度(seq_len, batch, input_size)，其中 seq_len 表示序列长度，batch 表示批大小。
h_0：初始隐状态。

网络输出参数#

output, hn = rnn(input)

output：每个时刻的隐状态
hn：最后一个时刻的隐状态

示例#

实现代码：

1
import torch.nn as nn
2
import torch
3
import torch.nn.functional as F
4
import torch.optim as optim
5

6
class Net(nn.Module):
7
    def __init__(self, embedding_dim, hidden_dim):
8
        super(Net, self).__init__()
9

10
        # 创建RNN层
11
        self.rnn = nn.RNN(embedding_dim, hidden_dim)
12

13
        # 三层全连接
14
        self.fc1 = nn.Linear(hidden_dim, 32)
15
        self.fc2 = nn.Linear(32, 16)
16
        self.fc3 = nn.Linear(16, 1)
17

18
    def forward(self, x):
19
        # 获取每个时刻的输出
20
        # hn 为最后一个时刻的输出
21
        _, hn = self.rnn(x)
22

23
        # 获取最后一个时刻的输出
24
        x = hn
25
        # 将 x 输出全连接
26
        x = F.relu(self.fc1(x))
27
        x = F.relu(self.fc2(x))
28
        x = self.fc3(x)
29
        return x
30

31
if __name__ == '__main__':
32
    # 创建模型
33
    net = Net(2, 3)
34

35
    # 设定优化器为 SGD
36
    optimizer = optim.SGD(net.parameters(), lr=0.1)
37
    # 损失函数为 MSE
38
    loss_function = nn.MSELoss()
39

40
    # 创建x和y
41
    # 数据可以视为：
42
    # 每句话长度为 20
43
    # 一共有 10 句话
44
    # 每个词的嵌入向量维度为 2
45
    input_ = torch.randn(20, 10, 2)
46
    #  假设输出全为 1
47
    y = torch.ones(10)
48

49
    # 前向传播
50
    output_ = net(input_)
51
    # 计算损失
52
    loss = loss_function(output_, y)
53
    # 输出反向传播前的损失
54
    print('loss1:', loss)
55

56
    # 反向传播
57
    loss.backward()
58
    # 梯度下降
59
    optimizer.step()
60

61
    # 再次前向传播并计算损失
62
    output_ = net(input_)
63
    loss_function.zero_grad()
64
    loss = loss_function(output_, y)
65
    print('loss2:', loss)

输出结果：

1
loss1: tensor(1.5234, grad_fn=<MseLossBackward>)
2
loss2: tensor(0.6356, grad_fn=<MseLossBackward>)

原文链接：CSDN