Tensorboard是tensorflow内置的一个可视化工具，它通过将tensorflow程序输出的日志文件的信息可视化使得tensorflow程序的理解、调试和优化更加简单高效。 Tensorboard的可视化依赖于tensorflow程序运行输出的日志文件，因而tensorboard和tensorflow程序在不同的进程中运行。 TensorBoard给我们提供了极其方便而强大的可视化环境。它可以帮助我们理解整个神经网络的学习过程、数据的分布、性能瓶颈等等。

安装#

直接安装即可，使用pip install tensorboard

注：pytorch 1.1以后的版本内置了SummaryWriter 函数,所以不需要再安装tensorboardx了

页面介绍#

tensorboard针对不同的类型数据区分多个标签，每一个标签页面代表不同的类型。简单介绍如下：

SCALAR

对标量数据进行汇总和记录，通常用来可视化训练过程中随着迭代次数准确率(val acc)、损失值(train/test loss)、学习率(learning rate)、每一层的权重和偏置的统计量(mean、std、max/min)等的变化曲线
IMAGES

可视化当前轮训练使用的训练/测试图片或者 feature maps
GRAPHS

可视化计算图的结构及计算图上的信息，通常用来展示网络的结构
HISTOGRAMS

可视化张量的取值分布，记录变量的直方图(统计张量随着迭代轮数的变化情况）
PROJECTOR

全称Embedding Projector 高维向量进行可视化

注：节选自pytorch中文手册https://github.com/zergtant/pytorch-handbook

创建SummaryWriter#

在使用Tensorboard前，需要创建一个SummaryWriter 对象，常用的方法有三种，如下：

1
from torch.utils.tensorboard import SummaryWriter
2

3
# 默认使用 "runs/时间" 路径来保存日志
4
writer = SummaryWriter()
5

6
# 将日志保存在相应目录
7
writer = SummaryWriter("./logs")
8

9
# 使用 "runs/时间-comment" 路径来保存日志
10
writer = SummaryWriter(comment="abc")

SCALAR#

使用add_scalar来记录数值。

add_scalar(tag, scalar_value, global_step=None, walltime=None)

tag：字符串。数据名称。
scalar_value：浮点型。数值。
global_step：整形，可选。训练的step
walltime：浮点型，可选。默认为time.time()

一般用add_scalar来记录损失 loss、正确率 accurary、学习率 learning rate的变化，用来监控训练过程。

示例#

先执行这段代码，将其存储在runs/2 中

1
from torch.utils.tensorboard import SummaryWriter
2

3
writer = SummaryWriter(log_dir="runs/2")
4

5
for i in range(10):
6
    writer.add_scalar("loss", (10 - i) ** 2, global_step=i)
7
    writer.add_scalar("accurary", i**2 / 100, global_step=i)
8

9
writer.close()

再执行下面代码，将其存储在run/3中

1
from torch.utils.tensorboard import SummaryWriter
2

3
writer = SummaryWriter(log_dir="runs/3")
4

5
for i in range(10):
6
    writer.add_scalar("loss", (10 - i) ** 3, global_step=i)
7
    writer.add_scalar("accurary", i**3 / 1000, global_step=i)
8

9
writer.close()

然后执行tensorboard --logdir=runs 运行结果如下图：

请添加图片描述

可见两个结果都存储成功，且通过左边的多选框中可以选择显示的数据。

IMAGES#

使用add_image来记录数值。

add_image(tag, img_tensor, global_step=None, walltime=None, dataformats='CHW')

tag：字符串。数据名称。
img_tensor：torch.Tensor。图像数据。
global_step：整形，可选。训练的step
walltime：浮点型，可选。默认为time.time()
dataformats：图像数据格式，默认为 'CHW'，即 Channel x Height x Width，还可以是 'CHW'、'HWC' 或 'HW' 等

1
import os
2
import time
3

4
from PIL import Image
5
from torchvision import transforms
6
from torch.utils.tensorboard import SummaryWriter
7

8
# 这里的logs要与--logdir的参数一样
9
writer = SummaryWriter(log_dir='./logs')
10

11
transform_toTensor = transforms.Compose([
12
        transforms.ToTensor()
13
    ])
14

15
imgs_dirt = "imgs/Kyaru"
16
imgs_filenames = os.listdir(imgs_dirt)
17
print(imgs_filenames)
18

19
for idx, filename in enumerate(imgs_filenames):
20
    img = Image.open(os.path.join(imgs_dirt, filename))
21
    img_tensor = transform_toTensor(img)
22
    writer.add_image(
23
        tag="Kyaru", # 数据名称
24
        img_tensor=img_tensor, # 图像数据
25
        global_step=idx, # 训练的step
26
        walltime= time.time(), # 记录发生的时间，默认time.time()
27
        dataformats="CHW" # 图像数据的格式，默认为 'CHW'，即 Channel x Height x Width，还可以是 'CHW'、'HWC' 或 'HW' 等
28
    )
29

30
# 下面是添加一张猫图片，将其命名为cat
31
cat_img = Image.open('Felis_silvestris_catus_lying_on_rice_straw.jpg')
32
cat_img_tensor = transform_toTensor(cat_img)
33
writer.add_image("cat",cat_img_tensor)
34

35
writer.close()# 执行close立即刷新，否则将每120秒自动刷新

多个step效果展示#

单个step效果展示#

请添加图片描述

GRAPHS#

使用add_graph来可视化神经网络

add_graph(model, input_to_model=None, verbose=False, **kwargs)

model：torch.nn.Module。需要可视化的网络模型
input_to_model：torch.Tensor或其列表，默认为None。输入神经网络的变量或一组变量
verbose：布尔，默认为False。是否为信息详细模式。

下面将使用LeNet作为样例来可视化神经网络：

1
import torch
2
from torch.utils.tensorboard import SummaryWriter
3

4
import torch
5
import torch.nn as nn
6
import torch.nn.functional as F
7

8
class Net(nn.Module):
9
    def __init__(self):
10
        super(Net, self).__init__()
11
        # 1 维输入图像通道，6 维输出通道
12
        # 卷积核为 5x5 的卷积核
13
        self.conv1 = nn.Conv2d(1, 6, 5)
14
        # 6 维输入图像通道，16 维输出通道
15
        # 卷积核为 5x5 的卷积核
16
        self.conv2 = nn.Conv2d(6, 16, 5)
17

18
        # 最后的三层全连接
19
        self.fc1 = nn.Linear(16 * 5 * 5, 120)
20
        self.fc2 = nn.Linear(120, 84)
21
        self.fc3 = nn.Linear(84, 10)
22

23
    def forward(self, x):
24
        # 用 2x2 的窗口对第一层卷积进行 Max pooling池化操作
25
        x = F.max_pool2d(F.relu(self.conv1(x)), (2, 2))
26
        # 对第二层卷积进行同样操作
27
        # 如果池化窗口形状为正方形，可以只输入一个数
28
        x = F.max_pool2d(F.relu(self.conv2(x)), 2)
29

30
        # 将 x 打平成一维向量
31
        x = x.view(-1, self.num_flot_features(x))
32

33
        # 全连接层的前向传播
34
        x = F.relu(self.fc1(x))
35
        x = F.relu(self.fc2(x))
36
        x = self.fc3(x)
37
        return x
38

39
    def num_flot_features(self, x):
40
        """
41
        计算除批次外的所有维度
42
        用来确定打平后的维度
43
        如 x.shape = [100, 28, 28]
44
        返回值为 28 * 28
45

46
        :param x: 数据
47
        :return: 除第一维外的所有维度之积
48
        """
49
        size = x.size()[1:]
50
        num_features = 1
51
        for s in size:
52
            num_features *= s
53

54
        return num_features
55

56
net = Net()
57
writer = SummaryWriter(comment="graph")
58
input_ = torch.randn(1, 1, 32, 32)
59
writer.add_graph(
60
    model=net,
61
    input_to_model=input_
62
)
63
writer.close()

输出结果：

请添加图片描述

注意：input_to_model需要传入模型的合法输入，若不输入则会报错。

HISTOGRAMS#

使用add_histogram记录一组数据的直方图。

add_histogram(tag, values, global_step=None, bins='tensorflow', walltime=None, max_bins=None)

tag：字符串。数据名称。
values：torch.Tensor，numpy.array 或 string。用来构建直方图的数据。
global_step：整形，可选。训练的step
walltime：浮点型，可选。默认为time.time()
max_bins：整形，可选。最大分桶数。

示例：

1
from torch.utils.tensorboard import SummaryWriter
2

3
import numpy as np
4

5
writer = SummaryWriter(log_dir="runs/histogram1")
6
writer.add_histogram('histogram1', np.random.normal(0, 1, 1000))
7
writer.add_histogram('histogram1', np.random.normal(0, 2, 1000))
8
writer.add_histogram('histogram1', np.random.normal(0, 3, 1000))
9
writer.close()
10

11
writer = SummaryWriter(log_dir="runs/histogram2")
12
writer.add_histogram('histogram2', np.random.normal(0, 1, 1000), global_step=1)
13
writer.add_histogram('histogram2', np.random.normal(0, 2, 1000), global_step=2)
14
writer.add_histogram('histogram2', np.random.normal(0, 3, 1000), global_step=3)
15
writer.close()

请添加图片描述

以上就是直方图的示例，相同global_step的图像会叠加在一起，若要使图像分开显示，要设置不同的global_step。

除此之外，还能通过切换左上角的选项来实现一些其他效果。用于不同的需求。

请添加图片描述

PROJECTOR#

使用add_embedding来记录数值。

add_embedding(mat, metadata=None, label_img=None, global_step=None, tag='default', metadata_header=None)

tag：字符串。数据名称。
metadata：torch.Tensor列表或 numpy.array。一个一维列表，。
global_step：整形，可选。训练的step
walltime：浮点型，可选。默认为time.time()
dataformats：图像数据格式，默认为 'CHW'，即 Channel x Height x Width，还可以是 'CHW'、'HWC' 或 'HW' 等

1
from torch.utils.tensorboard import SummaryWriter
2
import torchvision
3

4
writer = SummaryWriter('runs/embedding_example')
5
mnist = torchvision.datasets.MNIST('mnist', download=True)
6

7
writer.add_embedding(
8
    mnist.train_data.reshape((-1, 28 * 28))[:100,:],
9
    metadata=mnist.train_labels[:100],
10
    label_img = mnist.train_data[:100,:,:].reshape((-1, 1, 28, 28)).float() / 255,
11
    global_step=0
12
)

请添加图片描述

注意：有可能打开tensorboard会提示No scalar data was found。这需要在右上角将模式调整为PROJECTOR。

请添加图片描述

其他#

更多详细可以参考官方文档https://tensorboardx.readthedocs.io/en/latest/tensorboard.html

本文大量参考了博客https://blog.csdn.net/bigbennyguo/article/details/87956434 ，一篇非常好的文章，让我受益匪浅。

原文链接：CSDN