# 线性回归

回归（regression）是能为一个或多个自变量与因变量之间关系建模的一类方法。在自然科学和社会科学领域，回归经常用来表示输入和输出之间的关系。

在机器学习领域中的大多数任务通常都与预测（prediction）有关。

当我们想预测一个数值时，就会涉及到回归问题。常见的例子包括：预测价格（房屋、股票等）、预测住院时间（针对住院病人等）、预测需求（零售销量等）。

但不是所有的预测都是回归问题。

分类问题的目标是预测数据属于一组类别中的哪一个。

# 线性回归的基本元素

线性回归基于几个简单的假设：首先，假设自变量 x 和因变量 y 之间的关系是线性的，即 y 可以表示为 x 中元素的加权和，这里通常允许包含观测值的一些噪声；其次，我们假设任何噪声都比较正常，如噪声遵循正态分布。

为了解释线性回归，我们举一个实际的例子：我们希望根据房屋的面积（平方英尺）和房龄（年）来估算房屋价格（美元）。为了开发一个能预测房价的模型，我们需要收集一个真实的数据集。这个数据集包括了房屋的销售价格、面积和房龄。在机器学习的术语中，该数据集称为训练数据集（training data set）或训练集（training set）。每行数据（比如一次房屋交易相对应的数据）称为样本（sample），也可以称为数据点（data point）或数据样本（data instance）。我们把试图预测的目标（比如预测房屋价格）称为标签（label）或目标（target）。预测所依据的自变量（面积和房龄）称为特征（feature）或协变量（covariate）。

通常，我们使用 n 来表示数据集中的样本数。对索引为 i 的样本，其输入表示为

$\mathbf{X}^{(i)} = \left[ x_1^{(i)}, x_2^{(i)} \right]^T$

，其对应的标签是 y（i）。

# Softmax 回归

Softmax 实质上是分类

# 回归与分类

# 回归

单连续数值输出
自然区间 R
跟真实值的区别作为损失

# 分类

通常多个输出
输出 i 是预测为第 i 类的置信度

# 从回归到多类分类 —— 均方损失

最大化 Oi 置信度

需要更置信的识别正确类（大余量）

远远大于其他

导数是我们 softmax 模型分配的概率如（0.1，0.2，0.7）与实际发生的情况（0，0，1）（由独热标签向量表示）之间的差异

交叉熵损失函数：

$l(\mathbf{y}, \hat{\mathbf{y}}) = - \sum_{j=1}^q y_j \log \hat{y}_j.$

y 是一个长度为 q 的独热编码向量

Softmax 回归是一个多类分类模型
・使用 Softmax 操作子得到每个类的预测置信度
・使用交叉熵来来衡量预测和标号的区别

# 损失函数

# L2 Loss

# L1 Loss

特性：预测值与真实值无论多远，梯度都是常数，较稳定，0 点处不可导，但是 0 点处不平滑

蓝色：y'

绿色：似然函数（高斯分布）

黄色：梯度（穿过原点）

# Huber' s Robust Loss

结合两个

# 信息论基础

信息论（information theory）涉及编码、解码、发送以及尽可能简洁地处理信息或数据。

# 熵

信息论的核心思想是量化数据中的信息内容。在信息论中，该数值被称为分布 P 的熵（entropy）。可以通过以下方程得到：

$H[P] = \sum_j - P(j) \log P(j).$

# vscode 终端进入运行 jupyter

1. 下载

1	pip install jupyter

2. 进入

1	jupyter notebook

# 图像分类数据集

MNIST 数据集 (LeCun et al., 1998) 是图像分类中广泛使用的数据集之一，但作为基准数据集过于简单。我们将使用类似但更复杂的 Fashion-MNIST 数据集 (Xiao et al., 2017)。

%matplotlib inline
import torch
import torchvision
from torch.utils import data
from torchvision import transforms #数据操作
from d2l import torch as d2l

d2l.use_svg_display()

svg 清晰度高一些

# 读取数据集

我们可以通过框架中的内置函数将 Fashion-MNIST 数据集下载并读取到内存中。

# 通过ToTensor实例将图像数据从PIL类型变换成32位浮点数格式，
# 并除以255使得所有像素的数值均在0～1之间
trans = transforms.ToTensor()
mnist_train = torchvision.datasets.FashionMNIST(
    root="../data", train=True, transform=trans, download=True)
#训练数据集

mnist_test = torchvision.datasets.FashionMNIST(
    root="../data", train=False, transform=trans, download=True)

train=True 训练数据集

transform=trans 拿到的是 tensor 而不是一堆图片

download=True 默认在网上下载，如果已经存在 data 中就不用指定 download 了

Fashion-MNIST 由 10 个类别的图像组成，每个类别由训练数据集（train dataset）中的 6000 张图像和测试数据集（test dataset）中的 1000 张图像组成。因此，训练集和测试集分别包含 60000 和 10000 张图像。测试数据集不会用于训练，只用于评估模型性能。

1	len(mnist_train), len(mnist_test)

1	(60000, 10000)

每个输入图像的高度和宽度均为 28 像素。数据集由灰度图像组成，其通道数为 1。为了简洁起见，本书将高度ℎ像素、宽度 w 像素图像的形状记为ℎ×w 或（ℎ,w）。

1	mnist_train[0][0].shape

1	torch.Size([1, 28, 28])

Fashion-MNIST 中包含的 10 个类别，分别为 t-shirt（T 恤）、trouser（裤子）、pullover（套衫）、dress（连衣裙）、coat（外套）、sandal（凉鞋）、shirt（衬衫）、sneaker（运动鞋）、bag（包）和 ankle boot（短靴）。以下函数用于在数字标签索引及其文本名称之间进行转换。

def get_fashion_mnist_labels(labels):  #@save
    """返回Fashion-MNIST数据集的文本标签"""
    text_labels = ['t-shirt', 'trouser', 'pullover', 'dress', 'coat',
                   'sandal', 'shirt', 'sneaker', 'bag', 'ankle boot']
    return [text_labels[int(i)] for i in labels]

我们现在可以创建一个函数来可视化这些样本。

def show_images(imgs, num_rows, num_cols, titles=None, scale=1.5):  #@save
    """绘制图像列表"""
    figsize = (num_cols * scale, num_rows * scale)
    _, axes = d2l.plt.subplots(num_rows, num_cols, figsize=figsize)
    axes = axes.flatten()
    for i, (ax, img) in enumerate(zip(axes, imgs)):
        if torch.is_tensor(img):
            # 图片张量
            ax.imshow(img.numpy())
        else:
            # PIL图片
            ax.imshow(img)
        ax.axes.get_xaxis().set_visible(False)
        ax.axes.get_yaxis().set_visible(False)
        if titles:
            ax.set_title(titles[i])
    return axes

以下是训练数据集中前几个样本的图像及其相应的标签。

1 2	X, y = next(iter(data.DataLoader(mnist_train, batch_size=18))) show_images(X.reshape(18, 28, 28), 2, 9, titles=get_fashion_mnist_labels(y));

# 读取小批量

为了使我们在读取训练集和测试集时更容易，我们使用内置的数据迭代器，而不是从零开始创建。回顾一下，在每次迭代中，数据加载器每次都会读取一小批量数据，大小为 batch_size 。通过内置数据迭代器，我们可以随机打乱了所有样本，从而无偏见地读取小批量。

batch_size = 256

def get_dataloader_workers():  #@save
    """使用4个进程来读取数据"""
    return 4

train_iter = data.DataLoader(mnist_train, batch_size, shuffle=True,
                             num_workers=get_dataloader_workers())

训练集要随机，测试集都可以

我们看一下读取训练数据所需的时间。

timer = d2l.Timer()
for X, y in train_iter:
    continue
f'{timer.stop():.2f} sec'

1	'3.37 sec'

保证读取速度比训练速度快，尽量快很多

# 整合所有组件

现在我们定义 load_data_fashion_mnist 函数，用于获取和读取 Fashion-MNIST 数据集。这个函数返回训练集和验证集的数据迭代器。此外，这个函数还接受一个可选参数 resize ，用来将图像大小调整为另一种形状。

def load_data_fashion_mnist(batch_size, resize=None):   #@save
    """下载Fashion-MNIST数据集，然后将其加载到内存中"""
    mnist_train, mnist_test = tf.keras.datasets.fashion_mnist.load_data()
    # 将所有数字除以255，使所有像素值介于0和1之间，在最后添加一个批处理维度，
    # 并将标签转换为int32。
    process = lambda X, y: (tf.expand_dims(X, axis=3) / 255,
                            tf.cast(y, dtype='int32'))
    resize_fn = lambda X, y: (
        tf.image.resize_with_pad(X, resize, resize) if resize else X, y)
    return (
        tf.data.Dataset.from_tensor_slices(process(*mnist_train)).batch(
            batch_size).shuffle(len(mnist_train[0])).map(resize_fn),
        tf.data.Dataset.from_tensor_slices(process(*mnist_test)).batch(
            batch_size).map(resize_fn))

跟着李沐学深度学习