From f3fff495b45b3fd5f084582a0425611e4f8da20a Mon Sep 17 00:00:00 2001 From: guosheng Date: Thu, 25 Oct 2018 23:30:42 +0800 Subject: [PATCH 1/3] Add api guide for loss function --- .../low_level/layers/loss_function.rst | 60 +++++++++++++++++++ doc/fluid/api/layers.rst | 8 +++ 2 files changed, 68 insertions(+) create mode 100644 doc/fluid/api/api_guides/low_level/layers/loss_function.rst diff --git a/doc/fluid/api/api_guides/low_level/layers/loss_function.rst b/doc/fluid/api/api_guides/low_level/layers/loss_function.rst new file mode 100644 index 0000000000000..fe08a12ce11ad --- /dev/null +++ b/doc/fluid/api/api_guides/low_level/layers/loss_function.rst @@ -0,0 +1,60 @@ +.. _api_guide_loss_function: + +####### +损失函数 +####### + +损失函数定义了拟合结果和真实结果之间的差异，作为优化的目标直接关系模型训练的好坏，很多研究工作的内容也集中在损失函数的设计优化上。 +Paddle Fluid 中提供了面向多种任务的多种类型的损失函数，以下列出了一些 Paddle Fluid 中包含的较为常用的损失函数。 + +回归 +---- + +squared error loss 使用预测值和真实值之间误差的平方作为样本损失，是回归问题中最为基本的损失函数。 +API Reference 请参考 :ref:`api_fluid_layers_square_error_cost`。 + +smooth_l1 loss 是一种分段的损失函数，较平方误差损失其对异常点相对不敏感，因而更为鲁棒。 +API Reference 请参考 :ref:`api_fluid_layers_smooth_l1`。 + + +分类 +---- + +`cross entropy `_ 是分类问题中使用最为广泛的损失函数，Paddle Fluid 中提供了接受归一化概率值和 +非归一化分值输入的两种交叉熵损失函数的接口，并支持 soft label 和 hard label 两种样本类别标签。 +API Reference 请参考 :ref:`api_fluid_layers_cross_entropy` 和 :ref:`api_fluid_layers_softmax_with_cross_entropy`。 + +对于多标签分类问题，如一篇文章同属于政治、科技等多个类别的情况，需要将各类别作为独立的二分类问题计算损失，Paddle Fluid 中为此提供了 sigmoid_cross_entropy_with_logits 损失函数， +API Reference 请参考 :ref:`api_fluid_layers_sigmoid_cross_entropy_with_logits`。 + +对于大规模分类问题，通常需要特殊的方法及相应的损失函数以加速训练，常用的方法有 `噪声对比估计（Noise-contrastive estimation，NCE） `_ 和 `Hierarchical sigmoid `_ 。 +NCE 通过将多分类问题转化为学习分类器来判别数据来自真实分布和噪声分布的二分类问题，基于二分类来进行极大似然估计，避免在全类别空间计算归一化因子从而降低了计算复杂度。 +Hierarchical sigmoid 通过二叉树进行层级的二分类来实现多分类，每个样本的损失对应了编码路径上各节点二分类交叉熵的和，避免了归一化因子的计算从而降低了计算复杂度。 +这两种方法对应的损失函数在 Paddle Fluid 中均有提供，API Reference 请参考 :ref:`api_fluid_layers_nce` 和 :ref:`api_fluid_layers_hsigmoid`。 + +此外还有一些其他形式的分类问题：对于序列标注这类特殊的分类问题，如命名实体识别，`（线性链）条件随机场（Conditional Random Field，CRF） `_ 是一种常用的模型方法， +其使用句子级别的似然概率，序列中不同位置的标签不再是条件独立，能够有效解决标记偏置问题。Paddle Fluid 中提供了 CRF 对应损失函数的支持， +API Reference 请参考 :ref:`api_fluid_layers_linear_chain_crf`。 +`时序分类（Temporal Classification） `_ 是一种更为特殊的序列标注问题，需要对未分割的序列进行标注，如语音识别， +Connectionist Temporal Classification 损失函数不需要对齐输入数据及标签，可以进行端到端的训练，Paddle Fluid 提供了 warpctc 的接口来计算相应的损失， +API Reference 请参考 :ref:`api_fluid_layers_warpctc`。 + + +排序 +---- + +`排序问题 `_ 可以使用 Pointwise、Pairwise 和 Listwise 的学习方法，不同的方法需要使用不同的损失函数； +Pointwise 的方法通过近似为回归问题解决排序问题，可以使用回归问题的损失函数； +Pairwise 和 Listwise 的方法需要特殊设计的损失函数，Pairwise 的方法通过近似为分类问题解决排序问题，使用两篇文档与 query 的相关性得分以偏序作为二分类标签来计算损失，Paddle Fluid 中提供了两种常用的 Pairwise 方法的损失函数， +API Reference 请参考 :ref:`api_fluid_layers_rank_loss` 和 :ref:`api_fluid_layers_margin_rank_loss`。 + + + +更多 +---- + +对于一些较为复杂的损失函数，可以尝试使用其他损失函数组合实现； +Paddle Fluid 中提供的用于图像分割任务的 :ref:`api_fluid_layers_dice_loss` 即是使用其他 OP 组合（计算各像素位置似然概率的均值）而成； +多目标损失函数也可看作这样的情况，如 Faster RCNN 就使用 cross entropy 和 smooth_l1 loss 的加权和作为损失函数。 + +注意，在定义损失函数之后为能够使用 :code:`Optimizer` 进行优化，通常需要使用 :code:`mean` 或其他操作将损失函数返回的高维 Tensor 转换为 Scalar 值。 \ No newline at end of file diff --git a/doc/fluid/api/layers.rst b/doc/fluid/api/layers.rst index 35a1ea9693698..6555e28d708b4 100644 --- a/doc/fluid/api/layers.rst +++ b/doc/fluid/api/layers.rst @@ -847,6 +847,14 @@ rank_loss .. autofunction:: paddle.fluid.layers.rank_loss :noindex: +.. _api_fluid_layers_margin_rank_loss: + +margin_rank_loss +---------------- + +.. autofunction:: paddle.fluid.layers.margin_rank_loss + :noindex: + .. _api_fluid_layers_elu: elu From 2d3de086cb4cecc0eb9be7c45b286d92d74c63ec Mon Sep 17 00:00:00 2001 From: guosheng Date: Fri, 26 Oct 2018 17:37:37 +0800 Subject: [PATCH 2/3] Refine the api guide for loss function --- .../low_level/layers/loss_function.rst | 48 +++++++++---------- 1 file changed, 24 insertions(+), 24 deletions(-) diff --git a/doc/fluid/api/api_guides/low_level/layers/loss_function.rst b/doc/fluid/api/api_guides/low_level/layers/loss_function.rst index fe08a12ce11ad..a8a3bc72974c5 100644 --- a/doc/fluid/api/api_guides/low_level/layers/loss_function.rst +++ b/doc/fluid/api/api_guides/low_level/layers/loss_function.rst @@ -8,7 +8,7 @@ Paddle Fluid 中提供了面向多种任务的多种类型的损失函数，以下列出了一些 Paddle Fluid 中包含的较为常用的损失函数。 回归 ----- +==== squared error loss 使用预测值和真实值之间误差的平方作为样本损失，是回归问题中最为基本的损失函数。 API Reference 请参考 :ref:`api_fluid_layers_square_error_cost`。 @@ -18,43 +18,43 @@ API Reference 请参考 :ref:`api_fluid_layers_smooth_l1`。 分类 ----- +==== -`cross entropy `_ 是分类问题中使用最为广泛的损失函数，Paddle Fluid 中提供了接受归一化概率值和 -非归一化分值输入的两种交叉熵损失函数的接口，并支持 soft label 和 hard label 两种样本类别标签。 +`cross entropy `_ 是分类问题中使用最为广泛的损失函数，Paddle Fluid 中提供了接受归一化概率值和非归一化分值输入的两种交叉熵损失函数的接口，并支持 soft label 和 hard label 两种样本类别标签。 API Reference 请参考 :ref:`api_fluid_layers_cross_entropy` 和 :ref:`api_fluid_layers_softmax_with_cross_entropy`。 +多标签分类 +--------- 对于多标签分类问题，如一篇文章同属于政治、科技等多个类别的情况，需要将各类别作为独立的二分类问题计算损失，Paddle Fluid 中为此提供了 sigmoid_cross_entropy_with_logits 损失函数， API Reference 请参考 :ref:`api_fluid_layers_sigmoid_cross_entropy_with_logits`。 -对于大规模分类问题，通常需要特殊的方法及相应的损失函数以加速训练，常用的方法有 `噪声对比估计（Noise-contrastive estimation，NCE） `_ 和 `Hierarchical sigmoid `_ 。 -NCE 通过将多分类问题转化为学习分类器来判别数据来自真实分布和噪声分布的二分类问题，基于二分类来进行极大似然估计，避免在全类别空间计算归一化因子从而降低了计算复杂度。 -Hierarchical sigmoid 通过二叉树进行层级的二分类来实现多分类，每个样本的损失对应了编码路径上各节点二分类交叉熵的和，避免了归一化因子的计算从而降低了计算复杂度。 +大规模分类 +--------- +对于大规模分类问题，通常需要特殊的方法及相应的损失函数以加速训练，常用的方法有 `Noise-contrastive estimation（NCE，噪声对比估计） `_ 和 `Hierarchical sigmoid `_ 。 + +* NCE 通过将多分类问题转化为学习分类器来判别数据来自真实分布和噪声分布的二分类问题，基于二分类来进行极大似然估计，避免在全类别空间计算归一化因子从而降低了计算复杂度。 +* Hierarchical sigmoid 通过二叉树进行层级的二分类来实现多分类，每个样本的损失对应了编码路径上各节点二分类交叉熵的和，避免了归一化因子的计算从而降低了计算复杂度。 这两种方法对应的损失函数在 Paddle Fluid 中均有提供，API Reference 请参考 :ref:`api_fluid_layers_nce` 和 :ref:`api_fluid_layers_hsigmoid`。 -此外还有一些其他形式的分类问题：对于序列标注这类特殊的分类问题，如命名实体识别，`（线性链）条件随机场（Conditional Random Field，CRF） `_ 是一种常用的模型方法， -其使用句子级别的似然概率，序列中不同位置的标签不再是条件独立，能够有效解决标记偏置问题。Paddle Fluid 中提供了 CRF 对应损失函数的支持， -API Reference 请参考 :ref:`api_fluid_layers_linear_chain_crf`。 -`时序分类（Temporal Classification） `_ 是一种更为特殊的序列标注问题，需要对未分割的序列进行标注，如语音识别， -Connectionist Temporal Classification 损失函数不需要对齐输入数据及标签，可以进行端到端的训练，Paddle Fluid 提供了 warpctc 的接口来计算相应的损失， -API Reference 请参考 :ref:`api_fluid_layers_warpctc`。 +序列分类 +------- +序列分类可以分为以下三种： +* Sequence Classification 问题，整个序列对应一个预测标签，如文本分类。这种即是普通的分类问题，可以使用 cross entropy 作为损失函数。 +* Segment Classification 问题，序列中的各个片段对应有自己的类别标签，如命名实体识别。对于这种序列标注问题，`（线性链）条件随机场（Conditional Random Field，CRF） `_ 是一种常用的模型方法，其使用句子级别的似然概率，序列中不同位置的标签不再是条件独立，能够有效解决标记偏置问题。Paddle Fluid 中提供了 CRF 对应损失函数的支持，API Reference 请参考 :ref:`api_fluid_layers_linear_chain_crf`。 +* Temporal Classification 问题，需要对未分割的序列进行标注，如语音识别。对于这种时序分类问题，`Connectionist Temporal Classification `_ 损失函数不需要对齐输入数据及标签，可以进行端到端的训练，Paddle Fluid 提供了 warpctc 的接口来计算相应的损失，API Reference 请参考 :ref:`api_fluid_layers_warpctc`。 排序 ----- - -`排序问题 `_ 可以使用 Pointwise、Pairwise 和 Listwise 的学习方法，不同的方法需要使用不同的损失函数； -Pointwise 的方法通过近似为回归问题解决排序问题，可以使用回归问题的损失函数； -Pairwise 和 Listwise 的方法需要特殊设计的损失函数，Pairwise 的方法通过近似为分类问题解决排序问题，使用两篇文档与 query 的相关性得分以偏序作为二分类标签来计算损失，Paddle Fluid 中提供了两种常用的 Pairwise 方法的损失函数， -API Reference 请参考 :ref:`api_fluid_layers_rank_loss` 和 :ref:`api_fluid_layers_margin_rank_loss`。 +==== +`排序问题 `_ 可以使用 Pointwise、Pairwise 和 Listwise 的学习方法，不同的方法需要使用不同的损失函数： +* Pointwise 的方法通过近似为回归问题解决排序问题，可以使用回归问题的损失函数。 +* Pairwise 的方法需要特殊设计的损失函数，其通过近似为分类问题解决排序问题，使用两篇文档与 query 的相关性得分以偏序作为二分类标签来计算损失。Paddle Fluid 中提供了两种常用的 Pairwise 方法的损失函数，API Reference 请参考 :ref:`api_fluid_layers_rank_loss` 和 :ref:`api_fluid_layers_margin_rank_loss`。 更多 ----- +==== -对于一些较为复杂的损失函数，可以尝试使用其他损失函数组合实现； -Paddle Fluid 中提供的用于图像分割任务的 :ref:`api_fluid_layers_dice_loss` 即是使用其他 OP 组合（计算各像素位置似然概率的均值）而成； -多目标损失函数也可看作这样的情况，如 Faster RCNN 就使用 cross entropy 和 smooth_l1 loss 的加权和作为损失函数。 +对于一些较为复杂的损失函数，可以尝试使用其他损失函数组合实现；Paddle Fluid 中提供的用于图像分割任务的 :ref:`api_fluid_layers_dice_loss` 即是使用其他 OP 组合（计算各像素位置似然概率的均值）而成；多目标损失函数也可看作这样的情况，如 Faster RCNN 就使用 cross entropy 和 smooth_l1 loss 的加权和作为损失函数。 -注意，在定义损失函数之后为能够使用 :code:`Optimizer` 进行优化，通常需要使用 :code:`mean` 或其他操作将损失函数返回的高维 Tensor 转换为 Scalar 值。 \ No newline at end of file +**注意**，在定义损失函数之后为能够使用 :code:`Optimizer` 进行优化，通常需要使用 :code:`mean` 或其他操作将损失函数返回的高维 Tensor 转换为 Scalar 值。 \ No newline at end of file From 52a55089b38597665af268df328e78292d3493c9 Mon Sep 17 00:00:00 2001 From: guosheng Date: Fri, 26 Oct 2018 21:31:06 +0800 Subject: [PATCH 3/3] Refine the api guide for loss function by following comments --- .../low_level/layers/loss_function.rst | 20 +++++++++---------- 1 file changed, 10 insertions(+), 10 deletions(-) diff --git a/doc/fluid/api/api_guides/low_level/layers/loss_function.rst b/doc/fluid/api/api_guides/low_level/layers/loss_function.rst index a8a3bc72974c5..5802fc4b93418 100644 --- a/doc/fluid/api/api_guides/low_level/layers/loss_function.rst +++ b/doc/fluid/api/api_guides/low_level/layers/loss_function.rst @@ -10,17 +10,17 @@ Paddle Fluid 中提供了面向多种任务的多种类型的损失函数，以 回归 ==== -squared error loss 使用预测值和真实值之间误差的平方作为样本损失，是回归问题中最为基本的损失函数。 +平方误差损失（squared error loss）使用预测值和真实值之间误差的平方作为样本损失，是回归问题中最为基本的损失函数。 API Reference 请参考 :ref:`api_fluid_layers_square_error_cost`。 -smooth_l1 loss 是一种分段的损失函数，较平方误差损失其对异常点相对不敏感，因而更为鲁棒。 +平滑 L1 损失（smooth_l1 loss）是一种分段的损失函数，较平方误差损失其对异常点相对不敏感，因而更为鲁棒。 API Reference 请参考 :ref:`api_fluid_layers_smooth_l1`。 分类 ==== -`cross entropy `_ 是分类问题中使用最为广泛的损失函数，Paddle Fluid 中提供了接受归一化概率值和非归一化分值输入的两种交叉熵损失函数的接口，并支持 soft label 和 hard label 两种样本类别标签。 +`交叉熵（cross entropy） `_ 是分类问题中使用最为广泛的损失函数，Paddle Fluid 中提供了接受归一化概率值和非归一化分值输入的两种交叉熵损失函数的接口，并支持 soft label 和 hard label 两种样本类别标签。 API Reference 请参考 :ref:`api_fluid_layers_cross_entropy` 和 :ref:`api_fluid_layers_softmax_with_cross_entropy`。 多标签分类 @@ -30,19 +30,19 @@ API Reference 请参考 :ref:`api_fluid_layers_sigmoid_cross_entropy_with_logits 大规模分类 --------- -对于大规模分类问题，通常需要特殊的方法及相应的损失函数以加速训练，常用的方法有 `Noise-contrastive estimation（NCE，噪声对比估计） `_ 和 `Hierarchical sigmoid `_ 。 +对于大规模分类问题，通常需要特殊的方法及相应的损失函数以加速训练，常用的方法有 `噪声对比估计（Noise-contrastive estimation，NCE） `_ 和 `层级 sigmoid `_ 。 -* NCE 通过将多分类问题转化为学习分类器来判别数据来自真实分布和噪声分布的二分类问题，基于二分类来进行极大似然估计，避免在全类别空间计算归一化因子从而降低了计算复杂度。 -* Hierarchical sigmoid 通过二叉树进行层级的二分类来实现多分类，每个样本的损失对应了编码路径上各节点二分类交叉熵的和，避免了归一化因子的计算从而降低了计算复杂度。 +* 噪声对比估计通过将多分类问题转化为学习分类器来判别数据来自真实分布和噪声分布的二分类问题，基于二分类来进行极大似然估计，避免在全类别空间计算归一化因子从而降低了计算复杂度。 +* 层级 sigmoid 通过二叉树进行层级的二分类来实现多分类，每个样本的损失对应了编码路径上各节点二分类交叉熵的和，避免了归一化因子的计算从而降低了计算复杂度。 这两种方法对应的损失函数在 Paddle Fluid 中均有提供，API Reference 请参考 :ref:`api_fluid_layers_nce` 和 :ref:`api_fluid_layers_hsigmoid`。 序列分类 ------- 序列分类可以分为以下三种： -* Sequence Classification 问题，整个序列对应一个预测标签，如文本分类。这种即是普通的分类问题，可以使用 cross entropy 作为损失函数。 -* Segment Classification 问题，序列中的各个片段对应有自己的类别标签，如命名实体识别。对于这种序列标注问题，`（线性链）条件随机场（Conditional Random Field，CRF） `_ 是一种常用的模型方法，其使用句子级别的似然概率，序列中不同位置的标签不再是条件独立，能够有效解决标记偏置问题。Paddle Fluid 中提供了 CRF 对应损失函数的支持，API Reference 请参考 :ref:`api_fluid_layers_linear_chain_crf`。 -* Temporal Classification 问题，需要对未分割的序列进行标注，如语音识别。对于这种时序分类问题，`Connectionist Temporal Classification `_ 损失函数不需要对齐输入数据及标签，可以进行端到端的训练，Paddle Fluid 提供了 warpctc 的接口来计算相应的损失，API Reference 请参考 :ref:`api_fluid_layers_warpctc`。 +* 序列分类（Sequence Classification）问题，整个序列对应一个预测标签，如文本分类。这种即是普通的分类问题，可以使用 cross entropy 作为损失函数。 +* 序列片段分类（Segment Classification）问题，序列中的各个片段对应有自己的类别标签，如命名实体识别。对于这种序列标注问题，`（线性链）条件随机场（Conditional Random Field，CRF） `_ 是一种常用的模型方法，其使用句子级别的似然概率，序列中不同位置的标签不再是条件独立，能够有效解决标记偏置问题。Paddle Fluid 中提供了 CRF 对应损失函数的支持，API Reference 请参考 :ref:`api_fluid_layers_linear_chain_crf`。 +* 时序分类（Temporal Classification）问题，需要对未分割的序列进行标注，如语音识别。对于这种时序分类问题，`CTC（Connectionist Temporal Classification） `_ 损失函数不需要对齐输入数据及标签，可以进行端到端的训练，Paddle Fluid 提供了 warpctc 的接口来计算相应的损失，API Reference 请参考 :ref:`api_fluid_layers_warpctc`。 排序 ==== @@ -57,4 +57,4 @@ API Reference 请参考 :ref:`api_fluid_layers_sigmoid_cross_entropy_with_logits 对于一些较为复杂的损失函数，可以尝试使用其他损失函数组合实现；Paddle Fluid 中提供的用于图像分割任务的 :ref:`api_fluid_layers_dice_loss` 即是使用其他 OP 组合（计算各像素位置似然概率的均值）而成；多目标损失函数也可看作这样的情况，如 Faster RCNN 就使用 cross entropy 和 smooth_l1 loss 的加权和作为损失函数。 -**注意**，在定义损失函数之后为能够使用 :code:`Optimizer` 进行优化，通常需要使用 :code:`mean` 或其他操作将损失函数返回的高维 Tensor 转换为 Scalar 值。 \ No newline at end of file +**注意**，在定义损失函数之后为能够使用 :ref:`api_guide_optimizer` 进行优化，通常需要使用 :ref:`api_fluid_layers_mean` 或其他操作将损失函数返回的高维 Tensor 转换为 Scalar 值。 \ No newline at end of file