Loading...
出处:Paddle文档平台 - 自注意力机制在前边所讲的内容中,会使用一个查询向量 $q$ 和对应的输入 $H=[h_1,h_2,...,h_n]$ 进行...
出处:Paddle文档平台 - 注意力机制1. 注意力机制是什么假设有一天热爱绘画的你决定去户外写生,你来到一片山坡上,极目远去,心旷神怡。头顶一片蔚蓝,...
出处:Paddle文档平台 - 早停法(EarlyStop)早停法可以限制模型最小化代价函数所需的训练迭代次数。早停法通常用于防止训练中过度表达的模型泛化...
出处:Paddle文档平台 - Batch Size1. 什么是batch size在神经网络的训练过程中,一个非常直观的需要调整的超参数就是batch ...
出处:Paddle文档平台 - Dropout1. DropoutDropout指在训练神经网络过程中随机丢掉一部分神经元来减少神经网络复杂度,从而防止过...
出处:Paddle文档平台 - 正则化1. 什么是正则化?当向右移时,模型试图从训练数据中很好地学习细节和噪声,这最终导致在看不见的数据上表现不佳。也就是...
出处:Paddle文档平台 - 归一化1. 什么是归一化归一化是一种数据处理方式,能将数据经过处理后限制在某个固定范围内。归一化存在两种形式,一种是在通常...
出处:Paddle文档平台 - 学习率1. 什么是学习率学习率是训练神经网络的重要超参数之一,它代表在每一次迭代中梯度向损失函数最优解移动的步长,通常用 ...
出处:Paddle文档平台 - 参数初始化在开始训练神经网络之前,首先要做的是给网络中的每一个权重和偏置赋值,这个赋值的过程就是参数初始化。合理的初始化可...
出处:Paddle文档平台 - GAN评价指标生成器G训练好后,需要评价生成图片的质量好坏,主要分为主观评价和客观评价,接下来分别介绍这两类方法:1. 主...