TensorFlow - 优化器
栏目:行业动态 发布时间:2024-06-10
分享到:
?上一节下一节?优化器是扩展类,其中包括用于训练特定模型的附加信息。优化器类是用给定的参数初始化的,但重要的是要记住不需要张量。优化器用于提高训练特定模型的速度和性能。TensorFlow的基本优化器是−tf.train.Optimizer该类定义在te
【腾讯云】热卖套餐配置低至32元/月起,助您一键开服,即刻畅玩,立享优惠!

优化器是扩展类,其中包括用于训练特定模型的附加信息。 优化器类是用给定的参数初始化的,但重要的是要记住不需要张量。 优化器用于提高训练特定模型的速度和性能。

TensorFlow 的基本优化器是 −

tf.train.Optimizer

该类定义在 tensorflow/python/training/optimizer.py 的指定路径中。

以下是 Tensorflow 中的一些优化器 −

  • Stochastic Gradient descent
  • Stochastic Gradient descent with gradient clipping
  • Momentum
  • Nesterov momentum
  • Adagrad
  • Adadelta
  • RMSProp
  • Adam
  • Adamax
  • SMORMS3

我们将专注于随机梯度下降。 下面提到了为其创建优化器的图示 −

def sgd(cost, params, lr=np.float32(0.01)):
   g_params=tf.gradients(cost, params)
   updates=[]
   
   for param, g_param in zip(params, g_params):
      updates.append(param.assign(param - lr*g_param))
   return updates

基本参数在特定函数中定义。 在接下来的章节中,我们将重点介绍梯度下降优化和优化器的实现。




下一篇:暂无

平台注册入口