求函数最小值-torch版

🕗 发布于 2024-07-07 14:27 深度学习 人工智能 机器学习

目标：torch实现下面链接中的梯度下降法

先计算 $y=x^2$ 的导函数 $y{}'=2x$ ，然后计算导函数在 $x_{0}=7.5$ 处的梯度 (导数)

让 $x_{0}$ 沿着 梯度的负方向移动，

$x\leftarrow x-y{}'x_{0}$

自变量 $x$ 的更新过程如下

$x_{1}\leftarrow x_{0}-y{}'_{x0}$

$x_{2}\leftarrow x_{1}-y{}'_{x1}$

$x_{3}\leftarrow x_{2}-y{}'_{x2}$

$\cdot \cdot \cdot$

$x_{n}\leftarrow x_{n-1}-y{}'_{x_{n-1}}$

torch代码实现如下

import torch

x = torch.tensor([7.5],requires_grad=True)
# print(x.grad)

optimizer = torch.optim.SGD([x], lr=1)

print('x_0 = {}'.format(x))

for i in range(10):
    y = x * x
    optimizer.zero_grad()
    y.backward()

    optimizer.step()
    print('x_{} = {}'.format(i+1,x))

运行效果如下：

x_0 = tensor([7.5000], requires_grad=True)
x_1 = tensor([-7.5000], requires_grad=True)
x_2 = tensor([7.5000], requires_grad=True)
x_3 = tensor([-7.5000], requires_grad=True)
x_4 = tensor([7.5000], requires_grad=True)
x_5 = tensor([-7.5000], requires_grad=True)
x_6 = tensor([7.5000], requires_grad=True)
x_7 = tensor([-7.5000], requires_grad=True)
x_8 = tensor([7.5000], requires_grad=True)
x_9 = tensor([-7.5000], requires_grad=True)
x_10 = tensor([7.5000], requires_grad=True)

给梯度加系数

我们可以给梯度加个系数，如下

$x_{1}\leftarrow x_{0}-0.01*y{}'_{x0}$

$x_{2}\leftarrow x_{1}-0.01*y{}'_{x1}$

$x_{3}\leftarrow x_{2}-0.01*y{}'_{x2}$

$\cdot \cdot \cdot$

$x_{n}\leftarrow x_{n-1}-0.01*y{}'_{x_{n-1}}$

torch代码实现如下

import torch

x = torch.tensor([7.5],requires_grad=True)
# print(x.grad)

optimizer = torch.optim.SGD([x], lr=0.01)

print('x_0 = {}'.format(x))

for i in range(10):
    y = x * x
    optimizer.zero_grad()
    y.backward()

    optimizer.step()
    print('x_{} = {}'.format(i+1,x))

运行效果如下：

x_0 = tensor([7.5000], requires_grad=True)
x_1 = tensor([7.3500], requires_grad=True)
x_2 = tensor([7.2030], requires_grad=True)
x_3 = tensor([7.0589], requires_grad=True)
x_4 = tensor([6.9178], requires_grad=True)
x_5 = tensor([6.7794], requires_grad=True)
x_6 = tensor([6.6438], requires_grad=True)
x_7 = tensor([6.5109], requires_grad=True)
x_8 = tensor([6.3807], requires_grad=True)
x_9 = tensor([6.2531], requires_grad=True)
x_10 = tensor([6.1280], requires_grad=True)

调迭代次数

发现 $x$ 变化的很慢，我们可以增加迭代次数，如下

import torch

x = torch.tensor([7.5],requires_grad=True)
# print(x.grad)

optimizer = torch.optim.SGD([x], lr=0.01)

print('x_0 = {}'.format(x))

for i in range(200):
    y = x * x
    optimizer.zero_grad()
    y.backward()

    optimizer.step()
    print('x_{} = {}'.format(i+1,x))

运行结果如下：

x_0 = tensor([7.5000], requires_grad=True)
x_1 = tensor([7.3500], requires_grad=True)
x_2 = tensor([7.2030], requires_grad=True)
...
x_199 = tensor([0.1346], requires_grad=True)
x_200 = tensor([0.1319], requires_grad=True)

调梯度系数

我们把 0.01 换成 0.1 试试

import torch

x = torch.tensor([7.5],requires_grad=True)
# print(x.grad)

optimizer = torch.optim.SGD([x], lr=0.1)

print('x_0 = {}'.format(x))

for i in range(10):
    y = x * x
    optimizer.zero_grad()
    y.backward()

    optimizer.step()
    print('x_{} = {}'.format(i+1,x))

运行结果如下：

x_0 = tensor([7.5000], requires_grad=True)
x_1 = tensor([6.], requires_grad=True)
x_2 = tensor([4.8000], requires_grad=True)
x_3 = tensor([3.8400], requires_grad=True)
x_4 = tensor([3.0720], requires_grad=True)
x_5 = tensor([2.4576], requires_grad=True)
x_6 = tensor([1.9661], requires_grad=True)
x_7 = tensor([1.5729], requires_grad=True)
x_8 = tensor([1.2583], requires_grad=True)
x_9 = tensor([1.0066], requires_grad=True)
x_10 = tensor([0.8053], requires_grad=True)

原文地址：https://blog.csdn.net/JIA_NG_FA_N/article/details/140141744

免责声明：本站文章内容转载自网络资源，如本站内容侵犯了原著者的合法权益，可联系本站删除。更多内容请关注自学内容网（zxcms.com）！

上一篇：机器学习简介--NLP(二)
下一篇：css样式学习样例之边框

【设计模式系列】原型模式（十一）
原型模式（Prototype Pattern）是一种创建型设计模式，它使得一个对象可以复制自身，从而创建一个与自己属性一致的新对象，而无需知晓对象创建的细节。（例如，涉及复杂的初始化过程）。
阅读更多2024-11-05
2024 CSS - 保姆级系列教程三 - 选择器与布局详解
CSS 选择器是 CSS 规则的第一部分。它是元素和其他部分组合起来告诉浏览器哪个 HTML 元素应当是被选为应用规则中的 CSS 属性值的方式。选择器所选择的元素，叫做“选择器的对象”。
阅读更多2024-11-05
河北冠益荣信科技公司洞庭变电站工程低压备自投装置的应用
（1）在正常运行模式下，2QF和5QF闭合，而3QF和4QF断开，此时由#2站用变供电给两段母线，#1站作为紧急备用电源，手动操作，1QF通常断开。（1）正常运行时，#1站用变进线带I段母线，#2站用
阅读更多2024-11-05
Flutter学习笔记（二）------ 第一个flutter项目
dart语法较为简单，学过python和c++后发现大同小异。不过多介绍1.函数可变参数可以类比*args, **kwargs，与之不同的是dart中，*args **kwargs不能同时存在。
阅读更多2024-11-05
大数据导论第八章作业
答：数据通常是枯燥乏味的，利用数据可视化平台，枯燥乏味的数据可转变为丰富生动的视觉效果，不仅有助于简化人们的分析过程，还可在很大程度上提高分析数据的效率。数据可视化技术的基本思想是将数据库中每一个数据
阅读更多2024-11-05
矩阵压缩格式转换：COO转换CSC（C++）
主要对稀疏矩阵COO格式转换CSC格式进行介绍和C++代码实现，方便将矩阵市场的mtx文件内容转换为CSC格式的矩阵
阅读更多2024-11-05
PowerBI 根据条件选择获得不同的表格因为IF和SWITCH只能返回标量而不能返回表格 Power BI
PowerBI 根据条件选择返回不同的表格因为IF和SWITCH只能返回标量而不能返回表格 Power BI自定义日期筛选套件。
阅读更多2024-11-05
【Java SpringIOC与ID随感录】基于 XML 的 Bean 装配
也就是说，对象的创建和依赖关系的维护从程序员的手中转移到 BeanFactory 我们将这个现象称之为控制反转(IOC)，在 BeanFactory 工厂中负责注入每一个依赖关系的这种行为称之为(ID
阅读更多2024-11-05
RabbitMQ最全教程-Part1(基础使用)
消息队列中间件是分布式系统中重要的组件，主要解决应用解耦，异步消息，流量削锋等问题，实现高性能，高可用，可伸缩和最终一致性架构。
阅读更多2024-11-05
Topaz Video AI for Mac 视频无损放大软件安装教程【保姆级，操作简单轻松上手】
Topaz Video AI for Mac 视频无损放大软件安装教程【保姆级，操作简单轻松上手】
阅读更多2024-11-05

求函数最小值-torch版

给梯度加系数

调迭代次数

调梯度系数

相关文章