- 莫烦机器学习教程
- 有趣的机器学习
- 机器学习 (Machine Learning)
- 神经网络 (Neural Network)
- 卷积神经网络 CNN (Convolutional Neural Network)
- 循环神经网络 RNN (Recurrent Neural Network)
- LSTM RNN 循环神经网络 (LSTM)
- 自编码 (Autoencoder)
- 检验神经网络 (Evaluation)
- 特征标准化 (Feature Normalization)
- 选择好特征 (Good Features)
- 激励函数 (Activation Function)
- 过拟合 (Overfitting)
- 加速神经网络训练 (Speed Up Training)
- 处理不均衡数据 (Imbalanced data)
- 批标准化 (Batch Normalization)
- L1 / L2 正规化 (Regularization)
- 强化学习 (Reinforcement Learning)
- 强化学习方法汇总 (Reinforcement Learning)
- Q Leaning
- Sarsa
- Sarsa(lambda)
- DQN
- Policy Gradients
- Actor Critic
- Deep Deterministic Policy Gradient (DDPG)
- Asynchronous Advantage Actor-Critic (A3C)
- 强化学习教程
- Why?
- 课程要求
- 小例子
- Q-learning 算法更新
- Q-learning 思维决策
- Sarsa 算法更新
- Sarsa 思维决策
- Sarsa-lambda
- DQN 算法更新 (Tensorflow)
- DQN 神经网络 (Tensorflow)
- DQN 思维决策 (Tensorflow)
- OpenAI gym 环境库 (Tensorflow)
- Double DQN (Tensorflow)
- Prioritized Experience Replay (DQN) (Tensorflow)
- Dueling DQN (Tensorflow)
- Policy Gradients 算法更新 (Tensorflow)
- Policy Gradients 思维决策 (Tensorflow)
- Actor Critic (Tensorflow)
- Deep Deterministic Policy Gradient (DDPG) (Tensorflow)
- Asynchronous Advantage Actor-Critic (A3C) (Tensorflow)
- TensorFlow 教程
- 为什么选 Tensorflow
- 安装
- 神经网络在干嘛
- 处理结构
- 例子 2
- Session 会话控制
- Variable 变量
- Placeholder 传入值
- 激励函数 Activation Function
- 例子 3 添加层 def add_layer()
- 例子 3 建造神经网络
- 例子 3 结果可视化
- 优化器 optimizer
- Tensorboard 可视化好帮手 1
- Tensorboard 可视化好帮手 2
- Classification 分类学习
- Dropout 解决 overfitting
- CNN 卷积神经网络 1
- CNN 卷积神经网络 2
- CNN 卷积神经网络 3
- Saver 保存读取
- RNN 循环神经网络
- RNN LSTM 循环神经网络 (分类例子)
- RNN LSTM (回归例子)
- RNN LSTM (回归例子可视化)
- 自编码 Autoencoder (非监督学习)
- scope 命名方法
- Batch Normalization 批标准化
- PyTorch 教程
- Why?
- 安装
- Torch 或 Numpy
- 变量 (Variable)
- 激励函数 (Activation)
- 关系拟合 (回归)
- 区分类型 (分类)
- 快速搭建法
- 保存提取
- 批训练
- Optimizer 优化器
- CNN 卷积神经网络
- RNN 循环神经网络 (分类)
- RNN 循环神经网络 (回归)
- AutoEncoder (自编码/非监督学习)
- DQN 强化学习
- GAN (Generative Adversarial Nets 生成对抗网络)
- 为什么 Torch 是动态的
- GPU 加速运算
- Dropout 缓解过拟合
- Batch Normalization 批标准化
- Theano 教程
- Why?
- 安装
- 神经网络在做什么
- 基本用法
- Function 用法
- Shared 变量
- Activation function 激励函数
- 定义 Layer 类
- Regression 回归例子
- 可视化结果 回归例子
- Classification 分类学习
- Regularization 正规化
- Save 保存 提取
- 总结和更多
- Keras 教程
- Why?
- 安装
- 兼容 backend
- Regressor 回归
- Classifier 分类
- CNN 卷积神经网络
- RNN Classifier 循环神经网络
- RNN Regressor 循环神经网络
- Autoencoder 自编码
- Save & reload 保存提取
- Scikit learn 教程
- Why?
- 安装
- 选择学习方法
- 通用学习模式
- sklearn 强大数据库
- sklearn 常用属性与功能
- 正规化 Normalization
- 交叉验证 1 Cross-validation
- 交叉验证 2 Cross-validation
- 交叉验证 3 Cross-validation
- 保存模型
Shared 变量
作者: Alice 编辑: Morvan
- 学习资料:
今天讲 Shared 变量
,意思是这些变量可以在运算过程中,不停地进行交换和更新值。 在定义 weights 和 bias
的情况下,会需要用到这样的变量。
今天会学习如何定义和使用它。
本文结构:
定义 Shared 变量
我们会用累加器来定义 Shared 变量
,每一次向上面加一个值,每一次基于上面的变化,再加上另一个值,就这样不断地更新并保存这样的值。
首先引用需要的包:
import numpy as np
import theano
import theano.tensor as T
用下面一行来定义 Shared 变量
,要用 np.array
给它赋予初始值,初始值是 0
,并且它的数据类型要规定好。 数据类型是很重要的,在后面要定义 vector 或者 matrix
的时候,一定要统一,否则就会报错。 这个例子中,我们定义它为 float64
,所以在后面定义其他结构的时候,也要保证这样的数据类型。 最后一个参数就是它的名字 'state'
。
state = theano.shared(np.array(0,dtype=np.float64), 'state') # inital state = 0
下面是累加值,定义它的名字为 inc
,还有它的数据类型,调用 state.dtype
,而不是写 dtype=np.float64
, 否则会报错。
inc = T.scalar('inc', dtype=state.dtype)
接下来是要定义一个 accumulator
函数,它的输入参数为 inc
,结果就是输出 state
,累加的过程叫做 updates
,就是要把现在的 state
变成 state+inc
。
accumulator = theano.function([inc], state, updates=[(state, state+inc)])
提取 使用
打印: 不能直接用 print(accumulator(10))
,因为这样输出的,第一次就是初始值 0,只能到下一次输出的时候,才会出现 10. 下面这个更科学,它可以取出 state
的当前值,我们可以先后 +1, +10, 打印结果看看如何:
# to get variable value
print(state.get_value())
# 0.0
accumulator(1) # return previous value, 0 in here
print(state.get_value())
# 1.0
accumulator(10) # return previous value, 1 in here
print(state.get_value())
# 11.0
get_value
可以用来提取参数的值。
而 set_value
可以用来重新设置参数,例如 把 11 变成了 -1,那么再 +3 之后就是 2,而不是 11+3=14.
# to set variable value
state.set_value(-1)
accumulator(3)
print(state.get_value())
# 2.0
get_value, set_value
这两种只能在 Shared 变量
的时候调用。
临时使用
有时只是想暂时使用 Shared 变量
,并不需要把它更新: 这时我们可以定义一个 a
来临时代替 state
,注意定义 a
的时候也要统一 dtype
。
a = T.scalar(dtype=state.dtype)
然后忽略掉 Shared 变量
的运算,输入值是 [inc, a]
,相当于把 a
代入 state
,输出是 tmp_func
, givens
就是想把什么替换成什么。 这样的话,在调用 skip_shared
函数后, state
并没有被改变。
# temporarily replace shared variable with another value in another function
tmp_func = state * 2 + inc
a = T.scalar(dtype=state.dtype)
skip_shared = theano.function([inc, a], tmp_func, givens=[(state, a)]) # temporarily use a's value for the state
print(skip_shared(2, 3))
# 8.0
print(state.get_value()) # old state value
# 2.0
最后输出 print(skip_shared(2, 3))
时,就得到 3*2 + 2 = 8. state
只是被暂时地替换成 a
,但是在调用它的时候,仍然是原来的值 2,而不是 3(a 的值)。
如果你觉得这篇文章或视频对你的学习很有帮助,请你也分享它,让它能再次帮助到更多的需要学习的人。
绑定邮箱获取回复消息
由于您还没有绑定你的真实邮箱,如果其他用户或者作者回复了您的评论,将不能在第一时间通知您!
发布评论