Question

作者: 年拾柒 编辑: Morvan

• 学习资料:
  • 相关代码
  • 机器学习-简介系列 什么是 CNN

这一次我们一层层的加上了不同的 layer. 分别是:

1. convolutional layer1 + max pooling;
2. convolutional layer2 + max pooling;
3. fully connected layer1 + dropout;
4. fully connected layer2 to prediction.

我们利用上节课定义好的函数来构建我们的网络

首先呢，我们定义一下输入的 placeholder

xs=tf.placeholder(tf.float32,[None,784])
ys=tf.placeholder(tf.float32,[None,10])

我们还定义了 dropout 的 placeholder ，它是解决过拟合的有效手段

keep_prob=tf.placeholder(tf.float32)

接着呢，我们需要处理我们的 xs ，把 xs 的形状变成 [-1,28,28,1] ，-1 代表先不考虑输入的图片例子多少这个维度，后面的 1 是 channel 的数量，因为我们输入的图片是黑白的，因此 channel 是 1，例如如果是 RGB 图像，那么 channel 就是 3。

x_image=tf.reshape(xs,[-1,28,28,1])

接着我们定义第一层卷积，先定义本层的 Weight ,本层我们的卷积核 patch 的大小是 5x5，因为黑白图片 channel 是 1 所以输入是 1，输出是 32 个 featuremap

W_conv1=weight_variable([5,5,1,32])

接着定义 bias ，它的大小是 32 个长度，因此我们传入它的 shape 为 [32]

b_conv1=bias_variable([32])

定义好了 Weight 和 bias ，我们就可以定义卷积神经网络的第一个卷积层 h_conv1=conv2d(x_image,W_conv1)+b_conv1 ,同时我们对 h_conv1 进行非线性处理，也就是激活函数来处理喽，这里我们用的是 tf.nn.relu （修正线性单元）来处理，要注意的是，因为采用了 SAME 的 padding 方式，输出图片的大小没有变化依然是 28x28，只是厚度变厚了，因此现在的输出大小就变成了 28x28x32

h_conv1=tf.nn.relu(conv2d(x_image,W_conv1)+b_conv1)

最后我们再进行 pooling 的处理就 ok 啦，经过 pooling 的处理，输出大小就变为了 14x14x32

h_pool=max_pool_2x2(h_conv1)

接着呢，同样的形式我们定义第二层卷积，本层我们的输入就是上一层的输出，本层我们的卷积核 patch 的大小是 5x5，有 32 个 featuremap 所以输入就是 32，输出呢我们定为 64

W_conv2=weight_variable([5,5,32,64])
b_conv2=bias_variable([64])

接着我们就可以定义卷积神经网络的第二个卷积层，这时的输出的大小就是 14x14x64

h_conv2=tf.nn.relu(conv2d(h_pool1,W_conv2)+b_conv2)

最后也是一个 pooling 处理，输出大小为 7x7x64

h_pool2=max_pool_2x2(h_conv2)

好的，接下来我们定义我们的 fully connected layer,

进入全连接层时，我们通过 tf.reshape() 将 h_pool2 的输出值从一个三维的变为一维的数据, -1 表示先不考虑输入图片例子维度，将上一个输出结果展平。

#[n_samples,7,7,64]->>[n_samples,7*7*64]
h_pool2_flat=tf.reshape(h_pool2,[-1,7*7*64]) 

此时 weight_variable 的 shape 输入就是第二个卷积层展平了的输出大小: 7x7x64， 后面的输出 size 我们继续扩大，定为 1024

W_fc1=weight_variable([7*7*64,1024]) 
b_fc1=bias_variable([1024])

然后将展平后的 h_pool2_flat 与本层的 W_fc1 相乘（注意这个时候不是卷积了）

h_fc1=tf.nn.relu(tf.matmul(h_pool2_flat,W_fc1)+b_fc1)

如果我们考虑过拟合问题，可以加一个 dropout 的处理

h_fc1_drop=tf.nn.dropout(h_fc1,keep_drop)

接下来我们就可以进行最后一层的构建了，好激动啊，输入是 1024，最后的输出是 10 个 (因为 mnist 数据集就是[0-9]十个类)，prediction 就是我们最后的预测值

W_fc2=weight_variable([1024,10]) b_fc2=bias_variable([10])

然后呢我们用 softmax 分类器（多分类，输出是各个类的概率）,对我们的输出进行分类

prediction=tf.nn.softmax(tf.matmul(h_fc1_dropt,W_fc2),b_fc2)

接着呢我们利用交叉熵损失函数来定义我们的 cost function

cross_entropy=tf.reduce_mean(
    -tf.reduce_sum(ys*tf.log(prediction),
    reduction_indices=[1]))

我们用 tf.train.AdamOptimizer() 作为我们的优化器进行优化，使我们的 cross_entropy 最小

train_step=tf.train.AdamOptimizer(1e-4).minimize(cross_entropy)

接着呢就是和之前视频讲的一样喽 定义 Session

sess=tf.Session()

初始化变量

# tf.initialize_all_variables() 这种写法马上就要被废弃
# 替换成下面的写法:
sess.run(tf.global_variables_initializer())

好啦接着就是训练数据啦，我们假定训练 1000 步，每 50 步输出一下准确率， 注意 sess.run() 时记得要用 feed_dict 给我们的众多 placeholder 喂数据哦。

以上呢就是一个简单的卷积神经网络的例子代码

如果你觉得这篇文章或视频对你的学习很有帮助，请你也分享它，让它能再次帮助到更多的需要学习的人。