起航学习网

- 让每个人都能学到最前沿新知识、新技能!
起航学习网
当前位置: 起航学习网 > 短期培训 > 编程语言 > 零起步学python编程 轻松入门你也可以

零起步学python编程 轻松入门你也可以

时间:2019-02-11 16:58:15来源:编程网 作者:IT培训网 已有: 名学员访问该课程

  快捷搜索:Python编程(43)

前言:正如你所看到的,在back_propagation函数中,有一个我没有提到的参数,它是learning_rate。 此参数应该类似于更新策略或者在Keras中调用它的优化器,为了简单起见,我们只是通过学习率并使用梯度下降更新我们的参数。

Python零起步数学+神经网络入门!

在这篇文章中,我们将在Python中从头开始了解用于构建具有各种层神经网络(完全连接,卷积等)的小型库中的机器学习和代码。最终,我们将能够写出如下内容:

零起步学python编程 轻松入门你也可以_www.epx365.cn

假设你对神经网络已经有一定的了解,这篇文章的目的不是解释为什么构建这些模型,而是要说明如何正确实现

逐层

我们这里需要牢记整个框架:

1. 将数据输入神经网络

2. 在得出输出之前,数据从一层流向下一层

3. 一旦得到输出,就可以计算出一个标量误差

4. 最后,可以通过相对于参数本身减去误差的导数来调整给定参数(权重或偏差)。

5. 遍历整个过程。

最重要的一步是第四步。 我们希望能够拥有任意数量的层,以及任何类型的层。 但是如果修改/添加/删除网络中的一个层,网络的输出将会改变,误差也将改变,误差相对于参数的导数也将改变。无论网络架构如何、激活函数如何、损失如何,都必须要能够计算导数。

为了实现这一点,我们必须分别实现每一层

每个层应该实现什么

我们可能构建的每一层(完全连接,卷积,最大化,丢失等)至少有两个共同点:输入和输出数据。

零起步学python编程 轻松入门你也可以_www.epx365.cn

现在重要的一部分

假设给出一个层相对于其输出(∂E/∂Y)误差的导数,那么它必须能够提供相对于其输入(∂E/∂X)误差的导数。

零起步学python编程 轻松入门你也可以_www.epx365.cn

零起步学python编程 轻松入门你也可以_www.epx365.cn

我们可以使用链规则轻松计算∂E/∂X的元素:

零起步学python编程 轻松入门你也可以_www.epx365.cn

为什么是∂E/∂X?

对于每一层,我们需要相对于其输入的误差导数,因为它将是相对于前一层输出的误差导数。这非常重要,这是理解反向传播的关键!在这之后,我们将能够立即从头开始编写深度卷积神经网络!

花样图解

基本上,对于前向传播,我们将输入数据提供给第一层,然后每层的输出成为下一层的输入,直到到达网络的末端。

对于反向传播,我们只是简单使用链规则来获得需要的导数。这就是为什么每一层必须提供其输出相对于其输入的导数。

零起步学python编程 轻松入门你也可以_www.epx365.cn

这可能看起来很抽象,但是当我们将其应用于特定类型的层时,它将变得非常清楚。现在是编写第一个python类的好时机。

抽象基类:Layer

所有其它层将继承的抽象类Layer会处理简单属性,这些属性是输入,输出以及前向反向方法。

零起步学python编程 轻松入门你也可以_www.epx365.cn

正如你所看到的,在back_propagation函数中,有一个我没有提到的参数,它是learning_rate。 此参数应该类似于更新策略或者在Keras中调用它的优化器,为了简单起见,我们只是通过学习率并使用梯度下降更新我们的参数。

全连接层

现在先定义并实现第一种类型的网络层:全连接层或FC层。FC层是最基本的网络层,因为每个输入神经元都连接到每个输出神经元。

零起步学python编程 轻松入门你也可以_www.epx365.cn

前向传播

每个输出神经元的值由下式计算:

使用矩阵,可以使用点积来计算每一个输出神经元的值:

零起步学python编程 轻松入门你也可以_www.epx365.cn

当完成前向传播之后,现在开始做反向传播。

反向传播

正如我们所说,假设我们有一个矩阵,其中包含与该层输出相关的误差导数(∂E/∂Y)。 我们需要 :

1.关于参数的误差导数(∂E/∂W,∂E/∂B)

2.关于输入的误差导数(∂E/∂X)

首先计算∂E/∂W,该矩阵应与W本身的大小相同:对于ixj,其中i是输入神经元的数量,j是输出神经元的数量。每个权重都需要一个梯度

使用前面提到的链规则,可以写出:

零起步学python编程 轻松入门你也可以_www.epx365.cn

那么:

零起步学python编程 轻松入门你也可以_www.epx365.cn

这就是更新权重的第一个公式!现在开始计算∂E/∂B:

同样,∂E/∂B需要与B本身具有相同的大小,每个偏差一个梯度。 我们可以再次使用链规则:

零起步学python编程 轻松入门你也可以_www.epx365.cn

得出结论:

零起步学python编程 轻松入门你也可以_www.epx365.cn

现在已经得到∂E/∂W和∂E/∂B,我们留下∂E/∂X这是非常重要的,因为它将“作用”为之前层的∂E/∂Y。

再次使用链规则:

零起步学python编程 轻松入门你也可以_www.epx365.cn

最后,我们可以写出整个矩阵:

零起步学python编程 轻松入门你也可以_www.epx365.cn

零起步学python编程 轻松入门你也可以_www.epx365.cn

编码全连接层

现在我们可以用Python编写实现:

零起步学python编程 轻松入门你也可以_www.epx365.cn

激活层

到目前为止所做的计算都完全是线性的。用这种模型学习是没有希望的,需要通过将非线性函数应用于某些层的输出来为模型添加非线性。

现在我们需要为这种新类型的层(激活层)重做整个过程!

不用担心,因为此时没有可学习的参数,过程会快点,只需要计算∂E/∂X。

零起步学python编程 轻松入门你也可以_www.epx365.cn

前向传播

正如将看到的,它非常简单。对于给定的输入X,输出是关于每个X元素的激活函数,这意味着输入和输出具有相同的大小。

零起步学python编程 轻松入门你也可以_www.epx365.cn

反向传播

给出∂E/∂Y,需要计算∂E/∂X

零起步学python编程 轻松入门你也可以_www.epx365.cn

注意,这里我们使用两个矩阵之间的每个元素乘法(而在上面的公式中,它是一个点积)

编码实现激活层

激活层的代码非常简单:

零起步学python编程 轻松入门你也可以_www.epx365.cn

可以在单独的文件中编写一些激活函数以及它们的导数,稍后将使用它们构建ActivationLayer:

零起步学python编程 轻松入门你也可以_www.epx365.cn

损失函数

到目前为止,对于给定的层,我们假设给出了∂E/∂Y(由下一层给出)。但是最后一层怎么得到∂E/∂Y?我们通过简单地手动给出最后一层的∂E/∂Y,它取决于我们如何定义误差。

网络的误差由自己定义,该误差衡量网络对给定输入数据的好坏程度。有许多方法可以定义误差,其中一种最常见的叫做MSE - Mean Squared Error:

零起步学python编程 轻松入门你也可以_www.epx365.cn

其中y *和y分别表示期望的输出和实际输出。你可以将损失视为最后一层,它将所有输出神经元吸收并将它们压成一个神经元。与其他每一层一样,需要定义∂E/∂Y。除了现在,我们终于得到E!

零起步学python编程 轻松入门你也可以_www.epx365.cn

以下是两个python函数,可以将它们放在一个单独的文件中,将在构建网络时使用。

零起步学python编程 轻松入门你也可以_www.epx365.cn

网络类

到现在几乎完成了!我们将构建一个Network类来创建神经网络,非常容易,类似于第一张图片!

我注释了代码的每一部分,如果你掌握了前面的步骤,那么理解它应该不会太复杂。

零起步学python编程 轻松入门你也可以_www.epx365.cn

构建一个神经网络

最后!我们可以使用我们的类来创建一个包含任意数量层的神经网络!为了简单起见,我将向你展示如何构建......一个XOR。

零起步学python编程 轻松入门你也可以_www.epx365.cn

同样,我认为不需要强调很多事情,只需要仔细训练数据,应该能够先获得样本维度。例如,对于xor问题,样式应为(4,1,2)。

结果

卷积层

这篇文章开始很长,所以我不会描述实现卷积层的所有步骤。但是,这是我做的一个实现:

零起步学python编程 轻松入门你也可以_www.epx365.cn

它背后的数学实际上并不复杂!这是一篇很好的文章,你可以找到∂E/∂W,∂E/∂B和∂E/∂X的解释和计算。

如果你想验证你的理解是否正确,请尝试自己实现一些网络层,如MaxPooling,Flatten或Dropout

GitHub库

注:你可以在GitHub库中找到用于该文章的完整代码,如果你跟我一样都喜欢python,想成为一名优秀的程序员,也在学习python的道路上奔跑,欢迎你加入python学习

原文标题:零起步学python编程 轻松入门你也可以

原文链接:http://www.epx365.cn/peixun/software/201946785.html

 (责任编辑:IT培训网)
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
------分隔线----------------------------
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片
培训学校
IT培训网 访问该机构站点 报名留言 加为好友 用户等级:注册会员 用户级别:10 机构名称:IT培训网 联 系 人:罗老师 联系电话:0371-58670215 联系手机:13783581536 在线客服:起航学习网客服 在 线 QQ:起航学习网客服 电子邮件:3158895217@qq.com 网站域名:http://www.cnitedu.cn 注册时间:2016-07-18 11:07 最后登录:2019-02-11 16:02
推荐内容