葫芦籽的碎碎念

这周的课程开始了新的优化算法，优化的主要措施有以下三种： Mini-Batch梯度下降算法 Momentum算法 RMSprop算法 Adam算法 Mini-Batch梯度下降算法此算法与之前的梯度下降算法差别在于数据的迭代方式，梯度下降法直接将整个数据集进行训练，而Mini-Batch梯度下降算法则是根据一定条件将整个数据集进行分割，每个小数据集进行一次梯度下降，其实梯度下降法是Min... 阅读全文…

今天完成了第二门课的第一周内容，主要是三个方面： 偏差和方差的来源，以及减小他们的方法——正则化 梯度爆炸/消失的原因以及解决方法——Xavier随机初始化 梯度检验 下面说一下各自的算法实现 一、偏差以及方差的消除1.1 L2正则化L2正则化主要是在损失函数以及梯度变化量上面进行修改，损失函数修改之后的函数如下： ... 阅读全文…

深层神经网络的构建18号的时候就已经学完了，自己写激活函数导数的时候遇到了一点困难，再加上懒癌发作，现在才弄到博客上来。 本次需要构建一个深层的神经网络，层数可以在训练时确定，主要流程跟之前的两次实践仍然是计算量的差别。主要流程还是一致的： 初始化参数W、b 根据W、b以及输入X求得输出Z和A 根据输入X和输出Z、A求得梯度下降量dW、db 使用dW、db来更新W、b 循环2-5直至满足学... 阅读全文…

2017年9月6号，我正在正华科目二的候考室玩着手机，和我一个教练的其他5个人都第一批点名就进去等考试了，现在只剩下我一个人。碰见了那个一起在西南门等班车那个妹子，聊了聊什么时候点名什么时候考试这类的。大概各自都觉得挺无聊，她就回候考室坐着等去了，我嫌屋里烟味太重，就在外面晒太阳，顺便看看那些还在练倒库的人找点乐子。 突然看到堂哥在微信群里说爷爷已经去世了，让大家有时间的都抽出时间回家一趟。... 阅读全文…

浅层神经网络理论学习已经被拿下了，现在把编程作业自己实现一下 本次需要实现的浅层神经网络结构如下 模型 整个神经网络结构实现的过程跟深度学习实践01-Logistic Regres... 阅读全文…

刚通过吴恩达老师的“深度学习”视频学完了Logistic Regression —— 逻辑回归，现在小试牛刀，看看如何实现“猫”图片的识别。 逻辑回归主要使用梯度下降法求出参数下降量来逐步减小成本函数，最终求得需要的模型。逻辑回归思路比较简单，实现的难度较小。主要流程如下： 初始化参数W和b 根据W、b、输入X求得输出A 根据输入X和输出A求得梯度下降量dW和db 使用dW和db来更新W、... 阅读全文…

题目如下 Given a triangle, find the minimum path sum from top to bottom. Each step you may move to adjacent numbers on the row below.For example, given the following triangle[ [2], [3,4], [6,5,7... 阅读全文…

题目如下： You are given a list of non-negative integers, a1, a2, …, an, and a target, S. Now you have 2 symbols + and -. For each integer, you should choose one from + and - as its new symbol.Find out... 阅读全文…

最近正在死磕动态规划，前阵子把Leetcode上的动态规划标签的简单题刷完了(其实一共也才5题)，最近在看动态规划中经典的0-1背包问题，顺便在Leetcode上就找了这个练习题。题目如下： In the computer world, use restricted resource you have to generate maximum benefit is what we alway... 阅读全文…

线性模型较为简单，易于求出参数，在之后的高级算法中有更多的应用。 线性回归的基本形式给定一系列数据样本(xi, yi)，其中x=(x1 ··· xn)，线性模型试图学得一个通过属性的线性组合来进行预测的函数，即 f(x)=w1x1 + ··· + wnxn + b 用向量则可以表示成 f(x)=wTx + b 其中w=(w1; w2···; w... 阅读全文…