深度学习八股文 - 基础概念
NN中的Bias？ 偏置允许激活函数向左或向右移动以更好地适应数据。 反向传播是啥？ 允许来自 Cost Function 的信息，从网络末端反向向前传播，以便计算梯度 -> 更新参数。 梯度消失 首先，要知道NN是基于链式法则，因此层数越深，梯度将以指数形式传播。 梯度越来越小，权重值不再产生变化
深度学习 - 卷积神经网络 Convolutional Networks
卷积神经网路 Convolutional Neural Network CNN CNN的结构 卷积层 Convolution 池化层（下采样） Polling 全连接层 Full connection 卷积层 最基础的2D卷积操作，涉及到一个2D的过滤器（filter），或者说是核（kernel）。
深度学习 - 深度前馈网络 Deep Feedforward Networks
在机器学习中，如果想对对非线性函数进行建模，深度前馈网络能够实现非线性函数的建模。 在深度学习中，使用一个简单函数的深度链来学习输入数据。 线性函数的输入函数： \hat{y} = \theta^Tx 非线性函数的输入函数：\hat{y} = f(\phi(x);\theta) 其中，\phi(x)
关于深度学习(Deep Learning ACS61011)这门课
关于这门课 这门课的授课老师是号称谢菲尔德大学最受欢迎的Lecture - Dr Sean Anderson。课堂的风格确实比较生动有趣，而且因为Deep Learning目前仍然比较前沿的原因，课堂上时常举一些比较cool或者exciting的例子，比如一次关于CUDA的课堂，开始跟我们讨论比特币
多系统BIOS的默认启动顺序调整
问题 我的ThinkPad X280装了Ubuntu和Windows的双系统，但是我发现BIOS的启动顺序中，排第一的是Ubuntu，第三才是Windows。 Figure 1 初始BIOS启动顺序 这也就导致了，如果我开机之后什么都不操作，会默认进入Ubuntu，问题是，目前我用的更多的是Wind
机器学习 - 正则化和优化器(Regularisation and Optimisers)
当模型可调节参数（自由度）过多时，容易学习到训练数据中的噪声，进而出现 “过拟合”（训练集误差小、测试集误差大）。因此要对模型的参数引入某种限制，在训练过程中避免过拟合。。 正则化通过在损失函数中加入参数惩罚项，约束参数规模，迫使模型优先学习数据的通用规律，而非噪声。 范数 在正式进入正则化的学习之
机器学习- 感知机 Perception
Neural Networks, NN 1943年 Warren McCulloch 和 Walter Pitts 设计了人工神经网络（artificial neural network，ANN），通常简称为神经网络（NN）。ANN是受构成动物大脑的生物神经网络模糊启发的计算系统，但是每个神经元上的
机器学习 - 分层聚类和Kmeans
聚类 聚类是一种无监督的机器学习方法，它能使类似的对象从其他对象中分离出来。它是无监督的，因为我们没有给模型任何标签；它只是检查特征并确定哪些样本是相似的并属于一个群组。 常见的聚类算法有： 分层聚类算法（Hierarchical Cluster Analysis HCA） k-Means Expe
机器学习 - 主成分分析(PCA)
主成分分析 获取到的数据集通常都会有很高的维度，给运算造成很大压力，所以需要降维，但是我们并不知道哪些数据更关键，因此引入了主成分分析 （Principal Component Analyses，PCA）的方法。PCA算法在无监督学习中扮演者重要的角色。 PCA的目的是通过某种变换，将数据的维度减小
机器学习 - 特征工程(Feature Engineering)
机器学习的建模流程 Figure 1 Pipeline of Machine Learning 研究问题 采集数据 数据清洗 在采集到的数据中，可能有丢失的，比如NaN或者null，这种数据是不能直接拿来用的。为了解决这个问题，这部分数据会被imputed，具体impute的方法要根据数据的类型来决
机器学习 - 决策树 (Decision Tree)
什么是决策树（Decision Trees） 对于决策树，目标变量是连续数值的，被称为回归树；若是离散值，被称为分类树。 比如，预测预测房价，是回归树；预测病患是否患病，是分类树。本文重点介绍分类树。 决策树是一种非参数化模型。 决策树的构造 · 根结点（Root node）：代表整个数据集或采样，
机器学习 - 回归（Regression）
线性回归 顾名思义，线性回归问题中，输入和输出呈线性关系。 回归被用来估计或解释一个独立变量（y）和一个or更多独立变量（x_i）之间的关系。最基础的回归-线性回归-基于一个线性方程。 假设这个方程为: y = \theta_1 x+ \theta_0 此处 y 是一个独立变量，\theta_0 和