Machine Learning[10]
学习Transformer
Transformer 在谷歌 2017 年的论文 [\1706.03762] Attention Is All You Need 中首次被提出，主要用于 NLP（Natural Language Processing，自然语言处理）的各项任务。 后来在 CV 领域，研究者们基于 Transform
机器学习 - 正则化和优化器(Regularisation and Optimisers)
当模型可调节参数（自由度）过多时，容易学习到训练数据中的噪声，进而出现过拟合（训练集误差小、测试集误差大）。因此要对模型的参数引入某种限制，在训练过程中避免过拟合。 正则化通过在损失函数中加入参数惩罚项，约束参数规模，迫使模型优先学习数据的通用规律，而非噪声。 范数 在正式进入正则化的学习之前，先了
机器学习- 感知机 Perceptron
Neural Networks, NN 1943 年 Warren McCulloch 和 Walter Pitts 提出了最早的神经元数学模型（McCulloch-Pitts 神经元），可看作人工神经网络（artificial neural network, ANN）的雏形，通常也简称为神经网络（
机器学习 - 分层聚类和Kmeans
聚类 聚类是一种无监督的机器学习方法，它能使类似的对象从其他对象中分离出来。它是无监督的，因为我们没有给模型任何标签；它只是检查特征并确定哪些样本是相似的并属于一个群组。 常见的聚类算法有： 分层聚类算法（Hierarchical Cluster Analysis, HCA） K-means Exp
机器学习 - 主成分分析(PCA)
主成分分析 获取到的数据集通常都会有很高的维度，给运算造成很大压力，所以需要降维，但是我们并不知道哪些数据更关键，因此引入了主成分分析 (Principal Component Analysis, PCA) 的方法。PCA 算法在无监督学习中扮演着重要的角色。 PCA 的目的是通过某种变换，将数据的
机器学习 - 特征工程(Feature Engineering)
机器学习的建模流程 机器学习项目一般遵循一个固定的流程，从定义问题到部署模型。Figure 1 展示了一个典型的 pipeline：先明确研究问题，然后采集数据、清洗数据、预处理数据，接着做特征工程和建模，最后评估和部署。 Figure 1 Pipeline of Machine Learning
机器学习 - 决策树 (Decision Tree)
什么是决策树 (Decision Trees) 对于决策树，目标变量是连续数值的，被称为回归树；若是离散值，被称为分类树。 比如，预测房价，是回归树；预测病患是否患病，是分类树。本文重点介绍分类树。 决策树是一种非参数化模型。 决策树的构造 根结点（Root node）：代表整个数据集或采样，并且可
机器学习 - 回归（Regression）
线性回归 顾名思义，线性回归问题中，输入和输出呈线性关系。 回归被用来估计或解释一个因变量（y）和一个或多个自变量（x_i）之间的关系。最基础的回归——线性回归——基于一个线性方程。 假设这个方程为： y = \theta_1 x + \theta_0 此处 y 是一个因变量，\theta_0 和
关于机器学习(Data Modelling and Machine Intelligence ACS61013)这门课
Data Modelling and Machine Intelligence （DMMI） 数据建模和机器智能 其实这门课就是在讲机器学习（Machine Learning），起个这么长的名字属实没必要。 这门课的老师是 Dr John Oyekan，是一名非常年轻的，刚刚入职没多久的，黑人讲师，
机器学习八股文 - 基础概念
什么是Overfitting 算法在训练集上表现好，但在测试集上表现不好，泛化性能差。 引起过拟合的原因 模型本身过于复杂，以至于拟合了训练样本集中的噪声。 如何解决过拟合 交叉验证。 用更多的数据进行训练。 数据增强。 特征选择。 Early Stop。 正则化 Regularization。 什