主成分分析 通常获取到的数据集都会有很高的维度，会给运算造成很大压力，所以需要降维，但是我们并不知道哪些数据更关键，因此引入了主成分分析 （Principal Component Analyses，PCA）的方法。 假设有个m维向量 \vec X，我们希望用 I个变量来保存它，如果简单地把 \vec
Published on 2022-10-25
机器学习的建模流程 Figure 1 Pipeline of Machine Learning 研究问题 采集数据 数据清洗 在采集到的数据中，可能有丢失的，比如NaN或者null，这种数据是不能直接拿来用的。为了解决这个问题，这部分数据会被imputed，具体impute的方法要根据数据的类型来决
Published on 2022-10-23
决策树（Decision Trees） 对于决策树，目标变量是连续数值的，被称为回归树；若是离散值，被称为分类树。 决策树的组成 · 根结点（Root node）：代表整个数据集或采样，并且可以被分为2个或多个同质的集合。 · 决策节点（Decision node）：通过条件判断，决定如何分支。 ·
Published on 2022-10-22
线性回归 回归被用来估计或解释一个独立变量（y）和一个or更多独立变量（x_i）之间的关系。最基础的回归-线性回归-基于一个线性方程。 假设这个方程为: y = \theta_1 x+ \theta_0 此处 y 是一个独立变量，\theta_0 和 \theta_1 是模型的参数，x 是另一个独立
Published on 2022-10-22
Data Modelling and Machine Intelligence （DMMI） 数据建模和机器智能 其实这门课就是在讲机器学习（Machine Learning），起个这么长的名字属实没必要。 这门课的老师是 Dr John Oyekan，是一名非常年轻的，刚刚入职没多久的，黑人讲师，
Published on 2022-10-21
什么是Overfitting 算法在训练集上表现好，但在测试集上表现不好，泛化性能差。 引起过拟合的原因 模型本身过于复杂，以至于拟合了训练样本集中的噪声。 如何解决过拟合 交叉验证。 用更多的数据进行训练。 数据增强。 特征选择。 Early Stop。 正则化 Regularization。 什
Published on 2022-10-20
傅里叶变换 傅里叶的原理说明：任何连续测量的时序或信号，都可以用不同频率的正弦波信号的无限叠加来表示。 在数学的角度来看，傅里叶变换算法利用直接测量得到的初始信号，用累加的方式来计算该初始信号中不同正弦波信号的频率，幅值和相位。 而从物理学的角度来看，傅里叶变换可以帮助我们将时域的信号转为频域来分析
Published on 2022-07-28
