算法说明

算法原理

• GBDT算法

  GBDT（Gradient Boosting Decision Tree，梯度提升决策树）算法是一种十分流行的决策树集成算法，不仅可以适用于分类任务，也可用于回归任务。GBDT通过迭代地训练多棵树来达到最小化损失函数的目的。Spark中的GBDT算法支持二分类和回归，支持连续性特征和类别型特征，通过分布式计算来处理大数据场景下的训练和推理。

• RF算法

  RF（Random Forest，随机森林）算法实现如下功能：给定一份样本数据，包含特征向量和标签值，同时训练多棵决策树，得到一个分类模型或回归模型。使用输出的模型，传入特征向量，可预测出概率最大的标签值。

• SVM算法

  SVM（Support Vector Machines，支持向量机）是一类按监督学习方式对数据进行二元分类的广义线性分类器，其决策边界是对学习样本求解的最大边距超平面。SVM使用铰链损失函数计算经验风险并在求解系统中加入了正则化项以优化结构风险，是一个具有稀疏性和稳健性的分类器。Spark中的LinearSVC算法主要引入了两个优化策略：通过算法原理优化减少对f函数（分布式计算目标函数损失和梯度）的调用次数；增加动量参数更新加速收敛。

• Kmeans算法

  Kmeans（K-means Clustering，K-平均算法）源于信号处理中的一种向量量化方法，现在则更多地作为一种聚类分析方法流行于数据挖掘领域。k-平均聚类的目的是：把n个点（可以是样本的一次观察或一个实例）划分到k个聚类中，使得每个点都属于离他最近的均值（此即聚类中心）对应的聚类，以之作为聚类的标准。这个问题将归结为一个把数据空间划分为Voronoi cells的问题。

• DecisionTree算法

  DecisionTree，决策树算法是机器学习、计算机视觉等领域内应用极为广泛的一个算法，它不仅可以用来做分类，也可用来做回归。决策树（DecisionTree）算法实现如下功能：给定一份样本数据，包含特征向量和标签值，训练一棵二叉树，得到一个分类模型或回归模型。使用输出的模型，传入特征向量，可预测出概率大的标签值。

• LinearRegression算法

  回归算法是一种有监督学习算法，用来建立自变量X和观测变量Y之间的映射关系。如果观测变量是连续的，则称其为回归（Regression）。 机器学习中，线性回归（LinearRegression）利用线性模型来建模自变量X和观测变量Y之间的映射关系，其未知的模型参数是从训练数据中估计。

• LogisticRegression算法

  Logistic Regression，逻辑回归算法虽然名字里带“回归”，但是它实际上是一种分类方法。逻辑回归是利用线性模型来建模自变量X和观测变量Y之间的映射关系，其未知的模型参数是从训练数据中估计的。

• PCA算法

  PCA（Principle Component Analysis，主成分分析）是一种应用广泛的数据分析方法，它主要用于降维、特征提取、异常检测等方面。对矩阵A_m×n进行PCA，是指找到它的前k个主成分向量[v_1,v_2,…,v_k]，以及它对应的权重[s_1,s_2,…,s_k]。

• SVD算法

  SVD（Singular Value Decomposition，奇异值分解）算法是线性代数中一种重要的矩阵分解，在生物信息学、信号处理、金融学、统计学等领域，SVD都是提取信息的常用工具。在机器学习领域，它不光可以用于数据压缩、降维，还可以用于推荐系统，自然语言处理等。对矩阵A_m×n进行SVD，是指将其分解为A=USV^T，其中U_m×k叫左奇异矩阵；V_n×k是右奇异矩阵；S_k×k是奇异值矩阵，是对角矩阵，对角线上的元素称为奇异值，奇异值从大到小排列。U和V都是酉矩阵。

• LDA算法

  LDA（Latent Dirichlet Allocation，潜在狄利克雷分布）算法是一种文档主题生成模型，也被称为三层贝叶斯概率模型，包含文档、主题和词三层。LDA是一种非监督机器学习技术，通过分布式计算来处理大数据场景下的训练和推理。

• PrefixSpan算法

  PrefixSpan（Prefix-Projected Pattern Growth，前缀投影的模式挖掘）算法是频繁模式挖掘中的典型算法，用于挖掘满足最小支持度的频繁序列。PrefixSpan算法由于不用产生候选序列，且投影数据库缩小的很快，内存消耗比较稳定，作频繁序列模式挖掘的时候效果很高。

• ALS算法

  ALS（Alternating Least Squares，交替最小二乘法）特指使用交替最小二乘求解的一个协同推荐算法。

• KNN算法

  KNN（K-Nearest Neighbors，K近邻算法）是一种机器学习领域中的非参数统计法，用于找到距离给定样本最近的k个样本。可以用于分类、回归、信息检索等领域。

使用场景