Spark MLlib 特征工程系列—特征转换Polynomial Expansion

Spark MLlib 特征工程系列—特征转换Polynomial Expansion

1. Polynomial Expansion 简介

PolynomialExpansion 是 Spark MLlib 中的一种特征转换工具，主要用于将原始特征进行多项式扩展。多项式扩展通过生成原始特征的所有多项式组合来增加特征的维度，从而提高模型的表达能力。这种方法在非线性问题的建模中非常有用，因为它允许线性模型在更高维度空间中捕捉到数据中的非线性关系。

1. 提升线性模型的表达能力

线性模型的局限性

线性模型，如线性回归或逻辑回归，假设输入特征和输出之间的关系是线性的。这种假设在很多实际场景中过于简单，因为真实世界的数据通常表现出复杂的非线性关系。如果我们仅使用原始的线性特征，模型将难以捕捉到这些复杂的关系，导致预测效果不佳。

通过多项式扩展引入非线性

多项式扩展将原始特征进行多项式组合，生成新的特征。比如，给定一个输入特征 x_1 和 x_2，多项式扩展可以生成新特征 X 1 2