- 功能介绍
- 参数说明
- 脚本示例
- 脚本代码
- 脚本运行结果
- 预测结果
- 预测结果
功能介绍
KMeans 是一个经典的聚类算法。
基本思想是:以空间中k个点为中心进行聚类,对最靠近他们的对象归类。通过迭代的方法,逐次更新各聚类中心的值,直至得到最好的聚类结果。
参数说明
| 名称 | 中文名称 | 描述 | 类型 | 是否必须? | 默认值 | |
|---|---|---|---|---|---|---|
| predictionDistanceCol | 预测距离列名 | 预测距离列名 | String | |||
| distanceType | 距离度量方式 | 聚类使用的距离类型,支持EUCLIDEAN(欧式距离)和 COSINE(余弦距离) | String | “EUCLIDEAN” | ||
| vectorCol | 向量列名 | 向量列对应的列名 | String | ✓ | ||
| maxIter | 最大迭代步数 | 最大迭代步数,默认为 20。 | Integer | 20 | ||
| initMode | 中心点初始化方法 | 初始化中心点的方法,支持”K_MEANS_PARALLEL”和”RANDOM” | String | “K_MEANS_PARALLEL” | ||
| initSteps | k-means++初始化迭代步数 | k-means初始化中心点时迭代的步数 | Integer | 2 | ||
| k | 聚类中心点数量 | 聚类中心点数量 | Integer | 2 | ||
| epsilon | 收敛阈值 | 当两轮迭代的中心点距离小于epsilon时,算法收敛。 | Double | 1.0E-4 | ||
| predictionCol | 预测结果列名 | 预测结果列名 | String | ✓ | ||
| predictionDetailCol | 预测详细信息列名 | 预测详细信息列名 | String | |||
| reservedCols | 算法保留列名 | 算法保留列 | String[] | null |
脚本示例
脚本代码
import numpy as npimport pandas as pddata = np.array([[0, "0 0 0"],[1, "0.1,0.1,0.1"],[2, "0.2,0.2,0.2"],[3, "9 9 9"],[4, "9.1 9.1 9.1"],[5, "9.2 9.2 9.2"]])df = pd.DataFrame({"id": data[:, 0], "vec": data[:, 1]})inOp = BatchOperator.fromDataframe(df, schemaStr='id int, vec string')kmeans = KMeans().setVectorCol("vec").setK(2).setPredictionCol("pred")kmeans.fit(inOp).transform(inOp).collectToDataframe()
脚本运行结果
预测结果
rowID id vec pred0 0 0 0 0 11 1 0.1,0.1,0.1 12 2 0.2,0.2,0.2 13 3 9 9 9 04 4 9.1 9.1 9.1 05 5 9.2 9.2 9.2 0
