• 功能介绍
    • Compactness(CP), CP越低意味着类内聚类距离越近
    • Seperation(SP), SP越高意味类间聚类距离越远
    • Davies-Bouldin Index(DB), DB越小意味着类内距离越小 同时类间距离越大
    • Calinski-Harabasz Index(VRC), VRC越大意味着聚类质量越好
  • 参数说明
  • 脚本示例
    • 脚本代码
    • 脚本运行结果

    功能介绍

    聚类评估是对聚类算法的预测结果进行效果评估，支持下列评估指标。

    Compactness(CP), CP越低意味着类内聚类距离越近

    聚类模型评估(batch) - 图1
    聚类模型评估(batch) - 图2

    Seperation(SP), SP越高意味类间聚类距离越远

    聚类模型评估(batch) - 图3

    Davies-Bouldin Index(DB), DB越小意味着类内距离越小 同时类间距离越大

    聚类模型评估(batch) - 图4

    Calinski-Harabasz Index(VRC), VRC越大意味着聚类质量越好

    聚类模型评估(batch) - 图5
    聚类模型评估(batch) - 图6
    聚类模型评估(batch) - 图7

    参数说明

    名称 中文名称 描述 类型 是否必须？ 默认值
    labelCol 标签列名 输入表中的标签列名 String null
    vectorCol 向量列名 输入表中的向量列名 String null
    predictionCol 预测结果列名 预测结果列名 String ✓
    distanceType 距离度量方式 聚类使用的距离类型，支持EUCLIDEAN（欧式距离）和 COSINE（余弦距离） String “EUCLIDEAN”

    脚本示例

    脚本代码

    1. import numpy as np
    2. import pandas as pd
    3. data = np.array([
    4.     [0, "0 0 0"],
    5.     [0, "0.1,0.1,0.1"],
    6.     [0, "0.2,0.2,0.2"],
    7.     [1, "9 9 9"],
    8.     [1, "9.1 9.1 9.1"],
    9.     [1, "9.2 9.2 9.2"]
    10. ])
    11. df = pd.DataFrame({"id": data[:, 0], "vec": data[:, 1]})
    12. inOp = BatchOperator.fromDataframe(df, schemaStr='id int, vec string')
    14. metrics = EvalClusterBatchOp().setVectorCol("vec").setPredictionCol("id").linkFrom(inOp).collectMetrics()
    16. print("Total Samples Number:", metrics.getCount())
    17. print("Cluster Number:", metrics.getK())
    18. print("Cluster Array:", metrics.getClusterArray())
    19. print("Cluster Count Array:", metrics.getCountArray())
    20. print("CP:", metrics.getCompactness())
    21. print("DB:", metrics.getDaviesBouldin())
    22. print("SP:", metrics.getSeperation())
    23. print("SSB:", metrics.getSsb())
    24. print("SSW:", metrics.getSsw())
    25. print("CH:", metrics.getCalinskiHarabaz())

    脚本运行结果

    1. Total Samples Number: 6
    2. Cluster Number: 2
    3. Cluster Array: ['0', '1']
    4. Cluster Count Array: [3.0, 3.0]
    5. CP: 0.11547005383792497
    6. DB: 0.014814814814814791
    7. SP: 15.588457268119896
    8. SSB: 364.5
    9. SSW: 0.1199999999999996
    10. CH: 12150.000000000042