• 功能介绍
  • 参数说明
  • 脚本示例
    • 脚本代码
    • 运行结果

    功能介绍

    数据去重

    参数说明

    名称 中文名称 描述 类型 是否必须？ 默认值

    脚本示例

    脚本代码

    1. URL = "http://alink-dataset.cn-hangzhou.oss.aliyun-inc.com/csv/iris.csv"
    2. SCHEMA_STR = "sepal_length double, sepal_width double, petal_length double, petal_width double, category string";
    3. data = CsvSourceBatchOp().setFilePath(URL).setSchemaStr(SCHEMA_STR)
    4. data = data.select('category').link(DistinctBatchOp())
    5. data.print()

    运行结果

    1.           category
    2. 0      Iris-setosa
    3. 1  Iris-versicolor
    4. 2   Iris-virginica