• 功能介绍
  • 参数说明
  • 脚本示例
    • 脚本代码
    • 脚本运行结果
      • 输出数据

    功能介绍

    近似向量连接采用LSH算法返回左表和右表中距离低于阈值的向量对。

    参数说明

    名称 中文名称 描述 类型 是否必须？ 默认值
    distanceType 距离度量方式 聚类使用的距离类型，支持EUCLIDEAN 和 JACCARD String “EUCLIDEAN”
    distanceThreshold 距离阈值 距离阈值 Double 1.7976931348623157E308
    leftCol 左表文本列名 左表文本列名 String ✓
    rightCol 右表文本列名 右表文本列名 String ✓
    outputCol 输出结果列列名 输出结果列列名，必选 String ✓
    leftIdCol 左侧ID列 左侧ID列 String ✓
    rightIdCol 右侧ID列 右侧ID列 String ✓
    projectionWidth 桶的宽度 桶的宽度 Double 1.0
    numHashTables 哈希表的数目 哈希表的数目 Integer 1
    selectedCol 选中的列名 计算列对应的列名 String ✓
    numProjectionsPerTable 每个哈希表中的哈希函数个数 每个哈希表中的哈希函数个数 Integer 1
    seed 采样种子 采样种子 Long 0

    脚本示例

    脚本代码

    1. # -*- coding=UTF-8 -*-
    3. import numpy as np
    4. import pandas as pd
    5. data = np.array([
    6.     [0, "0 0 0"],
    7.     [1, "1 1 1"],
    8.     [2, "2 2 2"]
    9. ])
    10. df = pd.DataFrame({"id": data[:, 0], "vec": data[:, 1]})
    12. source = BatchOperator.fromDataframe(df, schemaStr='id int, vec string')
    13. op = (
    14.     ApproxVectorSimilarityJoinLSHBatchOp()
    15.     .setLeftIdCol("id")
    16.     .setRightIdCol("id")
    17.     .setLeftCol("vec")
    18.     .setRightCol("vec")
    19.     .setOutputCol("output")
    20.     .setDistanceThreshold(2.0))
    21. op.linkFrom(source, source).collectToDataframe()

    脚本运行结果

    输出数据
    1. rowID  id_left    id_right    output
    2. 0    0    0    0.0
    3. 1    1    1    0.0
    4. 2    2    2    0.0