• 随机森林
    • 功能介绍
    • 参数说明
    • 脚本示例
      • 脚本代码
      • 脚本结果

    随机森林

    功能介绍

    • 随机森林是一种常用的树模型，由于bagging的过程，可以避免过拟合

    • 随机森林组件支持稠密数据格式

    • 支持带样本权重的训练

      参数说明

      | 名称 | 中文名称 | 描述 | 类型 | 是否必须？ | 默认值 || —- | —- | —- | —- | —- | —- || featureSubsamplingRatio | 每棵树特征采样的比例 | 每棵树特征采样的比例，范围为(0, 1]。 | Double | | 0.2 || numSubsetFeatures | 每棵树的特征采样数目 | 每棵树的特征采样数目 | Integer | | 2147483647 || numTrees | 模型中树的棵数 | 模型中树的棵数 | Integer | | 10 || subsamplingRatio | 每棵树的样本采样比例或采样行数 | 每棵树的样本采样比例或采样行数，行数上限100w行 | Double | | 100000.0 || treeType | 模型中树的类型 | 模型中树的类型，平均（gini，entropy均分），gini或者entropy | String | | “avg” || maxDepth | 树的深度限制 | 树的深度限制 | Integer | | 2147483647 || minSamplesPerLeaf | 叶节点的最小样本个数 | 叶节点的最小样本个数 | Integer | | 2 || createTreeMode | 创建树的模式。 | series表示每个单机创建单颗树，parallel表示并行创建单颗树。 | String | | “series” || maxBins | 连续特征进行分箱的最大个数 | 连续特征进行分箱的最大个数。 | Integer | | 128 || maxMemoryInMB | 树模型中用来加和统计量的最大内存使用数 | 树模型中用来加和统计量的最大内存使用数 | Integer | | 64 || featureCols | 特征列名 | 特征列名，必选 | String[] | ✓ | || labelCol | 标签列名 | 输入表中的标签列名 | String | ✓ | || categoricalCols | 离散特征列名 | 可选，默认选择String类型和Boolean类型作为离散特征，如果没有则为空 | String[] | | || weightCol | 权重列名 | 权重列对应的列名 | String | | null || maxLeaves | 叶节点的最多个数 | 叶节点的最多个数 | Integer | | 2147483647 || minSampleRatioPerChild | 子节点占父节点的最小样本比例 | 子节点占父节点的最小样本比例 | Double | | 0.0 || minInfoGain | 分裂的最小增益 | 分裂的最小增益 | Double | | 0.0 |

    脚本示例

    脚本代码

    1. import numpy as np
    2. import pandas as pd
    3. from pyalink.alink import *
    6. def exampleData():
    7.     return np.array([
    8.         [1.0, "A", 0, 0, 0],
    9.         [2.0, "B", 1, 1, 0],
    10.         [3.0, "C", 2, 2, 1],
    11.         [4.0, "D", 3, 3, 1]
    12.     ])
    15. def sourceFrame():
    16.     data = exampleData()
    17.     return pd.DataFrame({
    18.         "f0": data[:, 0],
    19.         "f1": data[:, 1],
    20.         "f2": data[:, 2],
    21.         "f3": data[:, 3],
    22.         "label": data[:, 4]
    23.     })
    26. def batchSource():
    27.     return dataframeToOperator(
    28.         sourceFrame(),
    29.         schemaStr='''
    30.     f0 double, 
    31.     f1 string, 
    32.     f2 int, 
    33.     f3 int, 
    34.     label int
    35.     ''',
    36.         op_type='batch'
    37.     )
    40. def streamSource():
    41.     return dataframeToOperator(
    42.         sourceFrame(),
    43.         schemaStr='''
    44.     f0 double, 
    45.     f1 string, 
    46.     f2 int, 
    47.     f3 int, 
    48.     label int
    49.     ''',
    50.         op_type='stream'
    51.     )
    54. trainOp = (
    55.     RandomForestTrainBatchOp()
    56.     .setLabelCol('label')
    57.     .setFeatureCols(['f0', 'f1', 'f2', 'f3'])
    58. )
    60. predictBatchOp = (
    61.     RandomForestPredictBatchOp()
    62.     .setPredictionDetailCol('pred_detail')
    63.     .setPredictionCol('pred')
    64. )
    66. (
    67.     predictBatchOp
    68.     .linkFrom(
    69.         batchSource().link(trainOp),
    70.         batchSource()
    71.     )
    72.     .print()
    73. )
    75. predictStreamOp = (
    76.     RandomForestPredictStreamOp(
    77.         batchSource().link(trainOp)
    78.     )
    79.     .setPredictionDetailCol('pred_detail')
    80.     .setPredictionCol('pred')
    81. )
    83. (
    84.     predictStreamOp
    85.     .linkFrom(
    86.         streamSource()
    87.     )
    88.     .print()
    89. )
    91. StreamOperator.execute()

    脚本结果

    批预测结果

    1.     f0 f1  f2  f3  label  pred        pred_detail
    2. 0  1.0  A   0   0      0     0  {"0":1.0,"1":0.0}
    3. 1  2.0  B   1   1      0     0  {"0":1.0,"1":0.0}
    4. 2  3.0  C   2   2      1     1  {"0":0.0,"1":1.0}
    5. 3  4.0  D   3   3      1     1  {"0":0.0,"1":1.0}

    流预测结果

    1. f0    f1    f2    f3    label    pred    pred_detail
    2. 0    2.0    B    1    1    0    0    {"0":1.0,"1":0.0}
    3. 1    4.0    D    3    3    1    1    {"0":0.0,"1":1.0}
    4. 2    1.0    A    0    0    0    0    {"0":1.0,"1":0.0}
    5. 3    3.0    C    2    2    1    1    {"0":0.0,"1":1.0}