• Download and Ingest

    Download and Ingest

    Nebula Graph 存储访问默认使用 RocksDB 作为 key-value 存储引擎。因此在大量数据加载时，可以通过运行一个 map-reduce job 离线生成 RocksDB 的 SST 文件，再直接分发到服务器上。

    Nebula Graph 提供了 Spark-SSTFile-Generator 工具。

    Spark-SSTFile-Generator 通过映射文件，从 hive 表生成 SST 文件。

    具体用法详见 Spark application command line reference。

    执行后会在 HDFS 上生成 SST 文件，目录结构如下：

    1. |---1 (this is partition number)
    2. |        | ---- vertex-${FIRST_KEY_IN_THIS_FILE}.sst
    3. |        | ---- edge-${FIRST_KEY_IN_THIS_FILE}.sst
    4. |---2
    5.          | ---- vertex-${FIRST_KEY_IN_THIS_FILE}.sst
    6.          | ---- edge-${FIRST_KEY_IN_THIS_FILE}.sst
    7. ....

    其中各个目录为 partition 编号。

    SST 文件名格式为 {TYPE}-${FIRST_KEY_IN_THIS_FILE}.sst，其中 TYPE 表示数据类型，FIRST_KEY_IN_THIS_FILE 为文件中的起始 key。（如果你想自己写工具生成 SST 文件，需要保证每个 SST 文件中的 key 是有序的。)

    请确认所有 server 已安装 Hadoop，并且 HADOOP_HOME 已设置。

    运行 Nebula Graph console，执行 Download 命令：

    1. nebula > DOWNLOAD HDFS "hdfs://${HADOOP_HOST}:${HADOOP_PORT}/${HADOOP_PATH}"

    通过 download 命令以及各个 Storage Server 的 meta 信息，分别下载各自的 SST 文件到 data/download 目录中。其中：

    • HADOOP_HOST 指定 Hadoop NameNode 地址
    • HADOOP_PORT 指定 Hadoop NameNode 端口号
    • HADOOP_PATH 指定 Hadoop 数据存放目录

    如果 download 过程出现错误，请删除 data/download 目录下相应的数据文件，并尝试重新下载。如果遇到多次失败，请在 GitHub 提 issue。

    数据下载完毕后，重新执行该命令不会发生任何操作。

    SST 数据离线下载完成后，通过 INGEST 命令在线加载到存储服务中。

    Ingest 命令如下：

    1. nebula > INGEST

    该命令将加载 download 目录中的 SST 文件。

    注意： 数据量较大时 ingest 会阻塞 RocksDB，请避免在请求高峰执行该命令。