本文共 1407 字，大约阅读时间需要 4 分钟。
自阿里云推出 Greenplum 服务以来，很多公测用户希望把自己在 Mysql 中的数据放到 Greenplum 用于进行数据分析。而且很多客户的数据量相当大。在这里我向大家提供几种经过验证的向云上 Greenplum 导入大量数据的方法。
特点：1. Greenplum 提供的原生数据导入方法。2. 需要先把数据从 Mysql 导出成文本文件。3. 适合少量数据上云，导入过程中数据会经过 Greenplum 的 Master 节点，所以性能不会特别理想。
特点：1. Mysql 导入 Greenplum DB 到 DB 不落地的导入方案，简单实用。2. 推荐购买 ECS，和在 ECS 上使用该工具，特别适合从 RDS Mysql/ECS 自建实例导入数据。3. 该工具已经开源了代码，各位可以定制自己的需求。4. 该工具写入端也会走 Master 节点，所以性能不会特别理想。
该方法的流程如下：1. 购买和开通阿里云 ECS，OSS 服务。2. 在 ECS 上使用 ossfs 包挂载购买的 oss 为本地文件系统。3. 在 ECS 上安装 mysql 二进制RPM。4. 使用 mysqldump 命令流式获取源库中对应表中的数据，并增量写入到 oss 中。5. 使用 gp_oss_ext 在 Greenplum 中创建 oss 外部表，并行的将数据导入到 Greenplum 中。
mysqldump 导出举例：
nohup /home/mysql/bin/mysqldump -h192.168.1.1 -P3306 -utest -ptest testdb testtab | sed 's/),(/\n/g;s/NULL//g' | split -l 1000000 - /ossdata/testtab/data. 1>/home/test/testtab.out 2>&1 &
上面的举例有几个要点，大家可以根据自己的需求定制
1. 用户可以使用 mysqldump 导出数据，也可以使用 mysql 命令，如果数据量较大，建议使用 --quick 参数，避免内存不足。2. mysqldump 跟上的 sed 命令是为了格式化导出的数据，以符合 Greenplum 导入的格式规范，大家可以根据需求定制这一项。3. split 也是一个比较关键的点。它用于定制切割和存放文件的规则。原因有以下两点 3.1 oss 上普通文件有大小限制 3.2 gp_oss_ext 并行导入 oss 上的数据是以文件为单位并发的，推荐在 OSS 上使用虚拟文件夹存放对应一个表的所有数据。
从 OSS 装载数据的特点：
1. 这是一个应对大量数据导入到 Greenplum 的方法，可以轻松从 Mysql 导入上百G，甚至上T的数据到 Greenplum。2. 不需要很大的缓冲临时空间，数据是流式写入到 OSS 的。3. 导出和导入时以表为单位进行的，使用者可以并发操作多个表以提高整体的性能。4. 该方法的性能远好于前两种，导入到云上 Greenplum 规格越大，性能也会越好。
转载地址：http://gxxpl.baihongyu.com/