Apache Drill-1.7.0 - 知识库

Apache Drill-1.7.0 编辑

Apache Drill 1.7.0移植相关信息

版本号:Apache Drill 1.7.0
简介:

Apache Drill是一个低延迟的分布式海量数据(涵盖结构化、半结构化以及嵌套数据)交互式查询引擎,使用ANSI SQL兼容语法,支持本地文件、HDFS、HBase、MongoDB等后端存储,
支持Parquet、JSON、CSV、TSV、PSV等数据格式。受Google的Dremel启发,Drill满足上千节点的PB级别数据的交互式商业智能分析场景。

官网地址:https://drill.apache.org/
源代码(修改之前)、(修改之后):源码未修改 源码包下载
编译文档:编译主要使用maven编译,下载官方源码包,解压,在其目录下执行mvn clean install -DskipTests 进行编译,编译后执行mvn test进行编译测试
成品二进制:Apache-Drill-1.7.0.tar.gz
测试报告:见官方文档doc
使用说明:

  • 下载编译后的源码包,解压到javaJDK安装目录下
  • 修改$DRILL_HOME/conf/drill-env.sh 文件,默认内存是8G/4G,将其修改成小于实际物理内存大小,例如:
DRILL_MAX_DIRECT_MEMORY="512M"
DRILL_HEAP="512M
  • 使用cd $DRILL_HOME/bin 执行./sqlline -u jdbc:drill:zk=local 之后就可以进行单机测试(无需Zookeeper)
  • Drill 集群测试需要Zookeeper的支持,具体参看官网
Running in clustered mode
  1. Edit drill-override.conf to provide zookeeper location
  2. Start the drillbit using bin/drillbit.sh start
  3. Repeat on other nodes
  4. Connect with sqlline by using bin/sqlline -u "jdbc:drill:zk=[zk_host:port]"
  5. Run a query (below).