使用Jaspersoft BI工具访问SequoiaDB数据库

Size: px

Start display at page:

Download "使用Jaspersoft BI工具访问SequoiaDB数据库"

岩时
6 years ago
Views:

1 使用 Jaspersoft BI 工具访问 SequoiaDB 数据库 1

2 Contents 1 简介 Jaspersoft Studio 对接 Hive 准备环境 Hive 对接 SequoiaDB 启动 Hive 的 server 服务 Jasersoft Studio 使用启动 Jaspersoft Studio 创建新 Project 创建新的 Hive 连接创建 Report Report 打印输出 Jaspersoft Studio 对接 PostgreSQL 简介 PostgreSQL 环境准备安装 PostgreSQL 配置 PostgreSQL 并启动服务创建 SequoiaDB 映射 Jasper 使用创建 Project 新建 PostgreSQL 的数据库连接创建 Report Jasper 输出结论资源

1 简介 SequoiaDB 白皮书 Jaspersoft 是一款开源的 BI 工具, 很多企业正在使用 JasperReport 和 JasperServer 开发和定制自己的业务分析报表使用 Jaspersoft, 企业可以轻易地针对自身数据构建可视化的 BI 视图本文就针对如何使用 Jaspersoft, 对存储在 SequoiaDB 中的数据分析进行介绍由于 SequoiaDB

3 1 简介 SequoiaDB 白皮书 Jaspersoft 是一款开源的 BI 工具, 很多企业正在使用 JasperReport 和 JasperServer 开发和定制自己的业务分析报表使用 Jaspersoft, 企业可以轻易地针对自身数据构建可视化的 BI 视图本文就针对如何使用 Jaspersoft, 对存储在 SequoiaDB 中的数据分析进行介绍由于 SequoiaDB 并不是传统的关系型数据库, 因此对于一些为关系型数据库而设计的 BI 工具, 需要在中间使用一层连接器进行对接通过连接器处理 BI 工具的 SQL 查询, 并将对数据的请求下发至 SequoiaDB 数据库使用这种方式,SequoiaDB 能够对接多种支持关系型数据库的 BI 系统, 本文主要介绍如何通过连接器对接 Jaspersoft 与 SequoiaDB 本文介绍了如何通过 SQL 连接器的方式, 使 Jaspersoft 能够从 SequoiaDB 中读取数据本文中 SQL 连接器代表 Hive 连接器与 PostgreSQL FDW 连接器, 意味着 Jaspersoft 能够通过使用 Hive 和 PostgreSQL 作为中间的 SQL 语法解析执行层, 从 SequoiaDB 中读取数据并生成相应的分析报表用户可以将该方法应用于其他不同的数据库工具一般来说, 对于大型数据仓库建议使用 Hadoop Hive 作为分析平台, 而对于简单的报表系统则可以使用 PostgreSQL 执行简单 SQL 的查询 Jaspersoft 通过 Hive 与 PostgreSQL 访问 SequoiaDB 中的数据流程如下图示 : 3

2 Jaspersoft Studio 对接 Hive0.12 2.1 准备环境本章节使用 Hive 与 Jaspersoft Studio 进行对接, 其中 Hive 的版本为 0.12,Jaspersoft Studio 的版本为 5.2.0(Jaspersoft Studio 5.5.0 版本测试通过 ) Hive 的元数据信息存储建议调整为 Mysql 存储, 这样可以保证任意机器, 多会话使用相同的 Hive 元数据信息 2.

4 2 Jaspersoft Studio 对接 Hive 准备环境本章节使用 Hive 与 Jaspersoft Studio 进行对接, 其中 Hive 的版本为 0.12,Jaspersoft Studio 的版本为 5.2.0(Jaspersoft Studio 版本测试通过 ) Hive 的元数据信息存储建议调整为 Mysql 存储, 这样可以保证任意机器, 多会话使用相同的 Hive 元数据信息 Hive 对接 SequoiaDB 通过 Hive 使 Jaspersoft 能够查询 SequoiaDB 中的数据, 第一步首先要配置 Hive 使其能够访问 SequoiaDB 中的数据具体的流程如下 : ( 1 ) 在 Hive 根目录下, 创建 auxlib 文件夹, 放置扩展 sequoiadb.jar hiev-sequoiadb-apache.jar 包 : #>mkdir -p $HIVE_HOME/auxlib; #>cp -f $SEQUOIADB_HOME/java/sequoiadb.jar $HIVE_HOME/auxlib; #>cp -f $SEQUOIADB_HOME/hadoop/hive-sequoiadb-apache.jar $HIVE_HOME/auxlib; (2) 登陆 Hive 的 shell 控制界面, 在 Hive 中创建 SequoiaDB 的映射表 : hive>create external table sdb_tab(id) stored by "com.sequoiadb.hive.sdbhivestoragehandler" tblproperties("sdb.address" = "localhost:11810"); (3) 登陆 SequoiaDB 的 shell 控制界面, 查看是否成功创建了名为 default 的 collection space 和名为 sdb_test 的 collection, 如果成功, 给 default.sdb_test 写入若干记录 : sdb>db = new Sdb("localhost",11810); sdb>db.listcollections(); sdb>db.default.sdb_test.insert({"name":"chen","id":123}); sdb>db.default.sdb_test.insert({"name":"go","id":456}); sdb>db.default.sdb_test.insert({"name":"hahah",id:80980}); (4) 分别从 SequoiaDB shell 和 Hive shell 中查询记录, 测试 Hive 是否成功从 SequoiaDB 获取数据 : sdb>db.default.sdb_test.find(); 4

--service hiveserver 启动成功, 屏幕打印 Starting Hive Thrift Server : 至此,Hive 与

5 hive>select * from sdb_test; 启动 Hive 的 server 服务启动 Hive 的 server 服务, 默认启动端口为 10000: #>bin/hive --service hiveserver 启动成功, 屏幕打印 Starting Hive Thrift Server : 至此,Hive 与 SequoiaDB 对接成功, 并成功启动 Hive 服务 2.2 Jasersoft Studio 使用启动 Jaspersoft Studio 双击 Jaspersoft 软件, 进入 Jaspersoft Studio 界面 : 5

6 2.2.2 创建新 Project (1) 点击 File -> New -> Project: (2) 选择 Jaspersoft Studio -> JapserReports Project, 点击 Next: (3) 在 Name 输入框中输入 Project 的名字, 例子填写了 hive, 填写完毕后, 点击 Finish, 完成 Project 创建 : 6

7 2.2.3 创建新的 Hive 连接 (1) 点击下图红色圆圈的按钮 : (2) 选择 Hive Connection 的连接, 点击 Next: 7

(3) 在 Name 输入框中输入新建的连接名, 例子填写 hive,url 输入框中填写 Hive JDBC 连接地址, 连接的 IP 地址为 192.168.20.

8 (3) 在 Name 输入框中输入新建的连接名, 例子填写 hive,url 输入框中填写 Hive JDBC 连接地址, 连接的 IP 地址为 , 端口为 10000, 使用数据库为 default, 信息都填写完毕后, 点击 Text 按钮, 测试是否填写正确 (4) 如果连接功能, 则如下图示, 点击 OK 按钮, 并且点击 Finish 按钮, 完成创建新数据库连接 8

9 2.2.4 创建 Report (1) 点击 File -> New -> Jasper Report (2) 点击 Categories 栏的 All, 选择右边栏的 Blank A4 模板, 点击 Next 9

(3)Report 文件选择创建在哪个 Project 上, 例子里选择 hive Project,File name 输入

jrxml, 点击 Next (4)Data Adapter 为 Report 的数据库连接源, 选择刚才创建的 hive

这里特别提醒,sql 语句不要以 ; 结尾, 否则语法不通过,sql 填写完毕后, 点击 Next (5) 通过前面的

10 (3)Report 文件选择创建在哪个 Project 上, 例子里选择 hive Project,File name 输入栏填写 Report 的 file name, 例子里填写了 hive_sdb.jrxml, 点击 Next (4)Data Adapter 为 Report 的数据库连接源, 选择刚才创建的 hive 连接, 在 Insert a HiveQL query and press Next 输入栏里填写你要做的 sql 语句这里特别提醒,sql 语句不要以 ; 结尾, 否则语法不通过,sql 填写完毕后, 点击 Next (5) 通过前面的 sql 语句,Jasper 检测到我们将要输出的字段名, 点击图中红色圆圈的按钮, 将字段转移到未来 Report 输出 Fields 列表中, 点击 Next 完成此步骤 10

11 (6) 当 Jasper 出现下图时, 新 Report 文件就设置好了, 点击 Finish Report 打印输出 (1) 从左边的 Outline 栏的 Fields 中, 将 name id 字段直接拖动到右边的显示输出的 Detail 上 11

12 (2) 将要输出的字段都放置在 Detail 框中 (3) 点击下方的 Preview 按钮,Jasper 会自动运行刚才的 sql 语句并且按照你上一步骤设计的输出格式进行输出 12

13 3 Jaspersoft Studio 对接 PostgreSQL 简介第二章中介绍了如何使用 Hive 与 Jaspersoft Studio 对接, 从 SequoiaDB 中读取数据本章则介绍如何通过 PostgreSQL 的连接器与 SequoiaDB 相连, 使用 Jaspersoft Studio 通过 PG 访问存放于 SequoiaDB 中的数据 3.2 PostgreSQL 环境准备安装 PostgreSQL 由于 PostgreSQL 不能在 root 用户下使用, 并且本教程为 PostgreSQL 从 SequoiaDB 中获取数据进行查询, 所以作者建议以 sdbadmin 用户 (SequoiaDB 数据库默认用户 ) 对 PostgreSQL 进行安装以 sdbadmin 用户解压 PostgreSQL 的安装包, 后面步骤如果没有特别指明, 则默认使用 sdbadmin 用户进行操作 #>tar -zxvf pgsql.tar.gz ~/; #>cd $SDBADMIN_HOME/pgsql; 配置 PostgreSQL 并启动服务 (1) 环境变量添加 PostgreSQL 的 lib 库 #>export LD_LIBRARY_PATH=$(pwd)/lib:${LD_LIBRARY_PATH}; (2) 创建 PostgreSQL 的数据目录, 并且初始化数据目录 ( 该操作只能操作一次 ) #>mkdir pg_data ; #>bin/initdb -D pg_data/ ; (3) 调整 PostgreSQL 的范文权限使用 Jasper 访问 PostgreSQL, 需要将 PostgreSQL 调整为允许任何机器对 PostgreSQL 进行访问方法是修改 PostgreSQL 的数据库配置文件 pg_hba.conf pg_hba.conf 配置文件默认只允许本地访问 PostgreSQL, 配置文件为 : # IPv4 local connections: host all all /32 trust 对 pg_hba.conf 文件新型修改, 增加受信任的机器列表, 例子中修改为允许所有机器访问 PostgreSQL 修改后的 pg_hba.conf 文件 # IPv4 local connections: host all all /32 trust 13

14 host all all /0 trust (4) 启动 Postgresql 服务进程 #>bin/postgres -D pg_data/ >> logfile 2>&1 & (5) 创建 PostgreSQL 的 database #>bin/createdb -p 5432 sdb (6) 安装 PostgreSQL 扩展包, 允许 PostgreSQL 从 SequoiaDB 获取数据进行 SQL 查询 #>mkdir -p $SDBADMIN_HOME/pgsql/lib; #>mkdir -p $SDBADMIN_HOME/pgsql/share/extension; #>cp -f sdb_fdw.so $SDBADMIN_HOME/pgsql/lib; #>cp -f sdb_fdw.control $SDBADMIN_HOME/pgsql/share/extension; #>cp -f sdb_fdw--1.0.sql $SDBADMIN_HOME/pgsql/share/extension; (7) 登陆 PostgreSQL 的 shell 控制界面进行操作 #>bin/psql -p 5432 sdb 创建 SequoiaDB 映射 (1) 加载 SequoiaDB 连接驱动 sdb=# create extension sdb_fdw; (2) 配置与 SequoiaDB 连接参数 sdb=# create server sdb_server foreign data wrapper sdb_fdw options(address 'localhost', service '11810'); (3) 关联 SequoiaDB 的集合空间与集合 sdb=# create foreign table test (name text, id numeric) server sdb_server options ( collectionspace 'default', collection 'sdb_test' ) ; (4) 执行查询命令, 查看 PostgreSQL 是否能成功从 SequoiaDB 获取数据进行查询 sdb=# select * from test; 3.3 Jasper 使用创建 Project 创建一个名为 postgresql 的 Project, 具体操作参考

15 3.3.2 新建 PostgreSQL 的数据库连接 (1) 点击红色圆圈的按钮, 新建一个数据库连接 (2) 选择 Database JDBC Connection, 点击 Next (3)Name 输入框填写新建数据库连接名字, 例子中填写 postgresql,jdbc Driver 选择框中选择 PostgreSQL(org.postgresql.Driver) 15

(4) 正确填写 JDBC URL 输入框, 例子中连接的服务器 IP 地址为 192.168.20.

16 (4) 正确填写 JDBC URL 输入框, 例子中连接的服务器 IP 地址为 , 端口为 5432, 连接的数据库为 sdb Username 输入框中填写 PostgreSQL 运行的用户名, 例子中填写 sdbadmin 填写完毕后, 点击 Test, 测试 Jasper 是否能连接远程的 PostgreSQL 服务连接 (5) 测试成功, 出现如下对话框, 点击 OK 按钮后, 点击 Finish, 完成创建新的 PostgreSQL 16

17 3.3.3 创建 Report 使用 PostgreSQL 作为远程数据库, 创建 Report 步骤参考 2.2.4, 只需要在选择数据库连接源时选择 postgresql 即可 17

18 3.3.4 Jasper 输出使用 PostgreSQL 作为远程数据库服务器,Jasper 按照格式进行输出, 操作步骤参考

19 4 结论 SequoiaDB 白皮书 SequoiaDB 作为一款优秀的分布式数据库, 在不断优化自身的性能同时, 也非常关注如何与传统的 BI 工具进行整合, 使得企业的数据有说话的平台, 有良好的展现效果通过对 Hive 和 PostgreSQL 进行功能扩展, 使得两者都成为 SequoiaDB 的 SQL 语法解析执行层, 一般来说, 对于大型数据仓库建议使用 Hadoop Hive 作为分析平台, 而对于简单的报表系统则可以使用 PostgreSQL 执行简单 SQL 的查询通过前面的各个章节, 作者已经清楚地向用户展示了如何使用 Jaspersoft 工具, 使用 Hive 和 PostgreSQL 的 JDBC 驱动, 对 SequoiaDB 的数据进行查询与效果呈现 5 资源想要获取更多的信息, 请访问 sequoiadb.com, 或者联系我们 contact@sequoiadb.com 资源 SequoiaDB 数据库下载网址 wnserver SequoiaDB 客户端下载 wnclient SequoiaSQL 引擎下载 wnsqlengine 学习教程 wnstudy 技术文档 wntechfiles 19

Microsoft Word - PostgreSQL _对接_SequoiaDB.docx

Microsoft Word - PostgreSQL _对接_SequoiaDB.docx 1 部署 PostgreSQL 1.1 安装 PostgreSQL 本教程为 PostgreSQL 与 SequoiaDB 的对接教程, 所以作者建议使用者在 sdbadmin 用户下 (SequoiaDB 数据库默认用户 ) 安装并使用 PostgreSQL( 本教程使用 PostgreSQL 9.3.4 版本 ) 1 源码编译 PostgreSQL 下载链接 :http://www.postgresql.org/ftp/source/