幻灯片 1

Size: px

Start display at page:

Download "幻灯片 1"

小鄂
5 years ago
Views:

1 项目介绍数字资源访问系统建设与研究以南京晓庄学院图书馆为例陆康

2 目录 1. 研究背景 2. 研究目的及目标 3. 研究思路及方法 4. 系统技术原理 5. 系统功能演示 6. 系统存在问题

3 1. 研究背景随着互联网技术的不断进步, 高校图书馆资源呈现多元化发展趋势高校图书馆数字资源建设经费占总资源的比例逐年提高, 平均值已经达到 50% 左右数字资源读者利用率一直是图书馆决策者们所关注的问题之一数字资源利用率数据大多是由数字资源供应商提供, 其真实性和准确性有待商榷由于高校图书馆的数字资源访问范围是建立在校园网的范围, 依据这个特点设计并建设高校图书馆数字资源访问统计分析系统, 为高校图书馆提供数字资源使用真实利用率等信息来协助图书馆决策者们资源建设发展决策

4 1. 研究背景根据图书馆数字资源长期无法准确统计的问题, 设计了图书馆数字资源利用统计分析系统系统采用了 libpcap 网络数据抓包, 分析数据包中的 HTTP 数据, 同时与资源列表信息匹配, 并记录访问信息至 Mysql 数据库中, 利用 PHP-Mysql-Web 框架开发出页面用于统计分析访问数据呈现的方法整套系统成功在南京晓庄学院校园网中投入测试运行, 并取得了预期的实践效果

5 2. 研究目的及目标 1 建立一套对数字资源的使用进行跟踪记录分析优化与管理的系统对特定资源批量或者全部进行实时跟踪, 即时分析统计, 记录访问行为, 例如读者信息时间地点 (IP) 资源内容数据库等相关信息 2 将记录的数据分析表, 通过分析表的形式提交给图书馆管理员, 作为资源建设与服务的决策依据 3 管理系统设计遵循 COUNTER 国际标准 4 拓展功能包括流量监控恶意下载管理等

6 3. 课题研究思路及方法 HTTP 报文 TCP 首部 HTTP 报文 IP 首部 TCP 首部 HTTP 报文以太网首部 IP 首部 TCP 首部 HTTP 报文以太网尾部以太网帧 14 4 数据包封装

7 3. 课题研究思路及方法图书馆数字资源使用率统计需求系统可行性分析技术方案选择端口镜像分析技术以太网网关分析技术硬件投入少容易实现成熟相关实施案例方案确定系统方案选择

8 3. 课题研究思路及方法系统环境建立

9 3. 课题研究思路及方法统计系统流程图

10 3. 课题研究思路及方法图书馆网络数据流网络接口 Libpcap 数据采集 HTTP 报文分析 MySQL 存储 PHP 显示

11 3. 课题研究思路及方法将网络数据包获取以后, 交给数据分析模块进行数据分析, 分析过程中, 对 HTTP 协议中相关信息数据与数字资源数据包进行匹配, 丢弃与数字资源无关的数据包, 同时记录匹配成功的数据包信息, 例如访问次数, 下载次数等等, 同时记录访问日志到后台 MYSQL 数据库中, 与此同时还需对同一 IP 地址的相关数据包在单位时间内下载次数进行统计, 检查是否超过单位时间内下载次数的限定对超过单位次数下载的地址进行记录并发出警告而所有访问记录都记录在数据库记录信息中, 用于数字资源数据的统计分析工作

12 4. 系统技术原理开始 libpcap 抓包过滤流程图 N N 判断是否成功指定网卡 COpenPcap() Y 开启抓包线程函数 CapDataThRun() 打开网卡设备 OpenPcap() 抓包 pcap_next_ex() 判断是否为 Http 包 OnCapOnePackEx() Y 判断 URL 是否在白名单 OnTimerErasInfoUpdate() N Y 存入 MySQL 数据库关闭 Libpacp 句柄 ClosePcap() 结束

13 4. 系统技术原理 libpcap 抓包工作原理图

14 4. 系统技术原理 libpcap 使用 : libpcap 是 unix/linux 平台下的网络数据包捕获函数包, 大多数网络监控软件都以它为基础 Libpcap 可以在绝大多数类 unix 平台下工作 Libpcap 应用程序框架 Libpcap 提供了系统独立的用户级别网络数据包捕获接口, 并充分考虑到应用程序的可移植性 Libpcap 可以在绝大多数类 unix 平台下工作, Libpcap 软件包可从下载, 然后依此执行下列三条命令即可安装, 但如果希望 libpcap 能在 linux 上正常工作, 则必须使内核支持 "packet" 协议, 也即在编译内核时打开配置选项 CONFIG_PACKET( 选项缺省为打开 )./configure make make install libpcap 源代码由 20 多个 C 文件构成, 但在 Linux 系统下并不是所有文件都用到可以通过查看命令 make 的输出了解实际所用的文件本文所针对的 libpcap 版本号为 0.8.3, 网络类型为常规以太网 Libpcap 应用程序从形式上看很简单. Winpcap 是 libpcap 的 Windows 版本

15 4. 系统技术原理数据包分析模块实现 Libpcap 只负责抓取网络包, 而数据包的分析匹配工作需要由数据包分析过滤模块实现其主要是将数据包与数据库中相关数字资源信息做匹配, 同时记录相关条件信息的工作 1. 对数据进行过滤, 只保留 http 类型包 2. 其次和资源链表进行匹配, 获取匹配上的资源信息, 并记录至数据库 3. 本文实际运行采用错时分析方法进行, 避免服务器的运行压力数据包过滤 Libpcap 抓取的数据包是全部的数据包信息, 而并非只是数字资源相关的数据包, 数字资源统计分析系统的研究对象是与数字资源相关的, 预先在数据库设置白名单, 其中包括与相关数字资源的数据包信息, 所以, 对数据包进行过滤过程就是对数据包进行筛选工作具体工作需要满足第一在 TCP 协议中, 连接并进行数据传输的数据包第二数据包中必须含有 http 请求信息和相应的报文信息否则丢弃

16 4. 系统技术原理数据包过滤, 其实是对 IP 包进行逐一过滤的过程, 从而筛选出 HTTP 包进行日志记录捕获的数据包, 主要是链路层数据, 通过对链路层首部的结构解析, 可以得到需要的数据包信息链路层数据包包括的信息涵盖了目的地址, 源地址信息, 以及数据类型和数据内容等数据包过滤程序, 首先要对数据包的报文进行判断, 本文中首先判断是否为 IP 报文, 如果不是则丢弃掉, 不做处理, 即完成第一步过滤工作其次, 对 IP 报文进行判断, 判断类型是否为 TCP 报文, 如果不是同样丢弃, 不做处理, 完成第二步的过滤工作最后, 对 TCP 报文进行判断, 判断类型是否为 HTTP 报文, 如果不是则继续丢弃, 不做处理, 完成最后一步过滤工作该流程完成对数据捕获包信息过滤, 减少后续处理数据的压力

17 4. 系统技术原理首先对 IP 报文进行判断 : void CCapData::OnCapOnePackEx(ST_EthHdr *pethhdr, DWORD dwlen) { if(!pethhdr DEF_MinLenOfEthernetFrame > dwlen) return; // 如果类型不是 IP 报文则忽略 if(def_l3_eth_p_ip!= ntohs(pethhdr->h_proto)) return; 其次对 TCP 报文进行判断 : m_piphdr = (ST_IpHdr *)((BYTE*)pEthHdr + m_dwethhdrlen); // 如果不是 TCP, 则忽略

18 4. 系统技术原理再次对 HTTP 进行判断 : if(!m_piphdr (L4_IPPROTO_TCP!= m_piphdr->protocol && L4_IPPROTO_SCTP!= m_piphdr->protocol)) return; // TCP 报文数据 m_ptcphdr = (ST_TcpHdr *)(m_piphdr + 1); if (!m_ptcphdr) return; // 如果不是 HTTP, 则忽略

19 4. 系统技术原理网址匹配模块将数据和预设资源名单进行匹配, 匹配成功, 则存入 MYSQL 数据库用于统计分析对存入的 HTTP 进行匹配, 在此之前通过过滤的有效数据进行判别首先对队列中的报文进行判定, 看是否是有效的数据, 例如 HTTP 获取 HTTP 信息以后, 通过获取 HOST 中浏览器信息, 得出 URL 信息通过对 URL 信息与白名单的信息对比判断, 得出访问数据信息, 并生成记录时间创建库表, 存入 MYSQL 数据库中同时将获取的资源名称也一并记录

20 数字资源统计分析系统 : 5. 系统功能介绍

21 5. 系统功能介绍

22 5. 系统功能介绍

23 5. 系统功能演示

24 5. 系统功能演示

25 5. 系统功能演示

26 5. 系统功能演示

27 6. 系统存在问题 1. 网络管理权限问题 2. 数据包获取准确性问题 3. 功能设置需要进一步优化 4. 暂时无法分析 HTTPS 协议 5. 对比测试系统

28 谢谢! 南京晓庄学院图书馆

MASQUERADE # iptables -t nat -A POSTROUTING -s / o eth0 -j # sysctl net.ipv4.ip_forward=1 # iptables -P FORWARD DROP #

MASQUERADE # iptables -t nat -A POSTROUTING -s / o eth0 -j # sysctl net.ipv4.ip_forward=1 # iptables -P FORWARD DROP # iptables 默认安全规则脚本一 #nat 路由器 ( 一 ) 允许路由 # iptables -A FORWARD -i eth0 -o eth1 -j ACCEPT ( 二 ) DNAT 与端口转发 1 启用 DNAT 转发 # iptables -t nat -A PREROUTING -p tcp -d 192.168.102.37 dprot 422 -j DNAT to-destination