软件使用说明

Size: px

Start display at page:

Download "软件使用说明"

浪活韦
4 years ago
Views:

2 目录软件使用说明引言编写目的项目背景定义参考资料软件概述目标运行环境硬件...5 a. 计算机型号主存容量 ;PC 和服务器, 主存 4G;...5 b. 存储器 ; 大于 500G; 支持软件网络环境使用说明 4.1 安装和初始化运行运行说明系统介绍分布式爬虫管理服务系统 url 超级链接管理系统爬虫服务分布式爬虫管理系统系统主界面爬虫主机管理页面爬虫服务

3 软件使用说明 1 引言 1.1 编写目的本手册主要为系统服务提供指南, 主要服务于系统的使用和维护人员 1.2 项目背景项目来源于公司产品部门, 主要为全文搜索系统提供爬虫服务的支撑 1.3 定义略 1.4 参考资料略 3

4 2 软件概述 2.1 目标实现分布式爬虫的部署管理, 实现网页 url 的获取和分配, 实现网页信息的解析, 并输入到全文索引系统的过程 2.2 功能主要包括 : 集群管理爬虫管理 4

5 3 运行环境 3.1 硬件列出软件系统运行时所需的硬件最小配置 : a. 计算机型号主存容量 ;PC 和服务器, 主存 4G; b. 存储器 ; 大于 500G; 3.2 支持软件操作系统名称及版本号 ;CENTOS 6.5 以及 7 以上 3.3 网络环境系统需要组播的支持注意设置网络防火墙, 打开所需的端口 5

6 4 使用说明 4.1 安装和初始化系统运行在 linux 环境, 主要包括 CentOS 系列系统运行程序为 :Waiter /page 系统爬虫可以采用第三方服务, 也可以使用系统爬虫服务,NewaSoft 爬虫采用 phantomjs 和 casperjs 组成下载地址如下 : 下载解压, 设置环境变量, 指向解压目录和解压后的 bin 目录即可 4.2 运行./Waiter /page 6

7 5 运行说明 5.1 系统介绍系统包括 : 分布式爬虫管理服务系统,url 超级链接管理系统, 爬虫服务等三部分组成分布式爬虫管理服务系统主要管理爬虫服务的发现, 组建爬虫管理集群, 管理爬虫所在的服务器, 提供文件和配置的传输管理等 url 超级链接管理系统记录爬虫获取的 url, 为爬虫提供可爬取得链接 url, 分析 url 和关联网页的特性, 并记载, 提供爬虫处理网页的方式和方法爬虫服务爬虫主要分为以下几个部分 : 爬虫任务的加载, 失败的处理等 ; 爬虫服务处理爬取得 url, 获取内容并结构化, 通过全文引擎的接口导入到全文索引系统主要包括 : 网页的访问管理, 内容的获取, 对于需要密文搜索的内容进行信息的加密处理, 收集的信息存入到全文搜索系统爬虫任务的调度模块, 包括 :url 的获取和记录, 分配, 获取的内容的设置, 全文搜索的接口等任务特别项的处理 : 是否需要登录 ; 是否需要输入验证码 ; 是否可以爬取等 5.2 分布式爬虫管理系统系统主界面主要包括 : 集群主机的发现, 网络拓扑的编制和管理等 7

8 5.2.1 系统主界面主要菜单 : 收集主要通过组播发现爬虫主机, 点击该菜单, 会自动收集主机的信息, 并添加到拓扑图中 ; 保存保存编制好的拓扑结构图 ; 下载提供拓扑结构文件的下载 ; 编辑自定义拓扑的形式, 定义爬虫集群爬虫主机管理页面点击主界面的节点, 选取集群或者单独的主机进行管理主要的菜单包括 : 主机选择可以再次选择管理的主机或者集群 8

9 功能选择选择管理具体功能主要分为 : 目录浏览提供用户目录系统日志和上传文件目录的浏览示例 : 查看上传文件目录服务查询提供内存磁盘进程和时间的查询爬虫服务主要管理爬虫, 提供爬虫的启动和停止点击启动爬虫, 点击开始爬取即可实现爬虫服务例如 : 9

10 点击开始爬取 : 辅助功能主要包括 : 终止查询暂时停止该主机的相关查询服务 ; 启动查询启动被停止的查询服务 ; 停止消息滚动选中, 网页的消息不滚动, 未选中, 消息继续加载 ; 查看所有消息查看集群内所有查询的消息 ; 打开聊天框可以输入需要在主机或者集群运行的程序或者脚本在运行前确认该脚本是否被允许 10

11 文件上传上传文件到 web 服务提供的主机 11

5.3 爬虫服务爬虫服务主要依托 phantomjs 和 casperjs 下载地址如下: http://phantomjs.org/download.html http://casperjs.org/ 下载解压, 设置环境变量, 指向解压目录和解压后的 bin 目录即可支持第三方爬虫爬虫启动脚本 (startspider.sh) 示例 : #!

12 5.3 爬虫服务爬虫服务主要依托 phantomjs 和 casperjs 下载地址如下: 下载解压, 设置环境变量, 指向解压目录和解压后的 bin 目录即可支持第三方爬虫爬虫启动脚本 (startspider.sh) 示例 : #!/bin/bash export PATH=$PATH:/home/nws/pacong/bin cd./spider casperjs --start-url=$1 --required-values=$4 --mabiao=$6 --skipped-values=$5 --startnum=1 --web-security=no --load-images=no --limit=100 --mysearch=$2 $3 结合管理界面, 参数 $1 为爬取网址, 参数 $2 为全文索引地址, 参数 $3 为爬虫程序, 参数 $4 对应处理网址, 参数 $5 为忽略网址, 参数 $6 为密文密钥 ( 用于密文检索用, 主要用于信息加密传递到全文搜索服务 ) 爬虫 spider.js 示例 : /* 模块名称 :spider.js 模块功能 : 爬取信息, 并传输到搜索引擎模块编制 : 苏州泥娃软件科技有限公司 */ (function (window, document, undefined) { 'use strict'; var postnum = 0; var utils = require('utils'), 12

13 helpers = require('./helpers'), flcodec = require('./flcodec'), fs = require('fs'), config = require('./config'); var flago=false; // ################## WORKING CODE ################# // Create Casper var casper = require('casper').create({ verbose: config.verbose, loglevel: config.loglevel, pagesettings: { loadimages: config.loadimages, loadplugins: config.loadplugins ); // Echo options hash to screen if (config.loglevel!= 'error') { utils.dump(casper.cli.options); // ################## Initializing Vars ################# // URL arrays var visitedurls = [], pendingurls = [], skippedurls = []; var times = []; var visitedresourceurls = []; // required and skipped values var requiredvalues = casper.cli.get('required-values') config.requiredvalues, skippedvalues = casper.cli.get('skipped-values') config.skippedvalues, linklimit = casper.cli.get('limit') config.limit; 13

14 // setting hard value for linklimit so it doesn't go on forever //if (linklimit === 0) { //linklimit = 100; // // look for a command line cookie and then for a cookie in the config var cookie = false; if (typeof casper.cli.get('cookie') === 'string') { try { cookie = JSON.parse(cookie); catch (e) { casper.die('user defined cookie is not valid JSON.'); else if (casper.cli.get('cookie') === true) { cookie = config.cookie_data; // Initializing Data Object var dataobj = { start: casper.cli.get('start-url') config.starturl, mysearch:casper.cli.get('mysearch') config.mysearch, startnum:casper.cli.get('startnum') config.startnum, mabiao:casper.cli.get('mabiao') config.mabiao, date: new Date(), datefilename: casper.cli.get('date-file-name') config.datefilename, requiredvalues: helpers.preparearr(requiredvalues), skippedvalues: helpers.preparearr(skippedvalues), cookie: cookie, links: [], errors: [], times: [], 14

15 messages: [], skippedlinkscount: 0, logfile: '', linkcount: 1, useragent: casper.cli.get('user-agent') config.useragent ; // ################## Spider Function ################# //que = dataobj.startnum; var spider = function(url) { // Add the URL to visited stack visitedurls.push(url); // Add cookie if (dataobj.cookie) { casper.page.addcookie(dataobj.cookie); // add useragent if supplied if (typeof dataobj.useragent!== 'undefined') { casper.useragent(dataobj.useragent); // Open the URL and modify casper.open(url).then(function() { // ################## Setup Link Data ################# // Get current response status of URL var status = this.status().currenthttpstatus; // Log url if(status==undefined status==403) { return this.exit(2); 15

16 if(status >= 400) { this.echo("* " + this.colorizer.format(status, helpers.statuscolor(status)) + ' ' + url); else { this.echo(" " + this.colorizer.format(status, helpers.statuscolor(status)) + ' ' + url); // Instantiate link object for log var link = { url: url, status: status ; // Push links to dataobj dataobj.links.push(link); var title = this.gettitle(); var postsearch = {; postsearch = casper.evaluate(function (url, title, posturl) { var postsearch = {; try { postsearch._id = url; postsearch.title_s = title; postsearch.title = title; postsearch.url = url; catch (e) { utils.echo("error in fetching json object " + e.message); postsearch.content = utils.findone("body").innertext; 16

17 return postsearch;, url, title, dataobj.mysearch); var str = JSON.stringify(postsearch); var tt = "[" + str + "]"; this.echo("content: " + tt); if (postsearch.title!= "" && postsearch.title!= undefined) { this.echo("@title_s: " + postsearch.title); if(dataobj.mabiao=="" dataobj.mabiao==undefined) { this.echo("no flcodec!"); else { this.echo("start flcodec!"); postsearch.title_s = flcodec.trans_s(postsearch.title); postsearch.title = flcodec.trans(postsearch.title); if (postsearch.content!= "" && postsearch.content!= undefined) { postsearch.content_s = flcodec.trans_s(postsearch.content); postsearch.content = flcodec.trans(postsearch.content); postsearch.url = flcodec.trans(postsearch.url); var str = JSON.stringify(postsearch); var tt = "[" + str + "]"; if (status == 200 && tt.length > 0) { try { postnum = casper.evaluate(function (posturl, tt, postnum) { 17

18 try { JSON.parse( utils.sendajax(posturl, "POST", tt, false, { contenttype: "application/x-www-form-urlencoded" )); postnum++; return postnum; catch (e) { utils.echo("error in fetching json object " + e.message); postnum++; return postnum;, dataobj.mysearch, tt, postnum) this.echo("@postnum: " + postnum); catch (e) { console.log("error in: " + e.message); ################# // ################## Process Links on Page var baseurl = this.getglobal('location').origin; // Find links on the current page var locallinks = this.evaluate(function() { var links = []; utils.findall('a[href]').foreach(function(e) { links.push(e.getattribute('href')); ); return links; ); // iterate through each locallink this.each(locallinks, function(self, link) { 18

19 // if url contains text var containstext = function (element, index, array) { return (newurl.indexof(array[index]) >= 0); ; // Get new url var newurl = helpers.absoluteuri(baseurl, link); // If url is not visited, pending or skipped: if (pendingurls.indexof(newurl) === -1 && visitedurls.indexof(newurl) === -1 && skippedurls.indexof(newurl) === -1) { required // if newurl is not does not contain skipped, and does have if (!dataobj.skippedvalues.some(containstext) && dataobj.requiredvalues.every(containstext)) { pendingurls.push(newurl); else { // add it to skipped array skippedurls.push(newurl); casper.log('skipping ' + newurl, 'debug'); // add to counted skipped links dataobj.skippedlinkscount++; return; // eof visited, pending, skipped ); // eof each links // If there are any more URLs, run again. //if (dataobj.linkcount < linklimit) 19

20 { var nexturl= pendingurls.shift(); if(nexturl!=""&&nexturl!=undefined) spider(nexturl); //else { // casper.log('there are no more URLs to be processed!', 'Warning'); /// ); // eof page function ; // eof spider function // Start Spidering! casper.start(dataobj.start, function() { this.echo('starting to spider ' + dataobj.start, 'info'); spider(dataobj.start); ); casper.run(); // if console error exists casper.on('page.error', function(msg, trace) { var error = { msg: msg, file: trace[0].file, line: trace[0].line, func: trace[0]['function'] ; this.echo('* ERROR: ' + error.msg, 'error'); this.echo(' file: ' + error.file, 'warning'); this.echo(' line: ' + error.line, 'warning'); this.echo(' function: ' + error.func, 'warning'); dataobj.errors.push(error); 20

21 ); // if console message exists casper.on('remote.message', function(msg) { this.log('message: ' + msg, 'WARNING'); var message = { url: casper.getglobal('location').href, msg: msg ; dataobj.messages.push(message); ); // stop crawl if there's an internal error casper.on('error', function(msg, backtrace) { this.log('internal ERROR: ' + msg, 'ERROR' ); this.log('backtrace:' + backtrace, 'WARNING'); this.die('crawl stopped because of errors.'); ); // Find the longuest request casper.on('resource.requested', function(resource) { times[resource.id] = { start: new Date().getTime(), url: resource.url ; ); casper.on('resource.received', function(resource) { if (resource.stage == 'end') { times[resource.id].time = new Date().getTime() - times[resource.id].start; times[resource.id].status = resource.status; dataobj.times.push(times[resource.id]); if (visitedurls.indexof(resource.url) == -1 && visitedresourceurls.indexof(resource.url) == -1) { visitedresourceurls.push(resource.url); 21

22 if(resource.status >= 400) { casper.echo("* " + this.colorizer.format(resource.status, helpers.statuscolor(resource.status)) + ' ' + resource.url); else { casper.echo("# " + this.colorizer.format(resource.status, helpers.statuscolor(resource.status)) + ' ' + resource.url); if(!flago&&(resource.url.search(/abuseip/i)>0 resource.url.search(/u nhuman/i)>0 resource.url.search(/imhuman/i)>0)) { flago = true; this.echo("abuseip: " + this.colorizer.format(resource.status, helpers.statuscolor(resource.status)) + ' ' + resource.url); this.exit(2); ); // after crawl is complete, write json file with results casper.on('run.complete', function() { var filelocation = casper.cli.get('file-location') config.filelocation; var filename; // set filename for logging if (dataobj.datefilename) { filename = helpers.getfilename(filelocation) + '-data.json'; else { filename = filelocation + 'data.json'; 22

23 dataobj.logfile = filename; var data = JSON.stringify(dataObj, undefined, 2); // write json file fs.write(filename, data, 'w'); if (typeof config.cb === 'function') { config.cb(data); // Find the longest request. var longest = times.sort(function(reqa, reqb) { return reqb.time - reqa.time; )[0]; this.echo('', 'INFO'); this.echo(utils.format('longest request: %s (%s) with %dms', longest.url, longest.status, longest.time), 'INFO'); this.echo('', 'INFO'); this.echo('crawl has completed!', 'INFO'); this.echo('data file can be found at ' + filename + '.', 'INFO'); ); )(this, this.document); 非常规过程系统启动命令 :./waiter /page, 参数说明如下 : 启动程序名称 web 服务侦听地址组播侦听地址 web 服务端口组播端口网页文件所在目录系统停止该进程,killall waiter; 或者 ps -ef grep Waiter, 获取进程号, 然后 kill -9 进程号防火墙设置打开 tcp 的 web 服务端口和 udp 的组播端口文件和配置文件传递先上传文件, 然后通过对话框给集群下命令实现命令格式如下 : wget -O 本地文件服务主机 / 上传文件 23

24 操作命令一览表 ls tar cat free top 等程序文件 ( 或命令文件 ) 和数据文件一览表 Waiter startspider.sh start.sh./spider./page 24

25 25

Kubenetes 系列列公开课 2 每周四晚 8 点档 1. Kubernetes 初探 2. 上手 Kubernetes 3. Kubernetes 的资源调度 4. Kubernetes 的运行行时 5. Kubernetes 的网络管理理 6. Kubernetes 的存储管理理 7.

Kubernetes 包管理理工具 Helm 蔺礼强 Kubenetes 系列列公开课 2 每周四晚 8 点档 1. Kubernetes 初探 2. 上手 Kubernetes 3. Kubernetes 的资源调度 4. Kubernetes 的运行行时 5. Kubernetes 的网络管理理 6. Kubernetes 的存储管理理 7. Kubernetes