3.NTUR

Size: px

Start display at page:

Download "3.NTUR"

曲夙植
7 years ago
Views:

1 NTUR 系統進階江玉婷臺大圖書館系統資訊組 2011/06/28 NTUR 系統進階 1

2 大綱 Database Schema 進階系統設定背景支援程式資料檢索統計資訊外部整合錯誤追踪 2

3 Dspace database schema 3

4 NTUR 資料結構學院系所分類文件檔案集檔案 4

5 Dspace database schema 基本元件資料表 bitstream bundle item collection community 關聯 :community2community community2collection collection2item item2bundle bundle2bitstream 使用者群組 eperson epersongroup 關聨 :epersongroup2eperson group2group 5

community2collection collection2item item2bundle

6 Dspace database schema 詮釋資料 Metadatavalue -- 變動欄位的屬性描述 Item_id metadata_field metadata_value title author publish_year 臺灣原住民基本法之回顧與展望王泰升 1997 metadataschemaregistry 詮釋資料種類 metadatafieldregistry 詮釋資料欄位 6

author publish_year 臺灣原住民基本法之回顧與展望王泰升 1997

7 Dspace database schema 功能使用權限 :EpersonGroup 讀取上傳編輯刪除審核整批上傳類別管理資料存取權限 :ResourcePolicy 權限設定元件設定資料主體 : 社群類別文件檔案授權對象 : 使用者或群組動作 : 讀取新增編輯刪除審核類別管理員整批上傳存取日期限制 : 正向標示可讀取日期存取 IP 限制 : 開始及結束 ip, 或以分號分隔單獨 ip 階層式權限下放管理管理者及類別管理員可以指定權限給所屬使用者新註冊的使用者, 會通知類別管理員給予對應權限 7

除審核類別管理員整批上傳存取日期限制 : 正向標示可讀取日期存取 IP 限制 : 開始及結束 ip, 或以分號分隔單獨

8 權限授予介面 2. 授權對象 1. 設定資料主體 3 可執行動作. 可 8

9 檔案讀取政策控管機制設定來源個人設定管理者設定出版社套用限制標的存取時間限制限定特定時間範圍限定開放年限存取 IP 限制範圍館內校內校外存取標的的設定本端檔案或遠端 URL 出版社與個人權限設定範例 2007/05/01 出版之文件 2008/05/ /12/31, 限館內瀏覽 2011/01/01 起, 限校內瀏覽作者設定 : 2007/8/1-2010/12/31 限館內瀏覽出版社設定 : 出版日期後一年開放限校內瀏覽管理者設定 : 2010/01/01 起開放全部瀏覽 9

2007/05/01 出版之文件 2008/05/01-2010/12/31, 限館內瀏覽 2011/01/01 起, 限校內瀏覽作者設定 :

10 Dspace database schema 作者權威 name_authority *itemsbyauthor 作者查詢 query expension 縮寫會造成查詢檢索過多其他 workflowitem 工作流程 workspaceitem 工作暫存瀏覽索引表實體資料表 itemsbyxxxxxx View communityitemsbyxxxxxx collectionitemsbyxxxxxx 10

workflowitem 工作流程 workspaceitem 工作暫存瀏覽索引表實體資料

11 進階系統設定 & 背景支援程式

12 Configuration 單筆資料顯示欄位 webui.itemdisplay.default = dc.title, dc.title.alternative, dc.creator, dc.contributor.*,dc.subject, dc.date, dc.date.issued(date),dc.identifier.url(link) 進階檢索欄位 webui.search.advanced.columns=any:jsp.search.advanced.ty pe.keyword, author:metadata.dc.creator, title:metadata.dc.title, 搜尋欄位 : 需以 dspace.cfg 中的 search.index.* 欄位為準顯示欄位 : 必須在語言檔中有對應才能正確煩示上傳下載排行顯示數量 webui.topupload.items = 10 webui.topdownload.items = 10 外部連結訊息顯示 webui.bitstream.external-link.alert = false 12

keyword, author:metadata.dc.creator, title:metadata.dc.title, 搜尋欄位 : 需以 dspace.cfg 中的 search.index.

13 語言檔語言對應檔位置 : 若尚未安裝, 請修改 [ 安裝檔目錄 ]]/config/language-packs/*.properties 若已安裝, 請修改 [WEBROOT]]/WEB-INF/classes/*.properties 語言對應檔結構 :*.properties *.properties, 星號檔案命名表各國語言 properties 檔案內容結構 : [property name]=[ 顯示值 ] 編輯語言檔內容???xxx.xxx.xxx.xxxx???: 表示未在語言檔中找到對應的設定, 可自行在各國語言檔中加入 xxx.xxx.xxx.xxxx=[ 顯示值 ]] 若修改中文的語言檔, 須進行轉碼 Java 程序中讀取 Property 文件的時候使用 Unicode 編碼方式簡易轉碼程式 native2ascii.exe:( 以 DOS 模式執行 ) C:\j2sdk1.4.2_04\bin>native2ascii 中文測試 ## 打入欲轉碼的文字後按 ENTER \u4e2d\u6587\u6e2c\u8a66 注意事項若直接在安裝後的檔案修改, 而後又執行安裝更新, 更改後的語言檔將會被覆蓋, 請自行備份修改後的部分請回報系統開發單位, 更改語言檔後, 重起 web server 方能生效 13

$exe:( 以 DOS 模式執行 ) C:\j2sdk1.4.$

14 內容設定檔位置 :$IR_HOME/config/ s 種類 register - 使用者註冊後發送的密碼設定信 hange_password - 更改密碼信 feedback - 使用者回饋訊息通知信 ( 管理者 ) job_complete - 後台背景批次處理工作完成通知信 ( 管理者 ) submit_archive - 單筆上傳成功進入系統通知信 submit_batch - 整批上傳通知信 submit_reject - 審核不通過通知信檔案內容主要參照語言設定檔, 若欲更改內容, 需要括號中的參數至語言檔中修改內容範例 @[ .systemname] 14

入系統通知信 submit_batch - 整批上傳通知信 submit_reject - 審核不通過通知信檔案內容主要參照語言設定檔, 若欲更改內容, 需要依 @[] 括號

15 單筆上傳顯示頁面設定檔位置 :$IR_HOME/config/input-forms.xml.[language] 欄位設定選單設定 <form name="traditional"> <page number="1"> <field><dc-schema>dc</dc-schema> <dc-element>title</dc-element> <dc-qualifier></dc-qualifier> <repeatable>true</repeatable> <label> 題名 </label> <input-type value-pairsname="common_iso_languages">qualdrop_value </input-type>- <input-type>onebox</input-type> <hint> 請輸入作品主要題名 </hint> <required> 請輸入題名 </required> </field> <value-pairs value-pairs-name="common_iso_languages" dc-term="language_iso"> <pair> <displayed-value> 中文 ( 繁體 )</displayed-value> <storedvalue>zh_tw</stored-value> </pair> <pair> <displayed-value> 中文 ( 簡體 )</displayed-value><storedvalue>zh</stored-value> </pair> 15

<repeatable>true</repeatable> <label> 題名 </label> <input-type value-pairsname="common_iso_languages">qualdrop_value </input-type>- <input-type>onebox</input-type> <hint> 請輸入作品主

16 背景支援程式網站服務器執行狀態監督 linux: test_alive.sh 每隔一段時間監測若連結不到自動重起定時執行 : 可設定在 crontab 或排程索引更新統計資料更新 * * root run-parts /etc/cron.monthly 00 2 * * * root cd /home/dspace/bin;./index-all #40 2 * * * root cd /home/dspace/bin;./filter-media #25 0 * * * root /root/restart_server.sh */5 * * * * root /root/test_alive.sh >> /data/test_alive.log 16

* root run-parts /etc/cron.monthly 00 2 * * * root cd /home/dspace/bin;.

17 背景支援程式任務執行監聽器執行項目 : 整批資料上傳統計資料產生索引工作目錄 :$IR_HOME/job /todo/ 待進行的工作 /doing/ 進行中的工作 /log/ 執行結果 (/hang/ 一段時間內未正常完成的工作 ) 檔名規範 : [ 起始時間 ]-[ 結束時間 ].u[ 執行者 id].[ 執行動作 ].c[ 類別 id] u1313.itemimport.c440 檔案內容 : 指令及執行 log Configuration job.concurrent=5 job.listener.freq=300 (sec) 17

時間 ]-[ 結束時間 ].u[ 執行者 id].[ 執行動作 ].c[ 類別 id] 20090701142756-20090701143016.u1313.

18 資料檢索

19 資料索引索引種類瀏覽索引 :mysql table itemsbyxxxxx 社群類别計數作者瀏覽 name_authority itemsbyauthor 全文索引 :lucene index -- $DSPACE_HOME/search pdf 文件剖析預設 : PDFBox 付費 : PDFTextStream filter.org.dspace.app.mediafilter.pdffilter.classname = com.snowtide.pdf.pdftextstream 索引欄位設定 : dspace.cfg search.index.1-n 例 :search.index.1 = author:dc.contributor.* 19

PDFTextStream filter.org.dspace.app.mediafilter.pdffilter.classname = com.snowtide.pdf.pdftextstream 索引欄位設定 : dspace.

20 資料索引索引方式後台管理介面手動執行 ( 可在線執行, 但查詢結果暫時會不正確 ) $BINDIR/dsrun org.dspace.browse.initializebrowse (bin/index-browse) $BINDIR/dsrun org.dspace.app.mediafilter.mediafiltermanager (bin/filter-media) $BINDIR/dsrun org.dspace.search.dsindexer (bin/index-dsindexer) 20

21 提昇檢索效能增加被檢索率手動產生 sitemaps./dsrun org.dspace.app.sitemaps.generatesitemaps OR./generate-sitemaps 產生之 sitemap 將會儲存在 $IR_HOME/sitemaps 目錄下可以使用 url $IR_URL/htmlmap 查詢系統現有 sitemaps 清單可將指令加入系統排程中定時執行文件微格式 (Microformat) 著錄增加 metadata 資訊至網頁 meta-tag, 提高搜尋引擎學術索引率 <meta name="citation_date" content=" " xml:lang="en_us" scheme="citation_date" /> <meta name="citation_title" content="chiral angle dependence of resonance window widths in." xml:lang="en_us" scheme="citation_title" /> 21

22 提昇檢索效能 spider 設定 google 網站管理員註冊設定抓取速率連線資訊強制刪除暫存頁面 robots.txt counter filter $IR_HOME/counter/spider/ $IR_HOME/filter/block/ <robots.txt> User-agent: * Disallow: / User-agent: Googlebot Disallow: /*?* Disallow: /tools/ Disallow: /ir-admin/ Disallow: /*locale=zh-cn* Allow: /index* Allow: /?locale=* Allow: /*locale=* Disallow:/handle/246246/ Disallow:/handle/246246/44870?pag e=73&locale=en-us 22

23 統計資訊

統計資訊前台文件上傳下載社群與類別瀏覽時, 可檢視該範圍內之上傳下載排行文件下載次數計算同一 ip, 1 日內的下載只算一次社群類別計數計算依據 :item community2item collection2item 計數儲存 :community collection

24 統計資訊前台文件上傳下載社群與類別瀏覽時, 可檢視該範圍內之上傳下載排行文件下載次數計算同一 ip, 1 日內的下載只算一次社群類別計數計算依據 :item community2item collection2item 計數儲存 :community collection table 更新時機 : 資料異動索引建立 cache 機制 : 每半天更新一次 $IR_HOME/cache/[date]/TopDownload* TopUpload* /generating/: 正在產生的排行強迫重新跑排行 : 刪除 cache 檔案 IP]/statistics/Top*-cache.jsp 取得 cache IP]/statistics/Top*.jsp 立即重跑 24

25 統計資訊造訪人次 local counter 利用 Session 紀錄線上人數每隔一段時間更新 1 次 Configuration: counter.listener.freq=120 紀錄每日造訪人次 $IR_HOME/counter/counter/*.txt Counter filter $IR_HOME/counter/spider/* 設定 google analytics 統計參數 : webui.counter.statistics.type = google webui.counter.statistics.param = UA

26 統計資訊後台 DSPACE 每月報表 ( 需手動執行 ) 執行指令 $IR_HOME/bin/stat-* 計算依據 $IR_HOME/log/dspace.log.* [date] [log type] [program] [user]:[session_id]:[ip_addr] [action type] [resource_id] :12:30,785 INFO org.dspace.app.webui.servlet.retrieveservlet (BitstreamServlet.java:254) - anonymous:session_id=551f5c72be66789c34f3912d877418f9:ip_addr= :view_bitstream:bitstream_id= log 保存設定 :log4j.properties log4j.appender.a1.file=/home/dspace/log/dspace.log log4j.appender.a1.maxfilesize= #Roll when log file size is over 5Mb log4j.appender.a1.maxbackupindex=10000 #Keep up to 500 files around 統計項目檢索關鍵詞報表連線 IP 排行文件上傳數量文件被瀏覽次數排行 26

27 統計資訊後台其他統計項目統計依據 : 資料庫每月新增筆數統計資料及圖表跨社群之類別文件數量統計 27

28 與外部資源整合

29 單一簽入提供 single sign on 之介接 API (web service) 運作概念遠端認證介面 ( 各校提供 url) 回傳認證結果 ( 各校提供 session) 若認證通過, 以 session number 取回使用者資料 ( 各校提供 API) 若使用者第一次登入, 則新建帳號 (NTUR) 依使用者所屬系所自動授予上傳權限給名稱相同的社群 (NTUR) config 檔設定 sso.enable = true sso.redirect_url = sso.requestdata_url = sso.requestdata_url.ntu = sso.logout_url = 29

30 30 單一簽入臺大計算機中心 NTUR 單一簽入

31 單一簽入 <?xml version="1.0" encoding="utf-8"?> <soap:envelope xmlns:xsi=" xmlns:xsd=" xmlns:soap=" <soap:body> <checksessionresponse xmlns=" <checksessionresult> <SEQ>73380</SEQ> # 使用者於校內的 ID, 如學號, 身分證字號或員工編號 <FromIP> xxx.xx</FromIP> # 使用者連線來源 < >xxx@XXX.XXX.XXX</ > #NTUR 系統將以此作為 IR 系統之識別 unique ID <FirstName>Tony</FirstName><LastName>Chen</LastName> <AccountStatusCode>0</AccountStatusCode> <UnitCode>A902000</UnitCode> # 單位代碼, 將會暫存於 IR 系統中以備日後使用 <UnitName> 中文系 </UnitName> # 單位名稱, 使用者登入系統時將以此單位名稱比對系統類別名稱, 給予基本的上傳權限 </checksessionresult> </checksessionresponse> </soap:body> </soap:envelope> 31

32 單一簽入 LDAP plugin.sequence.org.dspace.eperson.authenticationmethod = \ org.dspace.eperson.ldapauthentication webui.ldap.autoregister = true ldap.enable = true ldap.provider_url = ldap://ldap.example.edu.tw:389/ [^] ldap.id_field = uid ldap.object_context = dc=example,dc=edu,dc=tw ldap.search_context = dc=example,dc=edu,dc=tw ldap. _field = mail ldap.surname_field = sn ldap.givenname_field = givenname ldap.phone_field = telephonenumber 32

33 外部資料上傳整批上傳 dspace 指令式上傳檔案格式 :item folder/ dublin_core.xml contents 數位檔案 --metadata 內容 -- 數位檔案名稱指令 :home/dspace/bin/dsrun org.dspace.app.itemimport.itemimport --add -- --collection=440 --source= /home/ dspace/upload/collection/440/ mapfile=/home/ dspace/upload/log/200907/ u1313.map.c checkduplicate ntur 介面上傳 excel + 全文檔案 =>zip 檔案轉換成 dspace 所需的檔案格式 upload temp files: $IR_HOME/uploaded/* 33

34 外部資料上傳單筆上傳 (RC5) metadata import API 實例 : 學術成果資訊系統與 NTUR 互通流程國科會資料轉檔 %E8%BC%89 ethesys 轉 NTUR 程式國科會計畫資料轉 NTUR 程式 34

35 資料交換資料擷取 :OAI-PMH 資料訂閱 :RSS 整合查詢 :JSON (RC5) 可以 http 方式直接呼叫 API, 網址為 : IR 系統 ip]/simple-search-json?[ 參數 ] query=test&limit=100&start=1000 JSON 格式範例 { "streetaddress": "21 2nd Street", "city": "New York", "state": "NY", "postalcode": "10021" }, 35

36 未來發展作者個人頁面 Web of Science 引統計連結 36

37 錯誤追踪 log 位置 dspace log:$ir_home/log tomcat log:$tomcat_home/logs 常見系統錯誤 too many open files 加大系統設定值 /proc/sys/fs/file-max Cannot get a connection, pool exhausted Too many connections Null pointer error Out of memory 設定 tomcat 參數 : <parameter><name>removeabandoned </name><value>true</value></parameter> 加大 my.cnf 中的 max_connections 參數值系統程式錯誤, 請回報記憶體用盡, 加大系統可使用記憶體量, 或重起系統釋放 java.net.socketexception: Socket closed ** BEGIN NESTED EXCEPTION ** 系統異常, 重起系統 37

38 感謝聆聽敬請指教 38

XXXXXXXX http://cdls.nstl.gov.cn 2 26

[ ] [ ] 2003-7-18 1 26 XXXXXXXX http://cdls.nstl.gov.cn 2 26 (2003-7-18) 1...5 1.1...5 1.2...5 1.3...5 2...6 2.1...6 2.2...6 2.3...6 3...7 3.1...7 3.1.1...7 3.1.2...7 3.1.2.1...7 3.1.2.1.1...8 3.1.2.1.2...10