PowerPoint 簡報

Size: px

Start display at page:

Download "PowerPoint 簡報"

盛缪
5 years ago
Views:

1 2018/9/17 1 從 NTUR 到 NTU Scholars 資料處理實務台大圖書館系統資訊組江玉婷 TAIR 團隊陳光華館長陳慧華組長吳瑟量江玉婷林柏源蔡玉紋邱莉媛

2 大綱系統架構與資料結構整批資料處理授權 (Authentication & Authorization) 統計 (Statistics & Metrics) 2018/9/17 2

3 資料架構機構典藏視角學院 Community 研究人員視角單位系所 Collection Collection 子單位文件 Item Item Item Item 研究人員檔案集 Bundle Bundle 檔案 Bitstream Bitstream Bitstream 2018/9/17 3

4 資料結構所有物件都有 Metadata Communities, Collections, Items, EPeople, Groups 使用預設 DC 格式 Metadata 內容種類 Descriptive Metadata Administrative Metadata Structural Metadata 2018/9/17 4

5 資料結構 Metadata 資料庫欄位 Text-Field: 欄位內容 Authority: 權威資料代碼參照 Confidence: 可信度 Place: 位置 Lang : 語言 2018/9/17 5

6 資料選擇管理 (Choice Management) 應用時機單筆資料上傳單筆資料編輯 Metadata 輸入之選項值固定選項彈性 query 非權威之下拉式選單設定 choices.plugin.dc.type = common_types choices.presentation.dc.type = select 2018/9/17 6

7 權威資料管理 (Authority Management) 權威代碼 (Authority Key) 欄位權威參照設定 ${dspace.dir}/config/dspace.cfg 研究物件權威資料定義欄位關聯設定權威資料參照統計 : 管理內容權威管埋新增資料時自動建立權威物件 plugin.named.org.dspace.content.authority.choiceauthority = org.dspace.app.cris.integration.rpauthority = RPAuthority,\ org.dspace.app.cris.integration.ouauthority = OUAuthority,\ choices.plugin.dc.contributor.author = RPAuthority choices.presentation.dc.contributor.author = suggest authority.controlled.dc.contributor.author = true 2018/9/17 7

8 Google 索引優化 Google Scholar Metadata 對應 Highwire press tag (in HTML HEAD tag) Prefix: citation_ 系統設定 ${dspace.dir}/config/dspace.cfg google-metadata.enable = true ${dspace.dir}/config/crosswalks/google-metadata.properties google.citation_title = dc.title google.citation_publisher = dc.publisher google.citation_author = dc.author dc.contributor.author dc.creator 2018/9/17 8

9 整批資料處理 Metadata 瀏覽及查詢匯出 ( 需登入 ) 可一次匯入多個 collection csv 檔結構標題列 :id, collection, action, [metadata_column] 新增 : 在 id 欄位寫 + 修改不需標記, 只需要 id 即可可以只修正部分欄位, 不需修正的欄位不用再次提供刪除 action expunge: 刪除 withdraw: 隱藏 reinstate: 取消隱藏 2018/9/17 9

10 整批資料處理 Metadata 匯入執行方式管理介面有筆數限制, 可設定 ${dspace.dir}/config/module/bulkedit.cfg 管理內容匯入後設資料執行指令 ${dspace.dir}/bin/metadata-import f [file full path] e [eperson ] 2018/9/17 10

11 整批資料處理 Metadata Biblio-Transformation-Engine (BTE) arxiv BibTeX (*.bib) CiNii CrossRef CSV (*.csv) EndNote OAI-PMH PubMed RIS (*.ris) TSV (*.tsv) [dspace]/bin/dspace import -b -m mapfile -e [ ] -c /1 -s path-to-myarxiv-file -i arxivxml 2018/9/17 11

12 整批資料處理 Metadata 及檔案整批上傳 Metadata+ 檔案需選擇特定 collection 內容格式 : DSpace Simple Archive Format (SAF) archive_directory/ item_000/ dublin_core.xml metadata_[prefix].xml contents collections file_1.doc file_2.pdf 2018/9/17 12

13 整批資料處理 Metadata 及檔案匯入執行方式管理介面 : 有檔案大小限制管理 --> 內容 --> 整批上傳執行指令 ${dspace.dir}/bin/metadata-import f [file full path] e [eperson ] 2018/9/17 13

14 整批資料處理 Community & Collection 匯入資料格式匯入指令 <community identifier=" /1"> <name>community Name</name> <description>descriptive text</description> <intro>introductory text</intro> <copyright>special copyright notice</copyright> <sidebar>sidebar text</sidebar> <community identifier=" /2"> <name>sub Community Name</name> <community identifier=" /3">...[ad infinitum]... </community> </community> <collection identifier=" /4"> <name>collection Name</name> <description>descriptive text</description> <license>special licence</license> <provenance>provenance information</provenance> </collection> </community> </import_structure> [dspace]/bin/dspace structure-builder -f /path/to/source.xml -o path/to/output.xml -e 2018/9/17 14

15 舊系統資料移轉 OAI 資料同步安裝 NTUR patch 程式以支援 OAI-ORE (Open Archives Initiative Object Exchange and Reuse) 欄位轉換及對應自動產生所需欄位 dc.date.issued dc.contributor.author dc.relation.journalvolume, dc.relation.journalissue, dc.relation.pages 多值欄位切分 :dc.subject 及 dc.contributor.authorcollection 設定 OAI 來源排程 : 定時與來源資料端同步 2018/9/17 15

16 舊系統資料移轉整批匯出 / 匯入將舊系統資料匯出整理成 CRIS 系統所需資料格式 CSV Metadata DSpace Simple Archive Format 執行匯入管理整批匯入 ( 有檔案大小限制 ) 執行指令 2018/9/17 16

17 資料去重複判斷重複機制 SOLR official de-duplication approach 計算文件特徵, 以判斷其相似度去重時機上傳流程 : 單筆資料重複提醒檢查系統現有重複文件 : 管理內容去除重複重複處理刪除合併忽略檢視及標記後, 系統將不再詢問 2018/9/17 17

18 資料取得介面 (API) REST API 資料物件登入 / 登出物件處理 Community Collection Item Bitstream 查詢所有列表 V V V V 查詢子物件 V V V 查詢單一物件資訊 V V V V 建立物件 V V V V 更新物件及 Metadata V V V V 刪除物件 V V V V 查詢 / 更新存取政策 V V 2018/9/17 18

19 資料取得介面 (API) REST API 執行方式 GET: 查詢 GET /communities/{communityid}/collections - Returns an array of collections of the specified community. GET /items/{item id}/metadata - Return metadata of the specified item. POST: 新增修改刪除登入 POST /items/{item id}/bitstreams - Add a bitstream to the specified item. DELETE /communities/{communityid}/collections/{collectionid} - Delete the specified collection in the specified POST /login - Method for logging into the DSpace RESTful API. You must post User class. Example: {" ":"test@dspace","password":"pass"}. Returns a token which must be included in future requests in the "rest-dspace-token" header. 2018/9/17 19

20 資料取得介面 (API) SOAP WebServices 研究物件存取權限設定資料傳遞架構 WSDL /9/17 20

21 登入授權機制本地端密碼登入 SSO 標準協定 IP 授權 Shibboleth LDAP X.509 [dspace]/config/dspace.cfg plugin.sequence.org.dspace.authenticate.authenticationmethod = org.dspace.authenticate.ipauthentication [dspace]/config/modules/authentication-ip.cfg 客製化外部登入 ip.groupname = iprange[, iprange...] NTUAuthentication 2018/9/17 21

22 資料取用控制資料主體 Communityc Collection Item Bitstream 授權對象 Eperson Eperson Group Anonymous Administrator COLLECTION_XXX_SUBMIT COLLECTION_XXX_WORKFLOW COLLECTION_XXX_ADMIN 存取權限適用日期說明適用物件 READ 讀取 Community WRITE 寫入 / 編輯 Collection ItemBitstream ADD/REMOVE 新增 / 刪除 WORKFLOW XX ADMIN 審核管理 DEFAULT_ITEM_READ 預設讀取文件 Collection DEFAULT_BITSTREAM_READ WITHDRAWN_READ 預設讀取檔案讀者隱藏文件 2018/9/17 22

23 資料取用控制一般使用者權限設定 Collection 上傳權限 :COLLECTION_XXXX_SUBMIT 上傳後之 item 並無自動給予 WRITE/REMOVE 權限需具有 COLLECTION_ADMIN 以上角色的使用者 ( 群組 ) 才能修改和刪除以版本控制取代文件編輯資料認領 (claim publication) 資料存取申請 (request a copy) 向原上傳者申請資料存取權限 2018/9/17 23

24 統計與計量 Google analytics ${dspace.dir}/config/dspace.cfg [ui].google.analytics.key key.googleapi.maps 紀錄項目系統介面中的使用活動紀錄外部導入的瀏覽及檔案下載統計資料 (Google Events) 2018/9/17 24

25 統計與計量 SOLR 統計 Log 分析相關設定 ${dspace.dir}/config/modules/solr-statistics.cfg ${dspace.dir}/config/modules/usage-statistics.cfg 前端使用統計每一物件資料及每一階層, 皆可獲取統計資料統計項目 Total page visits (all time) Total Visits per Month File Downloads (all time)* Top Country Views (all time) Top City Views (all time) 2018/9/17 25

26 統計與計量後端統計報表瀏覽及上傳, 下載次數查詢語句統計 WORKFLOW 統計使用者登入授權次數 OAI Requests 計算區間全部次數每月次數可設定統計報表存取權限 2018/9/17 26

27 導入新系統前的思考. 組織單位架構設計 Metadata 資料定義與新舊格式對應權威資料欄位規劃全新開始的統計資料 2018/9/17 27

28 2017/11/24 28 感謝聆聽敬請指教

14 卷 1 期 ( 民國 99 年 3 月 ) 頁 3-15 The Development of Institutional Repository in Taiwan Hsueh-hua Chen University Librarian, National Taiwan University

14 卷 1 期 ( 民國 99 年 3 月 ) 頁 3-15 The Development of Institutional Repository in Taiwan Hsueh-hua Chen University Librarian, National Taiwan University Library Professor, Department of Library and Information