PowerPoint Presentation

Size: px

Start display at page:

Download "PowerPoint Presentation"

瞻妥逄
5 years ago
Views:

1 網路與資訊科技 PART III -- SEARCH ENGINE Search Engine, Google

2 Outlines Introduction to information retrieval (search engine) Google Power You 搜尋引擎大戰 (The War of Search Engines)

3 Motivation Information Retrieval (IR) deal with The representation, storage, organization of, and access to information items based on the user information need. Information need: One or several sentences including complex descriptions such as event, place, time, people, 找成大附近有賣拉麵的餐廳 Translated into a query submitted to IR systems A set of keywords (indexed terms or phrases) summarizes the information need 成大拉麵餐廳 Goal: retrieve information which might be useful or relevant to the user s information need

4 Information versus Data Retrieval Data Retrieval: determine a set of records contain query keywords Data corpus is well structured data Exact match 找出上個月同時買個人電腦和印表機的客戶 Information Retrieval: determine a set of documents which are relevant to the query Data corpus is no always well structured Proximity match 考慮語法, 語意找出這兩個禮拜討論王建民相關的新聞報導

5 Indexing for Chinese Texts(I) Treat each web page as an entity, one can index them by characters: 陳 p 1, p 5, p 9, p 13, 水 p 4, p 5, p 10, p 13, p 20, 扁 p 5, p 8, p 13, p 25, If someone wants a page containing 陳水扁, he might find it in p 5, p 13 However, he could also get a page with 陳萬水乘坐扁舟

6 Indexing for Chinese Texts(II) Indexing by two characters (bi-gram) 陳水水扁 p5, p54, p125, p54, p89, p236, However, if someone wants 台大, he could get 這台大冰箱 There are also many other problems: Synonyms 阿扁, 陳總統, 台灣大學, 臺灣大學 Misspelling 程總統 Semantics 陳萬水的先生 Logic 這篇文章完全沒有提到陳水扁

7 向量模型範例查詢含有陳水扁, 連戰和宋楚瑜的新聞報導陳水扁 d4 d2 d6 d5 d1 d3 d7 連戰陳水扁連戰宋楚瑜查詢 dj d d d d d d d 查詢宋楚瑜

8 GOOGLE POWER YOU

9 David s story, again A big news for Internet guys on Google IPO ($85) Google Stock

10 Google 的涵義 Google 是由英文字裡的 googol 而來, 是美國數學家 Edward Kasner 的外甥 Milton Sirotta 隨便造的一個詞, 代表 1 後面在加 100 個零的數字 Google 使用這個龐大的數字代表公司想征服網上無窮無盡資料的雄心 -- from Google Google's mission: Organize the world's information and make it universally accessible and useful. 我們目前所見所有恆星裡的所有原子總數不會超過 1 googol!

Google briefing 數位時代 71 期 2004 1999 第一個客戶 Red Hat 每日查詢數 >2 億次, 一半以上來自美國以外索引 8,058,044,651 億個網頁, 約 8

種語言 Larry Page Sergey Brin S. Brin, L. Page. The anatomy of a large-scale hypertextual Web search engine.

11 Google briefing 數位時代 71 期第一個客戶 Red Hat 每日查詢數 >2 億次, 一半以上來自美國以外索引 8,058,044,651 億個網頁, 約 8 兆字一分鐘讀一網頁, 要年才能全讀完 Search engine knowledge repository 超過一萬台伺服器, 分散在五個不同地區電腦機房 Google 支持多達 132 種語言 Larry Page Sergey Brin S. Brin, L. Page. The anatomy of a large-scale hypertextual Web search engine. Proc. of 7th World Wide Web Conference Online at

12 Yahoo 背景比較. 創辦人為楊致遠 ( 華裔 ) 與費羅. 雅虎公司正式成立於 1995 年. 雅虎公司是全球第一個提供網路導覽服務的網站. 是分類索引的始祖. 提供階層式的選項目錄

13 如何在網路泡沫年代下生存? 靠的是? 三大能力 Search Search Search

14 這果然是個知識經濟的時代! What do you think in the era of Yahoo? 打敗哥利亞巨人的矛和盾技術專注 This is why portal sites lose? Paper in WWW 98 is cited 5xx times, ranked 8th after (citeseer) David Gloria Facebook David?

15 Google s PageRank, 一個集合眾人意見的網頁排名技術 Google 除了使用關鍵字或交叉搜尋技術外, 還有先進的 PageRank(tm) 網頁排行專利技術, 可以保證將最重要的網頁排在查詢結果的最前面 PageRank 使用網頁的連結架構如同組織工具一樣簡單來說,Google 說明網頁 A 連結至網頁 B 時, 則視為網頁 A 投給網頁 B 一票 Google 是藉由收到的票數來評估網頁的重要性 Google 也會分析參予投票的網頁 Google 這種複雜自動的搜尋方法可避免人為感情因素與其它的搜尋引擎不同的是,Google 已將系統架構完善, 因此沒有人可以透過購買的方式, 來取得較高的搜尋結果順序或在商業動機上更改搜尋的結果 Google 透過誠實並且客觀的搜尋方法, 能容易地找到優質的網站 (?) Seqoia 比 PageRank 厲害!!

16 How to survive under the attacking of Glorias (Yahoo, MSN, )? Forrester: Google To Weaken As War Rages 2004/3/8 Market Capitalization $50.8 billions (Oct. 2004) $47.9 billions for Yahoo

17 Google Power You, 搜尋無所不在 -- Google Special Services Google Local News Search Many issues for Information Extraction Froogle 商品搜尋 Ebay, Amazon 剋星

18 Google Power You, 搜尋無所不在 -- Google Labs On the way Google Scholar Google Sets Personalized Web Search Web Alerts Froogle Wireless Google Deskbar 微軟剋星 Google Webquotes Voice Search Chrome, G-Phone, Google OS.

19 The war of search engines Yahoo! 搜尋擊敗蟬連 4 次最佳搜尋引擎的 Google, 抱回最佳搜尋引擎大獎 -- Search Engine Watch, 2005 March. Microsoft recently hired Gary Flake, a principal scientist at Yahoo Research Labs and former head of research in its Overture Services division. Yahoo focuses on research CNET news 2005/4/12 Yahoo doesn't want Google to get all the acclaim as the hotbed of innovation on the Web.

20 Want to be another David? stand on his shoulder first There are still plenty of open challenges at Google," says Monika, and there's plenty of interesting work to be done. Monika Henzinger: Research Director, Google Inc. SIGIR 98 from DEC Key components are our niche 網擎資訊 (Openfind)3/2 正式揭露了 2004 年度的營收達到新臺幣 1 億元, 網擎資訊副總經理廖長健表示, 根據該公司目前的布局來看,2005 年可望有 30% 的營收成長, 每股盈餘則可望上看 2 元雲義科技 (ibtex) 去年 EPS 約 2~3 元龍捲風

21 Search Engine 以往的資料查詢方式 ( 目錄式查詢 ):. 例子?

22 Search Engine (cont.) 現今的資料查詢方式 ( 索引式查詢 ):. 僅需要使用者輸入一個 Query 即可獲得資訊. 例子?

23 Search Engine (cont.) 原理架構 : 1. 分類式搜尋引擎 : 很多資訊人工分類很多目錄類別 User

24 Search Engine (cont.) 2. 索引式搜尋引擎 : Crawler 存入資料庫從網路上一直收集很多資訊索引比對輸入 Query Search Engine 相關資訊

25 Search Engine (cont.) 一些使用者可以常利用的小技巧 : 1. 基本技巧 : + : 就是 and 的意思, 希望某幾個字串同時出現 ( 可以不要打 + 用空格取代 ) ex: - : 就是 not 的意思, 希望某些字串不要出現 ex: or 成功和大學都要出現希望成功這個字出現, 但是不要出現大學這個字

26 縮小搜尋範圍關鍵字前後以引號包圍假期加入其他關鍵字使用布林邏輯實例世界貿易中心 Jordan AND NOT Michael

27 Search Engine (cont.) 希望某個字串完整出現的話, 要在字外面加上 ex:

28 Search Engine (cont.) 2. 進階技巧 : site: 結果侷限在某個具體網站或者網域 ex: 想要在成功大學網站找學務處這個相關資訊

29 Search Engine (cont.) link: 所有鏈接到某個 URL 地址的網頁 ex: 想要找出所有有連結到成功大學的網頁

30 Search Engine (cont.) 3. 特殊功能 : filetype:pdf : 想查詢某方面的 pdf 檔 (Google 上使用 ) ex: 想查詢有關 computer 的 pdf 檔

31 Search Engine (cont.) 把 google 當成是一個計算機 ex:

32 Take-home Quiz 1. 請想像一個新的 Web2.0 應用, 並說明其新奇之處和獲利方式 2. 請舉出一個電腦網路 ( 或是 Web) 影響人類文明發展的現象, 並說明原因和其利弊. 請將答案寫在 A4 紙上 ( 一題最多一張 ) 這兩題視同考題, 請於 12/7 當天連同考試答案卷一起繳交逾期零分計算

UDC The Design and Implementation of a Specialized Search Engine Based on Robot Technology 厦门大学博硕士论文摘要库

10384 200128011 UDC The Design and Implementation of a Specialized Search Engine Based on Robot Technology 2004 5 2004 2004 2004 5 World Wide Web Robot Web / (Focused Crawling) Web Meta data Web Web I