考點6　網(wǎng)絡(luò)搜索技術(shù)
    1．搜索引擎的原理和組成
    (1)搜索引擎的原理
    搜索引擎的原理起源于傳統(tǒng)的信息全文檢索理論，即計算機程序通過掃描一篇文章中的所有詞，建立以詞為單位的排序文件，檢索程序根據(jù)檢索詞在每篇文章中出現(xiàn)的頻率和概率，對包含這些檢索詞的文章排序，最后輸出排序結(jié)果。
    (2)全文搜索引擎功能模塊的組成
    現(xiàn)在的全文搜索引擎一般由搜索器、索引器、檢索器和用戶接口4個部分組成。
    ①搜索器。搜索器也稱為“蜘蛛”、“機器人”或“爬蟲”，實際上是一種基于Web的程序。搜索器在Internet上逐個訪問服務(wù)器來收集信息，它通過請求Web站點上的HTML網(wǎng)頁來采集該 HTML網(wǎng)頁，并建立一個網(wǎng)站的關(guān)鍵字列表。搜索器建立關(guān)鍵字列表的過程稱為網(wǎng)絡(luò)爬行。
    ②索引器。索引器的功能是理解搜索器所搜索的信息，從中抽取出索引項，用于表示文檔以及生成文檔庫的索引表。索引器可使用集中式索引算法或分布式索引算法。索引算法對索引器的性能有很大的影響。一個搜索引擎的有效性在很大程度上取決于索引的質(zhì)量。
    ③檢索器。檢索器的功能是根據(jù)用戶查詢在索引庫中快速地檢索出文檔，進行文檔與查詢的相關(guān)度評價，對將要輸出的結(jié)果進行排序，并實現(xiàn)某種用戶相關(guān)性的反饋機制。網(wǎng)頁檢索器是一個在Web服務(wù)器上運行的CGI(公共網(wǎng)關(guān)接口)程序。
    ④用戶接口。用戶接口的作用是輸入用戶查詢，顯示查詢結(jié)果，提供用戶相關(guān)性反饋機制。用戶接口可以分為簡單接口和復(fù)雜接口兩種。
    (3)目錄導(dǎo)航式搜索引擎和網(wǎng)頁搜索引擎的組成
    目錄導(dǎo)航式搜索引擎的信息搜集系統(tǒng)主要由人工完成，搜索引擎的標引專家依靠手工來搜尋不斷出現(xiàn)的新網(wǎng)站，給每個網(wǎng)站一個標題和大概描述，將其放入相應(yīng)的類目體系中。在頁面上體現(xiàn)為每個類目路徑下排列著的相關(guān)網(wǎng)站，所以也稱為目錄導(dǎo)航。目錄導(dǎo)航式搜索引擎提供兩種查詢接口形式：一種是直接單擊目錄樹，另一種是關(guān)鍵字檢索。
    2．Google和百度搜索引擎
    Google是目前世界上使用率和搜索精度的全文搜索引擎，百度則是全球的中文搜索引擎，兩者分別是國外、國內(nèi)搜索引擎的領(lǐng)頭羊。
    (l)Google的主要技術(shù)
    Google成立于1998年，創(chuàng)始人為美國斯坦福大學(xué)計算機科學(xué)系的兩位博士。Google一詞由英文單詞googol變化而來，表示1后面有100個零的數(shù)字，顯示了Google搜索能力的強大。
    Google的主要技術(shù)有以下幾點：
    ①網(wǎng)頁采集技術(shù)——分布式爬行系統(tǒng)。該系統(tǒng)通常由一個URL服務(wù)器將URL列表提供給網(wǎng)絡(luò)爬行器(Google同時運行3個爬行器)。每個爬行器同時保持大約300個網(wǎng)絡(luò)連接。
    ②頁面等級技術(shù)(Page Rank)。Google是以O(shè)pen Directory Project為類目基礎(chǔ)，開發(fā)了獨樹一幟的Page Rank技術(shù)。
    ③超文本匹配分析技術(shù)。超文本匹配分析技術(shù)是目前搜索引擎中最先進的檢索技術(shù)。
    (2)百度的主要技術(shù)
    百度(www．Baidu．com)于1999年底在美國硅谷成立，創(chuàng)始人是北京大學(xué)的兩位畢業(yè)生李彥宏和徐勇?！鞍俣取币辉~來源于辛棄疾的名句“眾人尋他千百度”。
    ①智能性、可擴展搜索技術(shù)。
    ②智能化中文語言處理技術(shù)。
    ③分布式結(jié)構(gòu)化算法與容錯設(shè)計。
    ④智能化相關(guān)度算法技術(shù)。
    ⑤檢索結(jié)果的智能化輸出技術(shù)。
    ⑥高效的搜索算法和服務(wù)器本地化。
    在檢索功能方面，百度還具有如下的功能：體貼的提示功能、快照功能、專業(yè)的MP3搜索功能、便于用戶交流的“貼吧”功能、百度常用搜索功能等。