轉信站: GIBBS!news2.ncku!ee_ncku
Origin: bbs.ee.ncku.edu.tw


如果您是 FTP 的管理者, 想要針對您的 FTP server 提供搜尋功能,
或是您很喜歡 Archie, GAISFtp 的服務, 可惜它卻沒有針對您常用的 FTP 作索引
或是您想自己建立一個 FTP search engine, 以便自己的 FTP server 能出現在
比較前面的地方 :)

那麼您可以試試看 FtpLocate 2.00...

一個專業級的 FTP 搜尋引擎, 400 萬筆資料平均搜尋時間不到 3 秒
除了提供一般的檔名搜尋外, 提供說明搜尋功能,
不知道檔名也可以搜尋所要的檔案...

網頁 http://ftp.ee.ncku.edu.tw/ftplocate/
試用 http://ftp.ee.ncku.edu.tw/cgi-bin/ftplocate/flsearch.pl (檔名搜尋)
     http://ftp.ee.ncku.edu.tw/cgi-bin/ftplocate/dsearch.pl  (說明搜尋)
下載 ftp://ftp.ee.ncku.edu.tw/pub/ftplocate-2.00.tar.gz

歡迎大家使用...

unixer


系統介紹
=========
FtpLocate 是一個以 Perl 寫成的 FTP 搜尋引擎, 有下列特點

1. 可以索引多個 FTP 站台,
   每個 FTP 站台所用的 username, password, 與索引目錄可分別指定

2. 速度極快, FtpLocate 使用 Glimpse 進行索引.
   在四百萬筆記錄中尋找所要的檔案平均不到 3 秒鐘

3. 安裝十分容易

4. 提供兩種搜尋方式
   a.對檔案名稱進行搜尋
     查詢結果會以站台來分類, 並且離使用者最近的站台的相關結果會
     最先被顯示出來(距離的判斷方式是根據 domain name).
     除了檔名, 檔案大小與檔案時間外, 如果系統資料庫中找得到檔案說明
     的話也會一併列出.
   b.對檔案說明進行搜尋
     使用者可以在不知道檔案名稱的情況下尋找他所要的檔案.
     例如: 以 windows;ftp;server 為關鍵字進行查詢可以找到 windows 平台下
     所有的 ftp server 程式. 顯示結果時, 相同說明的檔案會被放在同一組列出

5. 同時提供 Web 界面版本與文字界面版本, Web 版本是一組CGI 程式,
   文字版本則相當於是一簡單的 Web Client, 使用 http 通訊協定與 CGI 程式溝通

6. 支援透過三種方式來收集檔案列表

   a.direct
     透過將 'ls -lR' 命令傳送到遠端 FTP server 取得其檔案列表
   b.file
     透過取得遠端 FTP server 上的 ls-lR 或是 ls-LR.gz 檔案來得到檔案列表
   c.網址 http://other.ftplocate/cgi-bin/ftplocate/flserv.pl
     透過向其它 FtpLocate server 要求取得其資料庫中的檔案列表,
     這種方式特別適用在索引的 ftp server 離你的 FtpLocate server 很遠的情形

   註: FtpLocate server 間的檔案列表傳送使用的是標準的 http 協定, 也支援 proxy
       只要將 http_proxy 這個環境變數設定成 'http://your_proxy_server:3128/' 即可

7. 針對被索引的站台會產生統計資料, 列出各站台的目錄個數, 檔案個數, 容量大小,
   平均大小等, 並可根據特定項目排序列出

8. 會產生在 Internet 上的 FtpLocate server 的地圖.
   每部 FtpLocate server 會向 Master server 註冊自己的網址,
   並且由 master server 處取得所有 FtpLocate server 的列表

9. 會儲存使用者的查尋結果, 以提高重覆查詢的速度

10.會產生使用者熱門查詢列表, 並且提供一個 fltrain.pl 程式,
   能夠在每次重新索引資料後, 將熱門查詢結果建到快取之中以提高快取擊中率

11.會產生查詢歷史記錄列表

12.查詢結果會以 100 筆資料為一頁分頁輸出, 使用者不必等待大量結果傳送
   完成即可看到所要的資料

13.為了縮短資料搜集與資料索引所造成的服務暫停的時間,
   資料收集與資料索引分別由不同的程式負責.
   在資料收集階段, 系統運作不受影響. 只有在資料索引階段系統才會暫停服務.

註:相對於資料搜集所要花的時間, 資料索引所需的時間很短,
   也就是說在大多數時間 FtpLocate 搜尋引擎可以正常對外提供服務.


範例
====
我們曾經用 Celeron450/256MB RAM 的機器對 TANET 的 27 個 FTP 站臺進行索引,
全部有 924322 個目錄, 3823568 個檔案, 共佔 1064 GB.

從這 27 個 FTP 站台搜集檔案列表所花的時間約為 5 小時, 資料量 410MB
索引這些檔案列表需時 30 分鐘, 索引檔大小共 18MB

在完成檔案列表索引後, 我們利用他取得說明檔的檔案名稱列表.
目前我們的程式認得的說明檔種類有 Linux 的 lsm, FreeBSD 的 package index,
Simtel 00index 和 RFC index.
如果說明檔格式不屬於以上幾種, 則程式會試著抓出說明檔中有意義的部份.

搜集說明檔所花時間為 2 小時, 抓回的說明檔資料共佔 34MB
解讀說明檔並建立索引需時 5 分鐘, 索引檔大小共 9 MB

在這個例子中, 大部份的搜尋都可在 3 秒內完成

註: 上例所說的 FtpLocate 搜尋引擎網址在
    http://ftp.ee.ncku.edu.tw/cgi-bin/ftplocate/flsearch.pl
    http://ftp.ee.ncku.edu.tw/cgi-bin/ftplocate/dsearch.pl
註: http://ftp.ee.ncku.edu.tw 是一個完全 Web 化的 FTP 站台,
    80 GB 硬碟, 提供各類 FreeBSD/Linux/Java/Perl/Window/RFC/FAQ 檔案下載
    歡迎參觀...:)


系統需求
========
一般的 Unix 作業系統
Perl 5.005 或更新版本
Apache 或是其他可以執行 CGI 的 Web 伺服器
Glimpse 4.1 (一個由 cs.arizona.edu 發展的極佳索引工具)

註: FtpLocate 當初是在 FreeBSD 3.1 版, Perl 5.00502, Apache 1.3.4 和
    Glimpse 4.1下發展的


2.00 新增功能
=============
1.更模組化的設計
2.可以指定各個 Ftp 站台所要用 username, password 與索引目錄
3.新增自動安裝程式, 簡化安裝過程
4.檔案列表可以直接來自 ftp server, 來自 ftp server 上的 ls-lR 檔案
  或是來自其它 FtpLocate server
5.新增地圖功能, 能夠顯示其它 FtpLocate server 的資訊
6.文字版 server 改成 CGI 程式, 文字版 client 現在像是一個簡單的 Web browser
7.修正資料收集時的 ftp timeout 問題
8.修正使用者查詢時的 DNS timeout 問題

有關安裝等其他說明請看網頁說明
--
※Origin:§國立成功大學電機系BBS§ <bbs.ee.ncku.edu.tw> From:[garfield.ee.nck]