bestlong 怕失憶論壇

標題: Scrapy - 用 Python 寫的 Web Crawler (網站爬蟲) 框架 [打印本頁]

---

作者: bestlong    時間: 2010-9-21 16:08     標題: Scrapy - 用 Python 寫的 Web Crawler (網站爬蟲) 框架

2010-9-21 16:10 上傳

下載附件 (8.62 KB)

Scrapy 是一個快速的高級別屏幕抓取和網頁抓取框架，用來抓取網站的結構化數據和提取自己的網頁。 可用於範圍廣泛的用途，從數據挖掘技術監測和自動化測試。



下圖為 Scrapy 的架構概念圖，其中綠線表達資料在各個元件的流動方向

2010-9-24 11:36 上傳

下載附件 (63.9 KB)

圖片來源 http://doc.scrapy.org/topics/architecture.html

Scrapy
Scrapy Blog
Scrapy Snippets
Scrapy Recipes
Scrapy 在 Google 的討論區

圖片附件: scrapy-logo.png (2010-9-21 16:10, 8.62 KB) / 下載次數 277
http://www.bestlong.idv.tw/forum.php?mod=attachment&aid=MTY2fGFiMGE3MDIxfDE3NTAwNjUxODh8MA%3D%3D



圖片附件: scrapy_architecture.png (2010-9-24 11:36, 63.9 KB) / 下載次數 283
http://www.bestlong.idv.tw/forum.php?mod=attachment&aid=MTY3fGJkYjJmMDhifDE3NTAwNjUxODh8MA%3D%3D

---

歡迎光臨 bestlong 怕失憶論壇 (http://www.bestlong.idv.tw/)

Powered by Discuz! X1.5