用 scrapy + sphinx 搭建搜索引擎

bestlong

用 scrapy + sphinx 搭建搜索引擎

節錄原文當中有將 scrapy 提取的資料存入 MySQL 的設定

定義要抓取的 item 請編輯 apple/items.py:

1. from scrapy.item import Item, Field
   
2. class NovelItem(Item):
   
3.     name = Field()
   
4.     intro = Field()
   
5.     img_url = Field()
   
6.     page_url = Field()

複製代碼

定義爬蟲請編輯 apple/spiders/qidian.py:

1. # -*- coding: utf-8 -*-
   
2. 
   
3. import re
   
4. from scrapy.contrib_exp.crawlspider import Rule
   
5. from scrapy.contrib.loader.processor import TakeFirst, RemoveTag
   
6. 
   
7. from apple.contrib.spider import BaseCrawlSpider
   
8. from apple.items import NovelItem
   
9. from apple.contrib.loader import DefaultXPathItemLoader
   
10. 
    
11. class QidianSpider(BaseCrawlSpider):
    
12.     name = 'qidian'
    
13.     regex_home = r'http://all.qidian.com/$'
    
14.     regex_list = r'bookstore.aspx\?.*ChannelId=-1&.*PageIndex=\d+'
    
15.     regex_item = r'Book/\d+\.aspx$'
    
16.     start_urls = [
    
17.             'http://all.qidian.com/',
    
18.             ]
    
19. 
    
20.     rules = [
    
21.             Rule(regex_home, 'parse_home'),
    
22.             Rule(regex_list, 'parse_list'),
    
23.             Rule(regex_item, 'parse_item'),
    
24.             ]
    
25. 
    
26.     def parse_home(self, response): # {{{
    
27.         links = self.extract_links(response, allow=self.regex_list, restrict_xpaths='.storelistbottom')
    
28. 
    
29.         m = re.search(ur'GoPage.*1/(\d+).*?页', response.body_as_unicode(), re.M)
    
30.         total_page = int(m.group(1))
    
31. 
    
32.         reqs = []
    
33.         for p in range(1, total_page+1):
    
34.             url = re.sub('PageIndex=\d+', 'PageIndex=%d' % p, links[0].url)
    
35.             req = self.make_request(url, priority=self.priority_list)
    
36.             reqs.append(req)
    
37.         return reqs
    
38.     # end def }}}
    
39. 
    
40.     def parse_list(self, response): # {{{
    
41.         reqs = self.extract_requests(response, priority=self.priority_item, allow=self.regex_item)
    
42.         return reqs
    
43.     # end def }}}
    
44. 
    
45.     def parse_item(self, response): # {{{
    
46.         loader = DefaultXPathItemLoader(NovelItem(), response=response)
    
47.         loader.add_xpath('name', 'div.book_info div.title h1')
    
48.         loader.add_xpath('intro', 'div.book_info div.intro div.txt', TakeFirst(), RemoveTag('div'))
    
49.         loader.add_xpath('img_url', 'div.book_pic img/@src')
    
50.         loader.add_value('page_url', response.url)
    
51. 
    
52.         item = loader.load_item()
    
53. 
    
54.         return item
    
55.     # end def }}}
    
56. 
    
57. SPIDER = QidianSpider()

複製代碼

測試爬蟲
编辑写单元测试apple/tests/test_qidian_spider.py:

1. # -*- coding: utf-8 -*-
   
2. 
   
3. import re
   
4. from apple.spiders.qidian import QidianSpider
   
5. from apple.tests.spider_test import SpiderTestCase
   
6. 
   
7. class QidianSpiderTestCase(SpiderTestCase): # {{{
   
8.      def setUp(self):
   
9.          self.spider = QidianSpider()
   
10. 
    
11.      def test_parse_home(self): # {{{
    
12.          url = 'http://all.qidian.com/'
    
13.          reqs = self._parse(url)
    
14.          self.assertGreater(len(reqs), 2000, url)
    
15.          self.assertReMatch('http://.+bookstore\.aspx\?.*ChannelId=-1.*PageIndex=2', reqs[1].url, url)
    
16.      # end def }}}
    
17. 
    
18.      def test_parse_list(self): # {{{
    
19.          url = 'http://www.qidian.com/book/bookstore.aspx?ChannelId=-1&SubCategoryId=-1&Tag=all&Size=-1&Action=-1&OrderId=6&P=all&PageIndex=1&update=-1&Vip=-1'
    
20.          reqs = self._parse(url)
    
21.          self.assertEqual(len(reqs), 100, url)
    
22.          self.assertReMatch(self.spider.regex_item, reqs[1].url, url)
    
23.      # end def }}}
    
24. 
    
25.      def test_parse_item(self): # {{{
    
26.          def test(url, expected):
    
27.              item = self._parse_one(url)
    
28.              self.assertObjectMatch(expected, item, url)
    
29. 
    
30.          url = 'http://www.qidian.com/Book/172.aspx'
    
31.          expected = {
    
32.                  'name': u'女人街的除魔事务所',
    
33.                  'r:intro': u'<br />.*让我深刻体味这可怕的魔鬼吧',
    
34.                  'img_url': u'http://image.cmfu.com/books/1.jpg',
    
35.                  'page_url': url,
    
36.                  }
    
37.          test(url, expected)
    
38.      # end def }}}
    
39. 
    
40. # end class }}}

複製代碼

使用trial进行单元测试:

1. $ trial apple/tests
   
2. apple.tests.test_qidian_spider
   
3.    QidianSpiderTestCase
   
4.      test_parse_home ...                                                    [OK]
   
5.      test_parse_item ...                                                    [OK]
   
6.      test_parse_list ...                                                    [OK]
   
7. ...

複製代碼

存储爬取结果
创建数据库 spiderdb

1. mysql -uroot -e "CREATE DATABASE IF NOT EXISTS spiderdb DEFAULT CHARACTER SET utf8"

複製代碼

建表novel_items存储爬取的item

1. $ mysql -uroot spiderdb < sql/spiderdb.sql
   
2. $ cat sql/spiderdb.sql
   
3. CREATE TABLE IF NOT EXISTS novel_items (
   
4.      id mediumint(9) NOT NULL auto_increment,
   
5.      name varchar(128) NOT NULL,
   
6.      intro text,
   
7.      page_url varchar(256) UNIQUE NOT NULL,
   
8.      img_url varchar(1024),
   
9. 
   
10.      PRIMARY KEY (id)
    
11. ) ENGINE MyISAM;

複製代碼

创建存储pipeline
爬虫返回的Item (QidianSpider.parse_item)，会经过一系列pipeline (可配置)进行处理
下面定义一个将其存储到数据库的pipeline, 编辑apple/pipelines.py:

1. from apple.contrib.store import StoreItem
   
2. 
   
3.   class StoragePipeline(StoreItem):
   
4.       def process_item(self, spider, item):
   
5.           self.store_item(item, spider)
   
6.           return item

複製代碼

配置 item 经过的 pipeline 和存储的数据库和表
在 settings.py 的末尾添加如下内容:

1. ITEM_PIPELINES = [
   
2.       'apple.pipelines.StoragePipeline',
   
3.   ]
   
4.   DB_URL = 'mysql://root:@localhost/spiderdb?charset=utf8&use_unicode=0'
   
5.   DB_TABLE = 'novel_items'

複製代碼

爬取的 Item 都将存到 spiderdb.novel_items 中.