ARTICLE DETAIL

资讯详情

深耕网站建设、视觉设计与SEO优化的一线实战洞察。

Scrapy Pipeline 保存 MySQL 完整代码

Scrapy Pipeline 保存 MySQL 完整代码

依赖:pymysql

pip install pymysql

1. items.py 定义数据模型

import scrapy

class DemoItem(scrapy.Item):

title = scrapy.Field()

url = scrapy.Field()

content = scrapy.Field()

2. pipelines.py MySQL 管道完整代码

3. settings.py 开启管道

ITEM_PIPELINES = {

"myspider.pipelines.MysqlPipeline": 300,

}

优先级数字:数值越小,管道越先执行。如果你同时还有其它 pipeline,注意顺序。

4. spider 中 yield 示例(spiders/xxx.py)

返回列表