Python 爬虫项目 asyncio 协程异步抓取多页面公开资讯

前言

在海量多页面公开资讯采集场景中，传统多线程爬虫受线程调度开销、系统线程数量上限等因素制约，面对上百甚至上千个资讯页面并发抓取时，性能提升逐渐遇到瓶颈。协程作为 Python 高并发编程的主流技术，依托单线程实现多路 IO 复用，无需承担线程创建、切换的系统开销，在网络 IO 密集型的爬虫业务中具备得天独厚的优势。asyncio 是 Python 官方提供的异步 IO 标准库，也是实现协程爬虫的核心基础，结合异步请求组件可构建出吞吐量更高、资源占用更低的资讯采集程序。

本文系统讲解基于 asyncio 协程实现多页面公开资讯异步抓取的全流程，从底层原理、环境部署、代码实战、调优方案到故障排查逐层展开。文中使用的核心开发库均附上官方访问链接，便于开发者查阅文档、版本适配与功能拓展：

1. asyncio（Python 内置异步 IO 库，官方文档）
2. aiohttp（异步 HTTP 请求库，官方文档）
3. aiolimiter（异步限流库，官方文档）
4. lxml（HTML/XML 解析库，官方文档）
5. json（Python 内置 JSON 处理库，官方文档）

资讯类页面具备链接数量多、单页面请求耗时短、页面结构统一的特征，与协程异步模型高度适配。本文结合真实资讯采集业务场景，落地可直接运行的工程代码，同时拆解每一段代码的运行逻辑与底层机制，帮助开发者理解协程爬虫与传统线程爬虫的本质区别，掌握异步爬虫的开发、调优与落地能力。

一、协程异步爬虫核心理论基础

1.1 并发模型横向对比

网络爬虫属于典型的 IO 密集型任务，程序绝大部分运行时间都处于等待网络响应、数据读写的状态，不同并发模型在该场景下的表现差异显著。结合资讯抓取的业务特征，将串行、多线程、协程三种主流模型进行全方位对比，如下表所示：

表格

从表格可以明确看出，当采集页面数量达到数十页、上百页的多页面资讯场景时，协程模型的优势会全面显现。单线程承载数百个协程并发执行，不会触发系统线程资源瓶颈，同时极小的切换开销能够进一步压缩整体采集耗时。

1.2 asyncio 协程核心运行原理

协程并非操作系统层面的线程或进程，而是由 Python 解释器调度的用户态轻量级执行单元，asyncio 库则承担了协程调度、事件循环管理、异步任务编排的核心工作。其核心运行机制可分为四个核心部分：

第一，事件循环。事件循环是 asyncio 的调度核心，相当于协程的 “总指挥”。程序启动后会创建唯一的事件循环对象，所有协程任务都会注册到事件循环中。事件循环持续轮询所有任务，一旦某个协程触发 IO 阻塞（如等待网络请求响应），事件循环会立刻暂停当前协程，切换至其他处于就绪状态的协程继续执行，全程无需操作系统介入。

第二，协程函数与 await 关键字。使用async def定义的函数即为协程函数，调用协程函数不会直接执行函数内部逻辑，而是返回一个协程对象。await是异步编程的阻塞标记，仅能在协程函数内部使用。当代码执行到await语句时，当前协程主动让出执行权，事件循环调度其他任务，直到await对应的异步操作完成，再恢复当前协程继续运行。这也是协程实现 IO 多路复用的关键。

第三，异步任务封装。单纯的协程对象无法被事件循环直接调度，需要通过asyncio.create_task()将协程对象封装为异步任务。任务对象会被纳入事件循环的管理队列，支持任务状态监听、取消、回调等拓展功能，是批量执行多页面抓取任务的基础。

第四，单线程异步特性。Python 的 GIL 全局解释器锁在协程场景下依然存在，但由于协程始终运行在同一个线程中，不存在多线程争抢 GIL 的问题。同时网络 IO 属于外部阻塞操作，阻塞期间 GIL 会主动释放，因此协程可以在单线程下实现真正意义上的高并发。

1.3 异步爬虫语法规范与禁忌

基于 asyncio 开发爬虫，必须严格遵循异步语法规则，混用同步代码会直接破坏异步执行逻辑，导致性能退化至串行水平。核心规范如下：

1. 所有网络请求、文件读写、耗时解析等操作，必须使用异步版本库，禁止在协程内部调用requests、同步文件读写等同步接口；
2. 协程函数内部的阻塞操作必须使用await修饰，未使用await的异步函数会变成 “悬空协程”，无法正常执行；
3. 同步耗时代码（如大规模数据计算）不建议放入协程中，会阻塞整个事件循环，造成所有任务停滞；
4. 批量任务优先使用asyncio.gather()统一编排，该方法可并行执行多个异步任务，并统一收集所有任务执行结果。

1.4 环境依赖安装

本文案例所使用的库中，asyncio、json为 Python 标准内置库，无需额外安装。其余第三方异步库可通过 pip 命令一键安装，适配 Python3.7 及以上版本：

bash

运行

# 安装异步HTTP请求核心库 pip install aiohttp # 安装异步限流工具库，控制并发频率 pip install aiolimiter # 安装HTML解析库 pip install lxml

二、多页面资讯异步抓取整体方案设计

2.1 业务场景与需求定义

本次实战聚焦公开综合资讯多页面采集，模拟主流资讯站点业务逻辑，具体需求如下：

1. 站点结构：包含资讯列表分页（共 20 个分页），每个分页包含 20 条资讯摘要，单站点总计 400 条资讯；
2. 采集目标：抓取每一条资讯详情页的标题、发布时间、作者、正文内容、标签、原始链接六大字段；
3. 非功能性要求：控制异步并发数量，避免高频请求触发站点反爬机制；自动捕获异常任务，保证整体程序不中断；采集完成后统一存储结构化数据。

2.2 整体架构分层

结合异步编程思想与爬虫工程化设计，将整个资讯爬虫划分为五层结构，各层级职责独立、解耦性强：

1. 全局配置层：统一管理请求头、并发数量、超时时间、分页范围、基础域名等固定参数，便于后期维护与参数调优；
2. 异步请求层：基于 aiohttp 创建异步会话，封装通用异步 GET 请求方法，统一处理请求超时、连接异常、状态码校验；
3. 数据解析层：接收异步请求返回的页面源码，使用 lxml 结合 XPath 完成页面数据提取，做数据清洗与格式标准化；
4. 任务调度层：基于 asyncio 事件循环、异步任务、限流组件，批量生成分页任务与详情页抓取任务，管控整体并发节奏；
5. 数据持久化层：汇总所有异步任务的采集结果，完成数据去重、校验，最终将结构化数据落地存储。

2.3 并发控制策略

协程单线程可支持上千级别的并发请求，无节制的高并发会直接触发目标站点的 IP 封禁、验证码拦截、请求限流等反爬策略。本次方案采用双层限流机制保障爬虫稳定性：

1. 全局并发限制：使用 aiolimiter 设置全局最大并发数，限制同一时间内活跃的异步请求数量，资讯类站点推荐并发数设置为 20~50；
2. 任务间隔控制：对分页请求、高频详情页请求添加随机短间隔，模拟自然人浏览行为，进一步降低被识别为爬虫的概率。

三、asyncio 协程资讯爬虫完整代码实战

3.1 全量可运行代码

python

运行

import asyncio import aiohttp import random from aiolimiter import AsyncLimiter from lxml import etree import json # ===================== 全局配置区 ===================== # 模拟浏览器请求头 REQUEST_HEADERS = { "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36", "Accept": "text/html,text/plain,*/*", "Accept-Encoding": "gzip, deflate", "Accept-Language": "zh-CN,zh;q=0.9" } # 异步请求超时时间，单位：秒 REQUEST_TIMEOUT = aiohttp.ClientTimeout(total=15) # 全局异步限流：最大并发40个请求 GLOBAL_LIMITER = AsyncLimiter(max_rate=40, time_period=1) # 资讯站点基础域名 BASE_DOMAIN = "https://news.example.com" # 分页范围：第1页至第20页 PAGE_START = 1 PAGE_END = 20 # 存储最终采集结果 NEWS_RESULT = [] # ===================== 异步请求封装 ===================== async def async_fetch(session: aiohttp.ClientSession, url: str) -> str | None: """ 通用异步请求函数 :param session: aiohttp异步会话对象 :param url: 目标请求链接 :return: 页面HTML源码，请求失败返回None """ async with GLOBAL_LIMITER: try: async with session.get(url, headers=REQUEST_HEADERS, timeout=REQUEST_TIMEOUT) as resp: if resp.status != 200: print(f"请求异常，链接：{url}，状态码：{resp.status}") return None # 读取页面文本内容，指定编码 html = await resp.text(encoding="utf-8") # 随机休眠0.1~0.3秒，模拟人为浏览间隔 await asyncio.sleep(random.uniform(0.1, 0.3)) return html except aiohttp.ClientError as e: print(f"网络连接异常 {url}：{str(e)}") return None except asyncio.TimeoutError: print(f"请求超时 {url}") return None except Exception as e: print(f"未知异常 {url}：{str(e)}") return None # ===================== 页面数据解析 ===================== def parse_list_page(html: str) -> list: """ 解析资讯列表分页，提取所有详情页链接 :param html: 列表页HTML源码 :return: 详情页URL列表 """ detail_url_list = [] if not html: return detail_url_list tree = etree.HTML(html) # XPath匹配资讯条目链接，根据实际页面调整表达式 raw_links = tree.xpath('//div[@class="news-item"]/a/@href') for link in raw_links: if link.startswith("/"): full_link = BASE_DOMAIN + link else: full_link = link detail_url_list.append(full_link) return detail_url_list def parse_detail_page(html: str, url: str) -> dict | None: """ 解析资讯详情页，提取核心资讯字段 :param html: 详情页HTML源码 :param url: 详情页链接 :return: 结构化资讯字典，解析失败返回None """ if not html: return None try: tree = etree.HTML(html) # 提取各字段，设置默认值防止数据缺失报错 news_title = tree.xpath('//h1[@class="news-title"]/text()')[0].strip() if tree.xpath('//h1[@class="news-title"]/text()') else "无标题" news_author = tree.xpath('//span[@class="author"]/text()')[0].strip() if tree.xpath('//span[@class="author"]/text()') else "匿名作者" news_time = tree.xpath('//span[@class="publish-time"]/text()')[0].strip() if tree.xpath('//span[@class="publish-time"]/text()') else "未知时间" news_tag = ",".join(tree.xpath('//div[@class="news-tag"]/span/text()')).strip() if tree.xpath('//div[@class="news-tag"]/span/text()') else "无标签" news_content = "".join(tree.xpath('//div[@class="news-content"]//text()')).strip() if tree.xpath('//div[@class="news-content"]//text()') else "无正文" news_data = { "news_url": url, "news_title": news_title, "news_author": news_author, "news_time": news_time, "news_tag": news_tag, "news_content": news_content } return news_data except Exception as e: print(f"详情页解析失败 {url}：{str(e)}") return None # ===================== 异步任务函数 ===================== async def crawl_detail_news(session: aiohttp.ClientSession, detail_url: str): """ 单条资讯详情页抓取任务 """ html = await async_fetch(session, detail_url) news_data = parse_detail_page(html, detail_url) if news_data: NEWS_RESULT.append(news_data) print(f"资讯采集完成：{news_data['news_title']}") async def crawl_list_page(session: aiohttp.ClientSession, page_num: int) -> list: """ 单个资讯列表分页抓取任务 """ list_url = f"{BASE_DOMAIN}/list?page={page_num}" print(f"开始抓取列表分页：第{page_num}页") html = await async_fetch(session, list_url) detail_urls = parse_list_page(html) print(f"第{page_num}页获取到{len(detail_urls)}条资讯链接") return detail_urls async def main(): """ 程序主入口，协程总调度函数 """ # 创建异步会话，全局复用TCP连接，提升请求效率 async with aiohttp.ClientSession() as session: # 1. 批量创建列表页任务，抓取所有分页的资讯链接 list_tasks = [] for page in range(PAGE_START, PAGE_END + 1): task = asyncio.create_task(crawl_list_page(session, page)) list_tasks.append(task) # 并行执行所有列表页任务，汇总全部详情页链接 all_detail_urls = await asyncio.gather(*list_tasks) # 扁平化二维列表，得到一维链接集合 total_urls = [] for url_list in all_detail_urls: total_urls.extend(url_list) print(f"全部分页解析完成，总计获取{len(total_urls)}条资讯链接") # 2. 批量创建详情页抓取任务 detail_tasks = [] for url in total_urls: task = asyncio.create_task(crawl_detail_news(session, url)) detail_tasks.append(task) # 并行执行所有详情页抓取任务 await asyncio.gather(*detail_tasks) # 3. 数据持久化，保存为JSON文件 with open("资讯采集结果.json", "w", encoding="utf-8") as f: json.dump(NEWS_RESULT, f, ensure_ascii=False, indent=2) print(f"采集任务全部结束，共采集有效资讯{len(NEWS_RESULT)}条，数据已保存至本地文件") # ===================== 程序启动 ===================== if __name__ == "__main__": # 启动事件循环，执行主协程 asyncio.run(main())

3.2 代码模块逐段原理剖析

3.2.1 全局配置模块原理

全局配置模块集中管理爬虫运行的核心参数，实现配置与业务逻辑解耦，是工程化爬虫的基础。REQUEST_HEADERS模拟标准浏览器请求标识，规避基础反爬检测；aiohttp.ClientTimeout统一设置异步请求超时阈值，防止单个请求无限阻塞事件循环；AsyncLimiter实例GLOBAL_LIMITER作为全局限流控制器，作用于每一次网络请求，严格约束单位时间内的并发数量；分页参数划定采集范围，适配分页类资讯站点的通用结构。所有参数集中定义，后期调整并发、超时、采集范围时无需修改业务代码。

3.2.2 异步请求函数 async_fetch 原理

该函数是整个爬虫的网络请求底层，完全基于 aiohttp 异步语法实现。首先通过async with GLOBAL_LIMITER接入限流组件，每一次请求都需要先获取限流令牌，超出并发上限的请求会自动排队等待，从根源上控制请求频率。

aiohttp.ClientSession是异步会话对象，区别于单次请求，全局复用会话可以保留 Cookie、连接池信息，复用 TCP 连接，大幅减少三次握手的网络开销，这也是异步爬虫性能优化的关键点。async with session.get()发起异步 GET 请求，await resp.text()异步读取响应内容，所有 IO 操作均使用await标记，确保阻塞时事件循环可以切换其他协程。

函数内部做了分层异常捕获，分别处理连接错误、请求超时、未知异常，单个链接请求失败不会影响整体任务执行。末尾添加随机短休眠，模拟自然人浏览节奏，降低爬虫特征。

3.2.3 页面解析函数原理

parse_list_page与parse_detail_page属于同步解析函数，这里需要重点说明：lxml 解析 HTML 属于 CPU 轻量级运算，耗时极短，不会阻塞事件循环，因此无需改造为异步函数。函数接收请求返回的 HTML 文本，通过etree.HTML构建文档树，结合 XPath 语法定位页面元素。

代码中对所有 XPath 取值做了判空处理，当页面字段缺失、元素结构变更时，会赋予默认值，避免因索引报错导致程序终止。列表解析负责提取分页内所有资讯详情链接，并将相对路径拼接为完整可访问 URL；详情页解析完成多字段提取，最终封装为字典格式的结构化数据，统一存入结果列表。

3.2.4 分层异步任务调度原理

本案例采用两层任务调度，先抓列表页、再抓详情页，符合分页资讯站点的抓取逻辑。 第一层任务crawl_list_page：遍历所有分页编号，通过asyncio.create_task()将每一个分页抓取逻辑封装为独立异步任务，存入任务列表。最终通过asyncio.gather(*list_tasks)并行执行全部列表任务，gather会等待所有子任务执行完毕，并按任务顺序返回结果，汇总得到全量资讯详情链接。

第二层任务crawl_detail_news：基于上一步获取的所有详情链接，再次批量创建异步任务，并行抓取每一条资讯内容。分层调度的优势在于逻辑清晰，先完成链接采集再执行内容抓取，便于中间环节的数据校验与异常排查。

3.2.5 主函数与事件循环启动原理

main函数使用async def定义，是整个程序的根协程。在主协程内部创建全局ClientSession，保证所有请求复用同一个会话。完成两层异步任务调度后，执行数据落地逻辑。

程序入口处asyncio.run(main())是 Python3.7 + 推荐的事件循环启动方式，该方法会自动创建、运行、关闭事件循环，简化了底层循环操作，同时保证资源正常释放。采集完成后使用内置json库将结构化数据写入本地文件，完成数据持久化。

四、核心技术要点深度解析

4.1 aiohttp 会话复用的性能优势

在异步爬虫中，aiohttp.ClientSession绝对不建议频繁创建和销毁，这是新手最容易出现的错误。每一个ClientSession内部维护了异步连接池，默认会缓存 TCP 连接。HTTP 请求基于 TCP 协议，建立连接需要经过三次握手，断开连接需要四次挥手，频繁创建会话会反复执行连接创建与销毁，消耗大量网络资源。

全局仅创建一个ClientSession并贯穿整个爬虫生命周期，所有异步请求共用连接池，复用已建立的 TCP 通道，省去重复握手的耗时。在大批量页面抓取场景下，会话复用可将整体采集耗时降低 20%~40%，是异步爬虫必须遵循的基础优化规则。

4.2 asyncio.create_task 与 asyncio.gather 工作机制

asyncio.create_task()的作用是将协程对象转换为可被事件循环调度的任务对象，任务创建后会立即加入事件循环队列，进入就绪状态等待执行。批量创建任务并不会立刻执行，仅完成注册操作。

asyncio.gather()接收多个任务对象作为参数，核心特性为并行执行、统一等待、有序返回。调用该方法后，事件循环会并发执行所有传入的任务，直到全部任务执行结束后，gather才会返回结果。返回结果的顺序与传入任务的顺序完全一致，不会因为任务执行快慢打乱顺序，非常适合批量任务的结果汇总。

与之对比，若使用await串行执行任务，协程会退化为串行逻辑，彻底丧失并发能力，这也是批量任务必须使用gather的原因。

4.3 协程爬虫的限流实现方案对比

针对资讯站点的反爬防护，本文使用aiolimiter实现异步限流，除此之外行业内还有两种常用限流方案，三种方案对比如下：

表格

在正式生产环境中，优先选择aiolimiter，兼顾并发效率与限流精度；受限环境下可使用asyncio.Semaphore替代；同步休眠仅用于临时测试，禁止在正式异步爬虫中使用。

4.4 同步代码与异步代码混用风险

协程的核心是非阻塞 IO 切换，一旦在协程内部调用requests、同步文件读写、time.sleep()等同步阻塞代码，整个事件循环会被卡住。因为同步阻塞操作不会主动让出执行权，事件循环无法切换其他协程，所有并发任务都会停滞，异步爬虫直接退化为串行执行。

针对资讯爬虫场景，若需要执行数据统计、复杂解析等同步耗时操作，有两种解决方案：第一，将同步代码放到所有异步任务执行完成后统一运行；第二，使用asyncio.to_thread()将同步代码放入子线程执行，隔离阻塞逻辑，保护主线程的事件循环。

五、常见问题排查与解决方案

5.1 问题一：大量请求连接失败、连接被重置

现象：程序运行后出现大量ClientError异常，链接无法正常访问。原因分析：目标站点开启连接限制，短时间内连接数过多被拒绝；网络不稳定；请求头缺失关键字段。解决方案：下调AsyncLimiter的最大并发数，将并发数从 40 降至 20 以内；补充完整请求头，增加Referer字段模拟页面跳转；开启连接池保活配置，在创建ClientSession时设置连接超时参数。

5.2 问题二：程序运行卡死，无日志输出也不退出

现象：爬虫执行到某一阶段后静止，既不报错也不继续执行。原因分析：存在未设置超时的异步请求，单个请求永久阻塞事件循环；存在悬空协程未被等待；死循环逻辑。解决方案：强制为所有异步请求配置ClientTimeout超时时间；检查所有协程任务，确保全部被await或gather接收；排查代码中无限循环逻辑。

5.3 问题三：采集数据大量缺失，解析结果为空

现象：链接请求成功，但解析后字段全部为默认值。原因分析：目标页面编码非 UTF-8；XPath 表达式失效，站点页面结构更新；页面为动态渲染内容，纯静态 HTML 无数据。解决方案：尝试gbk、gb2312等编码格式读取页面；通过浏览器开发者工具重新校验并修改 XPath 路径；若为动态渲染页面，将 aiohttp 替换为 Playwright 等异步无头浏览器组件。

5.4 问题四：并发数设置越高，采集速度反而越慢

现象：提升协程并发数量后，整体耗时不降反升。原因分析：并发超出目标站点承载上限，站点主动降速、延迟响应；本地网络带宽不足，高并发造成网络拥堵。解决方案：逐步下调并发数，测试站点最优并发阈值；拆分任务批次，分批次执行抓取任务，避免一次性发起海量请求。

六、协程爬虫性能优化进阶方案

6.1 连接池精细化配置

默认的aiohttp.ClientSession连接池参数较为保守，针对大批量资讯抓取场景，可以手动配置连接池参数，提升并发承载能力：

python

运行

# 自定义连接池参数 connector = aiohttp.TCPConnector(limit=50, limit_per_host=20) async with aiohttp.ClientSession(connector=connector) as session: # 执行业务逻辑 pass

limit设置全局最大连接数，limit_per_host设置单个域名最大连接数，根据目标站点特性合理配置，避免连接池耗尽。

6.2 任务分批执行

当资讯链接数量超过 1000 条时，一次性创建数千个异步任务会造成事件循环队列臃肿。可将链接列表拆分为多个子列表，分批次执行gather任务，每批次执行完成后再启动下一批，降低内存与调度压力。

6.3 结果去重与数据校验

资讯站点常会出现重复推送、同源资讯的情况，在数据落地前增加 URL 去重逻辑，基于 URL 做集合去重，剔除重复数据。同时增加字段长度校验，过滤空标题、空正文等无效数据，提升采集数据质量。

6.4 日志系统替代打印输出

生产环境中使用 Python 内置logging模块替代print语句，分级记录信息日志、警告日志、错误日志，同时记录请求链接、异常类型、时间戳，便于线上问题追溯与运维监控。

七、协程爬虫与线程池爬虫选型建议

结合前序线程池爬虫与本文协程爬虫的技术特性，针对资讯、榜单、商品等不同爬虫业务，给出明确的选型标准：

1. 小规模采集（页面数量＜50）：线程池与协程性能差距极小，优先选择代码更易上手的线程池，维护成本更低；
2. 中大规模采集（50＜页面数量＜500）：优先使用 asyncio 协程爬虫，更低的资源开销、更快的采集速度优势明显；
3. 超大规模采集（页面数量＞500）：协程为基础，结合任务分批、分布式架构、代理 IP 池组合使用；
4. 混合业务（IO 任务 + 大量计算任务）：选择多线程池，计算任务与 IO 任务拆分至不同线程，规避协程被同步代码阻塞的问题；
5. 服务器资源受限场景（低配云服务器、嵌入式设备）：强制使用协程，单线程高并发特性可最大化利用有限资源。

八、总结

asyncio 协程异步模型凭借轻量级、高并发、低开销的核心优势，成为多页面公开资讯批量抓取的最优技术方案。本文从理论原理、架构设计、代码实战、问题排查、性能优化多个维度，完整落地了一套工程化协程爬虫。

协程爬虫的核心精髓在于合理使用异步语法、复用异步会话、精准控制并发频率。在实际开发中，开发者需要牢记异步 IO 的运行规则，杜绝同步阻塞代码混用，结合限流、分批、连接池优化等手段，在采集效率与站点反爬规则之间找到平衡。

相较于线程池爬虫，协程爬虫更适合资讯、新闻、分页列表这类页面数量多、IO 密集的业务场景。掌握 asyncio 协程爬虫技术，不仅能够大幅提升数据采集效率，同时也为后续学习 aiohttp 专项异步请求、异步队列、分布式异步爬虫等高阶技术打下扎实基础。本套代码可直接适配绝大多数静态资讯站点，仅需修改请求 URL 与 XPath 解析规则，即可快速完成业务迁移与二次开发。