影刀RPA 网络请求拦截：捕获Ajax数据的正确姿势

title: “影刀RPA 网络请求拦截：捕获Ajax数据的正确姿势”
date: 2026-07-01
author: 林焱

影刀RPA 网络请求拦截：捕获Ajax数据的正确姿势

很多网站的数据不直接写在HTML里，而是页面加载完后通过Ajax异步请求获取。直接抓HTML拿不到数据，用XPath也定位不到。这时候要拦截网络请求，直接拿API返回的JSON，比解析HTML干净100倍。

什么情况用什么

必须用请求拦截的场景：

• 页面数据通过异步Ajax加载，HTML里只有骨架

• 商品价格、库存、评论等数据是动态渲染的

• 分页数据通过XHR请求获取，URL不变只换参数

• 想拿到完整未经截断的原始数据

普通页面抓取就够的场景：

• 数据直接写在HTML里（服务端渲染）
• 只需要静态文本内容

怎么做

方法1：监听网络响应（最常用）

启动浏览器时开启网络监听，捕获特定URL的响应数据。

【影刀操作】

1. 新建流程「拦截Ajax数据」
2. 添加【Python】指令（先要找到目标请求URL）

   # 思路：先用浏览器开发者工具（F12→Network）# 过滤XHR/Fetch类型的请求# 找到包含目标数据的那个请求URL# 记录下URL和请求参数print('请先用开发者工具分析目标网站的网络请求')

3. 添加【打开网页】指令
   • URL：https://目标网站.com
   • 开启请求监听：是
4. 添加【Python】指令（Playwright方式拦截）

   importjson captured_data=[]# 监听响应事件defhandle_response(response):# 只处理包含目标数据的接口if'api/product/list'inresponse.url:try:data=response.json()captured_data.append(data)print(f'捕获到数据：{len(data.get("data", {}).get("list", []))} 条')except:passpage.on('response',handle_response)# 触发页面操作，让Ajax请求发出去page.goto('https://目标网站.com/products')page.wait_for_load_state('networkidle')# 取消监听page.remove_listener('response',handle_response)# 保存到变量yda.set_variable('raw_data',json.dumps(captured_data,ensure_ascii=False))print(f'共捕获{len(captured_data)}次响应')

方法2：直接重放API请求

分析到目标接口后，不通过浏览器，直接用Python发HTTP请求，效率更高。

【影刀操作】

1. 添加【Python】指令

   importrequestsimportjson# 从浏览器开发者工具里复制的请求头（右键请求→Copy as cURL→转换成Python）headers={'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36','Referer':'https://目标网站.com/products','Cookie':'your_session_cookie_here','X-Requested-With':'XMLHttpRequest'}all_data=[]page_num=1whileTrue:params={'page':page_num,'pageSize':20,'category':'electronics'}resp=requests.get('https://目标网站.com/api/product/list',headers=headers,params=params,timeout=10)result=resp.json()items=result.get('data',{}).get('list',[])ifnotitems:breakall_data.extend(items)print(f'第{page_num}页，获取{len(items)}条，累计{len(all_data)}条')page_num+=1# 判断是否还有下一页total_pages=result.get('data',{}).get('totalPages',1)ifpage_num>total_pages:breakyda.set_variable('product_list',json.dumps(all_data,ensure_ascii=False))print(f'采集完成，共{len(all_data)}条数据')

方法3：拦截并修改请求（高级用法）

不只是监听，还能修改请求参数或响应内容。

【影刀操作】

# 拦截请求并修改参数defhandle_route(route):request=route.requestif'api/search'inrequest.url:# 修改请求，去掉某个限制参数new_headers=dict(request.headers)new_headers['X-Page-Size']='100'# 强制每页100条route.continue_(headers=new_headers)else:route.continue_()page.route('**/*',handle_route)page.goto('https://目标网站.com/search?keyword=test')

有什么坑

坑1：接口有签名校验

很多电商网站的接口带有sign参数，是时间戳+密钥的MD5，直接重放会报"签名错误"。

分析思路：

• 在Network里找到请求，看sign参数的规律
• 搜索页面JS源码里sign的生成逻辑（全局搜索"sign ="）
• 用Python复现签名逻辑

坑2：接口需要登录态才能访问

没带登录Cookie，接口返回401或者空数据。

解决方法：参考Cookie管理那篇，先登录获取Cookie，在请求头里带上Cookie。

坑3：数据量太大，响应超时

一次性请求几千条，服务器超时或者返回错误。

解决方法：分页请求，每页不超过50条，在请求间加0.5-1秒随机延时。

坑4：动态加密的接口参数

有些接口的参数经过加密，Base64或者AES加密，直接看不出规律。

解决方法：这类接口用Selenium/Playwright直接操作浏览器更省事，别死磕接口逆向。

总结

网络请求拦截能拿到比HTML解析干净得多的结构化数据。核心流程：开发者工具分析接口 → 找到目标请求URL和参数 → 用Python直接重放 → 处理分页和异常。掌握这个技能，80%的动态网站数据采集问题都能解决。