反爬虫监控

1.背景

最近导师交给我一个任务，要我做一个反爬虫的监控，因此首先了解爬虫反爬虫。

什么是爬虫？简单来说就是利用程序假装用户访问我们的网站接口。

爬虫对我们有什么坏处？首先最基本的高频的爬虫会导致我们数据库压力暴涨，接口qps升高，正常用户访问变慢，也就是爬虫在白用我们的服务器，其次高频的爬虫会影响我们的决策数据，试想公司的数仓全部都是无意义的爬虫数据，根本无法做业务决策，更重要的是，我们网站的核心数据或者自己做好清洗的数据被爬，这些属于业务资产，决不能被白嫖。

如何反爬？反爬思路很多，总体上可以这样理解：通过行为识别出爬虫和用户，实施相应策略做对应处理，最后还需要复盘＋迭代。

2.设计

反爬的重点不是如何拦住爬虫，而是如何识别爬虫。

针对如何识别，我们的重点应该是判断行为是否像正常用户，我们可以先设计最基础的条件，每小时或每天接口的访问次数大于设定阈值，我们识别为爬虫，这种设计一般只能防止一次性大量爬虫，除此之外还需要设计一些特殊规则，比如针对有些爬虫每小时都持续爬数据，我们可以识别为爬虫，或者有些接口是一起调用的，但是爬虫会只爬一个接口，我们也可以标记为爬虫。

针对识别后的处理，我们遵循的规则是宁可放过不可错杀，最好不要影响正常用户的体验，因此初期设计的阈值都明显不是正常用户的次数，其次我们还应该设计多级阈值，比如疑似阈值，封号阈值，对不同的疑爬虫做筛选，不同程度处理。

针对处理完的复盘迭代，我们应该记录每次监控日志，并接入oss，将excel存入服务器定时分析改变阈值大小或者处理力度，其次接入钉钉机器人，出现异常迅速报警可以快速处理。

3.代码逻辑

做好设计进入代码编写，这里因为初期接口太多不好处理，第一版首先挑选120个接口分好模块，建表存储接口信息，这样后续可以直接从数据库中查询实时变更的接口列表，提取每个模块下的接口列表用来动态构建sql查询数据仓库，查出来的uid就是访问次数超过阈值的uid，可以做后续日志记录和报警，这是小时级阈值判断流程。

其余是针对很多特殊规则的实现，不过大部分都是sql中做好查询即可。

4.复盘和迭代

测试sql没有问题之后还需要做好复盘和迭代，因为反爬监控不是一朝一夕工程，因此每次输出的日志应该记录下来作为参考，并且可以每天生成excel文件作为决策基础，每天根据excel的数据做封号以及阈值调整。