⭐⭐⭐ Spring Boot 项目实战	⭐⭐⭐ Spring Cloud 项目实战
《Dubbo 实现原理与源码解析 —— 精品合集》	《Netty 实现原理与源码解析 —— 精品合集》
《Spring 实现原理与源码解析 —— 精品合集》	《MyBatis 实现原理与源码解析 —— 精品合集》
《Spring MVC 实现原理与源码解析 —— 精品合集》	《数据库实体设计合集》
《Spring Boot 实现原理与源码解析 —— 精品合集》	《Java 面试题 + Java 学习指南》

摘要: 原创出处 http://www.iocoder.cn/Fight/Distributed-system-based-on-Spring-Cloud-development-encounter-crawler-interface-stolen-brush-how-to-do/ 「芋道源码」欢迎转载，保留摘要，谢谢！

🙂🙂🙂关注**微信公众号：【芋道源码】**有福利：

RocketMQ / MyCAT / Sharding-JDBC 所有源码分析文章列表

RocketMQ / MyCAT / Sharding-JDBC 中文注释源码 GitHub 地址

您对于源码的疑问每条留言都将得到认真回复。甚至不知道如何读源码也可以请教噢。

新的源码解析文章实时收到通知。每周更新一篇左右。

认真的源码交流微信群。

kk-anti-reptile是，适用于基于spring-boot开发的分布式系统的反爬虫组件。

系统要求

基于spring-boot开发(spring-boot1.x, spring-boot2.x均可)
需要使用redis

工作流程

kk-anti-reptile使用基于Servlet规范的的Filter对请求进行过滤，在其内部通过spring-boot的扩展点机制，实例化一个Filter，并注入到Spring容器FilterRegistrationBean中，通过Spring注入到Servlet容器中，从而实现对请求的过滤

在kk-anti-reptile的过滤Filter内部，又通过责任链模式，将各种不同的过滤规则织入，并提供抽象接口，可由调用方进行规则扩展

Filter调用则链进行请求过滤，如过滤不通过，则拦截请求，返回状态码509，并输出验证码输入页面，输出验证码正确后，调用过滤规则链对规则进行重置

目前规则链中有如下两个规则

ip-rule

ip-rule通过时间窗口统计当前时间窗口内请求数，小于规定的最大请求数则可通过，否则不通过。时间窗口、最大请求数、ip白名单等均可配置

ua-rule

ua-rule通过判断请求携带的User-Agent，得到操作系统、设备信息、浏览器信息等，可配置各种维度对请求进行过滤

命中规则后

命中爬虫和防盗刷规则后，会阻断请求，并生成接除阻断的验证码，验证码有多种组合方式，如果客户端可以正确输入验证码，则可以继续访问

验证码有中文、英文字母+数字、简单算术三种形式，每种形式又有静态图片和GIF动图两种图片格式，即目前共有如下六种，所有类型的验证码会随机出现，目前技术手段识别难度极高，可有效阻止防止爬虫大规模爬取数据

接入使用

后端接入非常简单，只需要引用kk-anti-reptile的maven依赖，并配置启用kk-anti-reptile即可加入maven依赖

<dependency>
    <groupId>cn.keking.project</groupId>
    <artifactId>kk-anti-reptile</artifactId>
    <version>1.0.0-SNAPSHOT</version>
</dependency>

配置启用 kk-anti-reptile

anti.reptile.manager.enabled=true

前端需要在统一发送请求的ajax处加入拦截，拦截到请求返回状态码509后弹出一个新页面，并把响应内容转出到页面中，然后向页面中传入后端接口baseUrl参数即可，以使用axios请求为例：

import axios from 'axios';
import {baseUrl} from './config';

axios.interceptors.response.use(
  data => {
    return data;
  },
  error => {
    if (error.response.status === 509) {
      let html = error.response.data;
      let verifyWindow = window.open("","_blank","height=400,width=560");
      verifyWindow.document.write(html);
      verifyWindow.document.getElementById("baseUrl").value = baseUrl;
    }
  }
);

export default axios;

注意

1、apollo-client需启用bootstrap

使用apollo配置中心的用户，由于组件内部用到@ConditionalOnProperty，要在application.properties/bootstrap.properties中加入如下样例配置，(apollo-client需要0.10.0及以上版本）详见apollo bootstrap说明

apollo.bootstrap.enabled = true

2、需要有Redisson连接

如果项目中有用到Redisson，kk-anti-reptile会自动获取RedissonClient实例对象; 如果没用到，需要在配置文件加入如下Redisson连接相关配置

spring.redisson.address=redis://192.168.1.204:6379
spring.redisson.password=xxx

配置一览表

在spring-boot中，所有配置在配置文件都会有自动提示和说明，如下图配置自动提示及说明所有配置都以anti.reptile.manager为前缀，如下为所有配置项及说明

NAME	描述	默认值	示例
enabled	是否启用反爬虫插件	true	true
include-urls	需要反爬的接口列表，以'/'开头，以','分隔	空	/client,/user
ip-rule.enabled	是否启用IP Rule	true	true
ip-rule.expiration-time	时间窗口长度(ms)	5000	5000
ip-rule.request-max-size	单个时间窗口内，最大请求数	20	20
ip-rule.ignore-ip	IP白名单，支持后缀'*'通配，以','分隔	空	192.168.*,127.0.0.1
ua-rule.enabled	是否启用User-Agent Rule	true	true
ua-rule.allowed-linux	是否允许Linux系统访问	false	false
ua-rule.allowed-mobile	是否允许移动端设备访问	true	true
ua-rule.allowed-pc	是否允许移PC设备访问	true	true
ua-rule.allowed-iot	是否允许物联网设备访问	false	false
ua-rule.allowed-proxy	是否允许代理访问	false	false

芋道源码 —— 纯源码解析博客

一个依赖搞定 Spring Boot 反爬虫，防止接口盗刷！