之前写了一篇博文，简单的介绍了下如何利用Redis配合Spring搭建一个web的访问计数器，之前的内容比较初级，现在考虑对其进行扩展，新增访问者记录
- 记录当前站点的总访问人数（根据Ip或则设备号）
- 记录当前访问者在总访问人数中的排名
- 记录每个子页面的访问计数，记录站点的总访问计数
推荐博文：
I. 数据结构设计
首先根据上面的几个数据维度进行划分，首先每个站点有自己独立的数据结构，其中访问者记录和每个页面对应的访问计数，肯定是不一样的，下面分别进行说明
1. 访问记录
要求记录每个访问者的IP或者设备号，以此来计算总得访问人数，以及当前的访问者在总得访问人数中的位置
List数据结构是否可行？
- 每次新来一个访问者，需要与所有的访问者进行对比，判断是否是新的访问者，是则插入列表；不是则查出其对应的位置
如果对redis的数据结构有一点了解，会直到有一个ZSet（有序的集合）正好适合这种场景
- 确保不会插入重复的数据，每个数据对应的score就是该访问者的首次访问排序
具体的结构类似
1
2
3
4
5
| -- ip (score)
127.0.0.1 (1)
127.0.0.2 (2)
127.0.0.3 (3)
...
|
2. url计数
依然沿用之前的Hash数据结构，每个应用申请一个APPKEY，作为hash结构的Key，然后field则为具体的请求域名
具体的结构类似
1
2
3
4
5
6
7
8
| appKey: // appKey
blog.hhui.top: 1314 // 站点对应的总访问数
blog.hhui.top/index: 1303 // 具体的页面对应的访问数
blog.hhui.top/about: 11 // 具体的页面对应的访问数
appKey:
blog.hhui.top: 1314
blog.hhui.top/index: 1303
blog.hhui.top/about: 11
|
II. 实现
具体的实现其实没有什么特别需要注意的地方，简单说一下几个关键点，一个是Redis的Hash和Zset两个数据结构的访问修改方法；一个则是如何获取访问者的IP
1. 获取客户端IP
在Spring中如何获取客户端IP呢？因为我个人的服务器是走的Nginx进行反向代理，所以需要在Nginx层添加一行配置，避免将客户端IP吃掉了
在nginx.con的配置中，转发的地方添加下面的一行
1
2
3
| location / {
proxy_set_header X-real-ip $remote_addr;
}
|
然后就可以在代码层，通过解析HttpServletRequest参数，获取真实IP，这段代码网上比较多，直接拿来使用（我这里是放在了一个Filter层，在这里获取服务端关心的一些参数，供整个请求链路使用）
获取客户端IP方法
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
|
private static String getIpAdrress(HttpServletRequest request) {
String Xip = request.getHeader("X-Real-IP");
String XFor = request.getHeader("X-Forwarded-For");
if(StringUtils.isNotEmpty(XFor) && !"unKnown".equalsIgnoreCase(XFor)){
int index = XFor.indexOf(",");
if(index != -1){
return XFor.substring(0,index);
}else{
return XFor;
}
}
XFor = Xip;
if(StringUtils.isNotEmpty(XFor) && !"unKnown".equalsIgnoreCase(XFor)){
return XFor;
}
if (StringUtils.isBlank(XFor) || "unknown".equalsIgnoreCase(XFor)) {
XFor = request.getHeader("Proxy-Client-IP");
}
if (StringUtils.isBlank(XFor) || "unknown".equalsIgnoreCase(XFor)) {
XFor = request.getHeader("WL-Proxy-Client-IP");
}
if (StringUtils.isBlank(XFor) || "unknown".equalsIgnoreCase(XFor)) {
XFor = request.getHeader("HTTP_CLIENT_IP");
}
if (StringUtils.isBlank(XFor) || "unknown".equalsIgnoreCase(XFor)) {
XFor = request.getHeader("HTTP_X_FORWARDED_FOR");
}
if (StringUtils.isBlank(XFor) || "unknown".equalsIgnoreCase(XFor)) {
XFor = request.getRemoteAddr();
}
return XFor;
}
|
2. Redis操作
接下来就是redis数据结果的操作了，关于Spring中如何配置和简单使用RedisTemplate可以参考 《180611-Spring之RedisTemplate配置与使用》
下面简单贴一下核心的Redis操作代码, 关于Hash的访问就没啥好说的，参考上一篇博文即可
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
|
public static Long zScore(String key, String value) {
return template.execute((RedisCallback<Long>) con -> {
Double ans = con.zScore(toBytes(key), toBytes(value));
return ans == null ? 0 : ans.longValue();
});
}
public static Boolean zAdd(String key, String value, long score) {
return template.execute((RedisCallback<Boolean>) con -> con.zAdd(toBytes(key), score, toBytes(value)));
}
public static Long zMaxScore(String key) {
return template.execute((RedisCallback<Long>) con -> {
Set<RedisZSetCommands.Tuple> set = con.zRangeWithScores(toBytes(key), -1, -1);
if (CollectionUtils.isEmpty(set)) {
return 0L;
}
Double score = set.stream().findFirst().get().getScore();
return score.longValue();
});
}
|
主要的redis操作是上面三个方法，那么怎么调用的呢？直接看下面的逻辑即可，比较清晰
- 获取站点的总访问人数
- 尝试获取访问者的排名
- 如果没有获取到排名，表示首次访问，则需要新插入一条记录
- 获取到排名，则直接返回
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
| public CountDTO visit(String appKey, String url) {
String visitKey = visitKey(appKey);
long visitTotalNum = QuickRedisClient.zMaxScore(visitKey);
long visitIndex = QuickRedisClient.zScore(visitKey, ReqInfoContext.getReqInfo().getClientIp());
if (visitIndex == 0) {
visitTotalNum += 1;
visitIndex = visitTotalNum;
QuickRedisClient.zAdd(visitKey, ReqInfoContext.getReqInfo().getClientIp(), visitIndex);
}
}
|
看到上面这一段逻辑的实现，如果一点疑问都没有，那我不得不怀疑是否真的看了这篇博文了，或者说就是单纯的看了而已，却没有一点的收货
重点说明，上面的实现有并发问题、并发问题、并发问题，重要的事情说三遍，至于为什么以及该如何解决，欢迎讨论
III. 其他
0. 相关博文
一灰灰的个人博客，记录所有学习和工作中的博文，欢迎大家前去逛逛
2. 声明
尽信书则不如，已上内容，纯属一家之言，因个人能力有限，难免有疏漏和错误之处，如发现bug或者有更好的建议，欢迎批评指正，不吝感激
3. 扫描关注
