Quick系列 / QuickTask
6 分钟 读完 (大约 850 个字)

180702-QuickTask动态脚本支持框架整体介绍篇

logo

Quick-Task 动态脚本支持框架整体介绍篇

一个简单的动态脚本调度框架，支持运行时，实时增加,删除和修改动态脚本，可用于后端的进行接口验证、数据订正，执行定时任务或校验脚本

本项目主要涉及到的技术栈:

  • groovyEngine （groovy脚本加载执行）
  • commons-io （文件变动监听）
阅读更多
火花
23 分钟 读完 (大约 3397 个字)

180701-计数时间窗口数据结构的设计

logo

相关博文:

维持计数时间窗口数据结构的设计

I. 背景

有这么一个场景，我需要维护每个商品在3min, 10mn, 1h, 6h, 24h这几个时间窗口内的贸易总额，那么可以怎么实现？

问题拆解：

  • 每个商品，对应多个时间窗口
  • 商品可能很多，因此时间窗口的量可能很大
  • 时间窗口的数据为总数，因此不需要记录每个订单的情况，只需要维护一个交易总额即可
  • 热点数据，可能每分钟都有很多的成交
  • 冷门数据，可能一天都没有几笔成交
阅读更多
火花
9 分钟 读完 (大约 1286 个字)

180628-动态任务执行框架想法篇

数据订正带来的动态任务执行框架的想法

I. 背景

对于后端而言，数据订正可算是非常非常频繁且常见的事情了，常见的有DB、缓存、内存等数据源中的数据订正，对于非应用内存而言，其他有实体或者可以直接通过官方的提供的控制台连接进行修改的数据订正，相对比较简单，而对于应用内存，如果没有应用内通知并处理相关逻辑，多半就只能重启应用来实现刷新内存缓存了

当然我这里说的也不是内存数据更新，最近遇到的一个问题就是redis缓存中的数据有问题，需要订正，而并不是简单的把数据删了就行，需要根据某些数据，做一些计算，然后得出新的数据，并写回到缓存

这样看来好像也不太麻烦，如果没有第三方依赖，大不了写个python脚本或者php脚本，重新算一下，也没什么毛病

然而实际情况却并不是这样，问题有以下几点：

  • 数据经过ProtoBuf进行编码存入redis，反序列化是个问题
  • 数据计算有依赖外部服务，如只能通过rpc调用第三方接口，而rpc框架没有提供php或python的sdk

基于此，就想也米有办法，可以直接搞一个项目，可以执行Groovy脚本，在Groovy脚本中实现数据订正逻辑？需求如下

  • 支持Groovy脚本的动态更新（支持动态新增，删除和修改脚本）
  • Groovy脚本可友好的访问我们需要的外部资源
阅读更多
开源 / Spring / 实战系列
10 分钟 读完 (大约 1436 个字)

180626-Spring之借助Redis设计一个简单访问计数器

logo

Spring之借助Redis设计一个简单访问计数器

为什么要做一个访问计数？之前的个人博客用得是卜算子做站点访问计数，用起来挺好，但出现较多次的响应很慢，再其次就是个人博客实在是访问太少，数据不好看😢…

前面一篇博文简单介绍了Spring中的RedisTemplate的配置与使用，那么这篇算是一个简单的应用case了,主要基于Redis的计数器来实现统计

阅读更多
火花
5 分钟 读完 (大约 682 个字)

180625-关于时间窗口的想法

关于滑动时间窗口的想法

如何设计一个维护当前时间，当之前3min, 5min, 10min, 1h, 24h时间窗口内的访问计数的数据结构，简单来讲就是如何优雅的设计一个滑动时间窗口

阅读更多
开源 / Spring / 使用小结
8 分钟 读完 (大约 1268 个字)

180623-SpringBoot之logback配置文件

SpringBoot配置logback

项目的日志配置属于比较常见的case了，之前接触和使用的都是Spring结合xml的方式，引入几个依赖，然后写个 logback.xml 配置文件即可，那么在SpringBoot中可以怎么做？

阅读更多
Shell / 环境搭建
5 分钟 读完 (大约 763 个字)

阿里云服务器基本环境配置

阿里云服务器基本环境配置

I. RabbitMQ安装

1. 安装

1
2
3
yum install erlang
wget http://www.rabbitmq.com/releases/rabbitmq-server/v3.6.15/rabbitmq-server-3.6.15-1.el6.noarch.rpm
yum install rabbitmq-server-3.6.15-1.el6.noarch.rpm
阅读更多
火花
12 分钟 读完 (大约 1874 个字)

180621-一个简单的时间窗口设计与实现

如何设计一个计数的时间窗口

时间窗口，通常对于一些实时信息展示中用得比较多，比如维持一个五分钟的交易明细时间窗口，就需要记录当前时间，到五分钟之前的所有交易明细，而五分钟之前的数据，则丢掉

一个简单的实现就是用一个队列来做，新的数据在对头添加；同时起一个线程，不断的询问队尾的数据是否过期，如果过期则丢掉

另外一中场景需要利用到这个时间窗口内的数据进行计算，如计算着五分钟交易中资金的流入流出总和，如果依然用上面的这种方式，会有什么问题？

  • 如果时间窗口大，需要存储大量的明细数据
  • 我们主要关心的只有资金流入流出；存这些明细数据得不偿失
  • 每次新增or删除过期数据时，实时计算流入流出消耗性能

针对这种特殊的场景，是否有什么取巧的实现方式呢？

阅读更多
DB / Mysql
2 分钟 读完 (大约 336 个字)

180620-mysql之数据库导入导出

mysql之数据库导入导出

实际工作中，需要做一下数据库迁移，需要导入导出数据，记录一下mysqldump的简单用法

阅读更多
开源 / Yaml
8 分钟 读完 (大约 1197 个字)

180619-Yaml文件语法及读写小结

Yaml文件小结

Yaml文件有自己独立的语法，常用作配置文件使用，相比较于xml和json而言，减少很多不必要的标签或者括号，阅读也更加清晰简单；本篇主要介绍下YAML文件的基本语法，以及如何在Java中实现读写逻辑

阅读更多
Java / JDK
6 分钟 读完 (大约 863 个字)

180615-精度计算BigDecimal

180615-精度计算BigDecimal

目前接触的业务中，对数据的精度要求比较高，因此不再使用基本的float,double，改为用BigDecimal进行存储和相关的计算，端午前的这一篇博文，则简单的介绍下BigDecimal的使用姿势，早点回家早点放假

阅读更多
开源 / Guava
4 分钟 读完 (大约 585 个字)

180613-GuavaCache返回Null的注意事项

GuavaCache返回Null的注意事项

Guava在实际的Java后端项目中应用的场景还是比较多的，比如限流，缓存，容器操作之类的，有挺多实用的工具类，这里记录一下，在使用GuavaCache，返回null的一个问题

I. 常见使用姿势

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
@Test
public void testGuava() {
    LoadingCache<String, String> cache = CacheBuilder.newBuilder().build(new CacheLoader<String, String>() {
        @Override
        public String load(String key) throws Exception {
            if ("hello".equals(key)) {
                return "word";
            }
            return null;
        }
    });

    String word = cache.getUnchecked("hello");
    System.out.println(word);

    System.out.println(cache.getUnchecked("word"));
}

上面是一个非常简单的测试case，需要注意的是，cache.get("word") 的执行，并不如逾期的返回的是null，而是会抛一个异常出来

1
2
3
4
word
com.google.common.cache.CacheLoader$InvalidCacheLoadException: CacheLoader returned null for key word.
	at com.google.common.cache.LocalCache$Segment.getAndRecordStats(LocalCache.java:2287)
...

从异常描述能看出，不允许返回null，这一块之前倒是没怎么注意，因此对于null的情况，要么定义一个标记表示不存在，要么在load()方法中主动抛一个异常出来，在使用的时候注意下，通过异常的使用方式，可以如下

1
2
3
4
5
6
7
8
9
10
public class NoVlaInGauvaException extends Exception {
    public NoVlaInGauvaException(String msg) {
        super(msg);
    }

    @Override
    public synchronized Throwable fillInStackTrace() {
        return this;
    }
}

说明：为什么重写fillInStackTrace方法

  • 对于这种缓存未命中的情况下，一般而言是不需要关注完整的堆栈信息的，没有数据而已，可以节省一点点性能（当然除非是在高频率的抛出时，才会有表现症状）

其次就是get与getUnchecked的区别了

  • get要求显示处理exception状况
  • getUnchecked 一般是可确认不会有问题的场景，直接调用

II. 其他

1. 一灰灰Blog： https://liuyueyi.github.io/hexblog

一灰灰的个人博客，记录所有学习和工作中的博文，欢迎大家前去逛逛

2. 声明

尽信书则不如，已上内容，纯属一家之言，因个人能力有限，难免有疏漏和错误之处，如发现bug或者有更好的建议，欢迎批评指正，不吝感激

3. 扫描关注

QrCode

开源 / Spring / 使用小结
2 分钟 读完 (大约 362 个字)

180612-Spring之Yml配置文件加载问题

Yml配置文件加载问题

在resource目录下有一个application.yml文件，希望是通过@PropertySource注解，将配置文件数据读取到Environment中，然而调试发现数据始终读取不到，google之后，记录下解决方法

在测试用例中，指定初始化方式 @ContextConfiguration(classes = RedisConf.class, initializers = ConfigFileApplicationContextInitializer.class)

1
2
3
4
5
6
7
8
9
@RunWith(SpringJUnit4ClassRunner.class)
@ContextConfiguration(classes = RedisConf.class, initializers = ConfigFileApplicationContextInitializer.class)
public class RedisTest {
    @Test
    public void testRedis() {
        String ans = JedisClient.getStr("hello");
        System.out.println(ans);
    }
}

对应的配置类

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
@Configuration
@PropertySource(value = "classpath:application.yml")
public class RedisConf {

    @Autowired
    private Environment environment;

    @Autowired
    public RedisTemplate<String, String> redisTemplate(RedisConnectionFactory redisConnectionFactory) {
        RedisTemplate<String, String> redisTemplate = new RedisTemplate<>();
        redisTemplate.setConnectionFactory(redisConnectionFactory);

        DefaultStrSerializer serializer = new DefaultStrSerializer();
        redisTemplate.setValueSerializer(serializer);
        redisTemplate.setHashValueSerializer(serializer);
        redisTemplate.setKeySerializer(serializer);
        redisTemplate.setHashKeySerializer(serializer);

        redisTemplate.afterPropertiesSet();

        JedisClient.register(redisTemplate);
        return redisTemplate;
    }

    @Bean
    public RedisConnectionFactory redisConnectionFactory() {
        LettuceConnectionFactory fac = new LettuceConnectionFactory();
        fac.getStandaloneConfiguration().setHostName(environment.getProperty("spring.redis.host"));
        fac.getStandaloneConfiguration().setPort(Integer.parseInt(environment.getProperty("spring.redis.port")));
        fac.getStandaloneConfiguration()
                .setPassword(RedisPassword.of(environment.getProperty("spring.redis.password")));
        fac.afterPropertiesSet();
        return fac;
    }
}

II. 其他

1. 一灰灰Blog： https://liuyueyi.github.io/hexblog

一灰灰的个人博客，记录所有学习和工作中的博文，欢迎大家前去逛逛

2. 声明

尽信书则不如，已上内容，纯属一家之言，因个人能力有限，难免有疏漏和错误之处，如发现bug或者有更好的建议，欢迎批评指正，不吝感激

3. 扫描关注

QrCode

开源 / Spring / 使用小结
13 分钟 读完 (大约 1966 个字)

180611-Spring之RedisTemplate配置与使用

Spring之RedisTemplate配置与使用

Spring针对Redis的使用，封装了一个比较强大的Template以方便使用；之前在Spring的生态圈中也使用过redis，但直接使用Jedis进行相应的交互操作，现在正好来看一下RedisTemplate是怎么实现的，以及使用起来是否更加便利

阅读更多
开源 / Spring / 使用小结
7 分钟 读完 (大约 1032 个字)

180609-Spring之事件驱动机制的简单使用

Spring之事件驱动机制的简单使用

关于事件的发起与相应，在客户端的交互中可算是非常频繁的事情了，关于事件的发布订阅，在Java生态中，EventBus可谓是非常有名了，而Spring也提供了事件机制，本文则主要介绍后端如何在Spring的环境中，使用事件机制

阅读更多
Shell / Git
8 分钟 读完 (大约 1189 个字)

180608-Git工具之Stash

git stash 暂存

背景：

实际开发过程中，经常可能遇到的一个问题，当你在dev分支上正开发得happy的时候；突然来了个线上bug，得赶紧从release分支上切一个bugfix分支来解决线上问题，这个时候，正在开发的东西，就得暂存了

之前对于Git只是简单的了解了下，只处于入门的会用级别，遇到上面这个问题，采取的是一个比较笨的方案:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
# 1. 将当前改动保存，并提交一个tmp commit
git add .
git commit -m 'tmp save'

## 注意上面只是提交到本地，没有推送到远端仓库


# 2. 开始bugfix

## 然后切换到release 分支，并获取最新代码
git checkout release
git pull origin release

## 新建bugfix分支
git checkout -b bugfix
... # 开始干活

# 3. 回到原来分支，继续干活
git checkout dev
git log
git reset --soft commit号
阅读更多
Java / 其他
3 分钟 读完 (大约 514 个字)

180607-手写定长数组

手写定长数组

有个背景场景如下：

一天划分为1440分钟，每分钟记录一个数据块，然后用一个数据结构存储着1440个数据块，随着时间的推移，每过一分钟，向这个数据结构中添加一块，并移除最前的那个；其次就是我希望根据当前的时间，可以获取往前n分钟的数据块

简单来说，上面的需求解析如下：

  • 一个数组，容量为1440
  • 频繁的新增和删除
  • 随机的访问

后面两个就限制了ArrayList和LinkedList的使用场景了，所以为了满足这个场景，然后写了一个简单的数据结构

阅读更多
Java / JDK
2 分钟 读完 (大约 366 个字)

180606-Linux下jdk中文乱码问题解决

linux下jdk中文乱码问题解决

之前遇到过一次中文乱码问题，是通过在jdk的jre目录下的lib/fonts文件中添加simsun.ttf字体文件解决，但是这次遇到一个奇怪的问题，同样的字体拷贝过去后，中文不乱但是英文乱码了

记录一下解决过程：

  • 主要思路就是给系统安装中文字体，让系统本身就支持中文即可
阅读更多
开源 / RabbitMQ
12 分钟 读完 (大约 1780 个字)

RabbitMQ基础教程之基于配置的消费者实现

RabbitMQ基础教程之基于配置的消费者实现

相关博文，推荐查看:

  1. RabbitMq基础教程之安装与测试
  2. RabbitMq基础教程之基本概念
  3. RabbitMQ基础教程之基本使用篇
  4. RabbitMQ基础教程之使用进阶篇
  5. RabbitMQ基础教程之Spring&JavaConfig使用篇
  6. RabbitMQ基础教程之Spring-JavaConfig-FactoryBean使用姿势

前面一篇介绍了使用工厂方式创建消费者，其中一个不太友好的地方就在配置都是硬编码的方式，不太灵活，那么是否可以结合前一篇的FactoryBean来实现从配置中来灵活的创建消费者呢？

阅读更多
Shell / CMD
6 分钟 读完 (大约 860 个字)

180605-Linux下Crontab实现定时任务

Linux下Crontab实现定时任务

基于Hexo搭建的个人博客，是一种静态博客页面，每次新增博文或者修改，都需要重新的编译并发布到Github，这样操作就有点蛋疼了，一个想法就自然而然的来了，能不能每天2点，自动的build一下，然后上传

linux的Crontab正好可以支持，下面简单的记录下相关知识点

阅读更多
关注我
Google Play    Android

链接

最新文章

标签云

AES Android Arthas AutoCloseable BeanUtil BloomFilter BufferedImage BugFix Bugfix CURL Chrome DNS Docker Dubbo ElasticSearch Email FastJson Git GitHub Grafana Groovy Gson Guava HashMap IDEA IO ImageMagic InfluxDB InputStream Iterator JDK JNDI JVM Jackson Java JavaAgent JavaScript JavaWeb Jquery Json LRU Linux List MD5 Map Maven Mongo MongoDB MongoDb MySql Mybatis Mysql Nginx Node OGNL Prometheus ProtoStuff Python QlExpress QuickAlarm QuickMedia RMI RabbitMQ ReactJS Redis SSL Shell Socket Solr Spring SpringBoot Vue WebSocket WebView Win10 Yaml ZooKeeper css curl dns ffmpeg git gitalk google grep hexo hostname jdk logger markdown named ncat python ssh ssl time tmux zsh 专业词汇 乱码 二维码 代理 内购 分库分表 反射 吐槽 子系统 工具 并发 序列化 手记 技术方案 指南 教程 方案设计 时区 时间窗口 爬虫 编程技巧 证书 问题记录 随笔

标签

AES 1
Android 4
Arthas 1
AutoCloseable 1
BeanUtil 2
BloomFilter 1
BufferedImage 2
BugFix 2
Bugfix 2
CURL 2
Chrome 2
DNS 1
Docker 5
Dubbo 1
ElasticSearch 7
Email 1
FastJson 1
Git 3
GitHub 1
Grafana 3
Groovy 1
Gson 5
Guava 5
HashMap 1
IDEA 4
IO 2
ImageMagic 2
InfluxDB 17
InputStream 1
Iterator 1
JDK 36
JNDI 3
JVM 3
Jackson 1
Java 75
JavaAgent 2
JavaScript 2
JavaWeb 2
Jquery 1
Json 1
LRU 1
Linux 11
List 1
MD5 1
Map 1
Maven 4
Mongo 2
MongoDB 4
MongoDb 10
MySql 3
Mybatis 2
Mysql 21
Nginx 7
Node 1
OGNL 4
Prometheus 1
ProtoStuff 2
Python 142
QlExpress 4
QuickAlarm 1
QuickMedia 3
RMI 3
RabbitMQ 9
ReactJS 1
Redis 9
SSL 1
Shell 21
Socket 2
Solr 1
Spring 26
SpringBoot 2
Vue 1
WebSocket 1
WebView 2
Win10 2
Yaml 1
ZooKeeper 1
css 3
curl 1
dns 1
ffmpeg 1
git 2
gitalk 1
google 1
grep 1
hexo 1
hostname 1
jdk 1
logger 1
markdown 1
named 1
ncat 1
python 2
ssh 1
ssl 1
time 1
tmux 2
zsh 1
专业词汇 1
乱码 1
二维码 3
代理 1
内购 1
分库分表 1
反射 3
吐槽 1
子系统 1
工具 5
并发 3
序列化 1
手记 6
技术方案 22
指南 6
教程 21
方案设计 1
时区 1
时间窗口 3
爬虫 5
编程技巧 15
证书 1
问题记录 1
随笔 1

分类

归档

分类

归档

Your browser is out-of-date!

Update your browser to view this website correctly. Update my browser now

×