flink: 1.10.1

Github: https://github.com/shirukai/flink-examples-trigger.git

前段时间同事开发遇到一个需求，要求按照事件时间10分钟窗口计数，同时需要有新数据时每分钟输出一次结果。窗口计数非常简单，设置一个窗口，然后运用一个聚合函数就可以解决了。但是有新数据时每分钟输出一次结果，好像实现起来并不容易，因为按照平时的窗口，设置10分钟之后，要等到watermark超过了当前的窗口之后，才会被触发计算。这里还涉及到一个问...

1. VMware 搭建centos7 的虚机

配置好网络IP为192.168.162.155

2. 下载Oracle11g安装文件

linux.x64_11gR2_database_1of2.zip
linux.x64_11gR2_database_2of2.zip

百度云：

链接：http://pan.baidu.com/s/1gf1oJJH 密码：1ivl

3. 通过shell工具连接虚机然后上传至/home 目录

-rw-r--r--. 1 root   root     1239269270 Sep ...

Centos 版本：7

Hadoop版本：2.7.4

Java版本：1.8

官网下载jdk 1.8

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

下载jdk-8u151-linux-x64.tar.gz并复制到 /usr/lib目录下

然后解压

tar -zxvf jdk-8u151-linux-x64.tar.gz

配置环境变量

#set java enviroenment...

今天再写单元测试的时候，遇到一个比较有趣的事情，程序需要读取一个环境变量，而这个变量又是动态生成的，所以在执行单元测试之前要进行环境变量的配置。目前总结了两种方案可以实现动态修改环境变量，修改后的环境变量仅对当前进程生效，即仅在当前Java进程中调用System.getenv(name)生效，分别是通过反射修改Runtime中保存环境变量的Map、和通过JNI的方式调用系统的setenv方法。下面将分别对两种方案进行实现。

参考：https://stackoverflow.com/questions...

什么是Hiv？

Hive是构建在hadoop HDFS上的一个数据仓库

1.1基本概念

数据仓库是一个面向主题的、集成的、不可更新的、随时间不变化的数据集合，它用于支持企业活组织的决策分析处理。

1.2数据仓库的结构和构建过程

1.3OLTP应用与OLAP应用

OLTP（On line Transaction Processing）:连接事务处理（银行转账）面向事务

OLAP（On line Analytical Processing）:连接分析处理（商品推荐系统）

1.4数据仓库中数据模型

1....

Callable<String> task = new Callable<String>() {
    @Override
    public String call() throws Exception {
        return HttpRequestUtil.host().doGet(requestUrl);
    }
};
ExecutorService executorService = Executors.newSingleThreadExecutor...

应用场景：当修改当前分支文件（非新建），且要切换到其它分支时，系统会提示如下信息，这时需要缓存当前分支更改的内容，然后才可以切换分支。

1.1 git stash save

缓存当前更改的内容

git stash save -a "change1"

Saved working directory and index state On master: change1

1.2 git stash list

查看所有的缓存

git stash list

shirukaideMacBook...

flink: 1.10.1

kubernetes: 1.18.8

目前参与的项目基本开发完成，打算开发的微服务和Flink任务统一部署到k8s上。之前几个项目都是跑在YARN上，Flink on YARN的部署模式是在生产中比较常见，YARN的稳定性和资源调度能力也是有目共睹的，依托Hadoop生态Flink高可用也很容易实现。关于On YARN

还是On K8S之前文章都有介绍，《Flink Cluster On YARN部署》和《Flink Cluster On Kubernetes部署...

之前文章里有记录如何在mac电脑上使用docker，并搭建k8s集群。最近在开发测试的时候，遇到k8s挂载持久卷的问题。本来想在开发的电脑上搭建一个NFS服务，经过在网上一番搜索发现mac电脑本身就带有一个NFS服务。这篇文章主要记录一下如何在mac上开启并配置NFS服务，以及如何在k8s上使用NFS。

Mac上的NFS服务是作为系统服务提供的，可以使用nfsd status命令查看nfsd当前的状态。

Mac自带的NFS服务的配置文件路径为/etc/exports，默认该文件是不存在的，需...