PYTHON July 31, 2021

Flask中SQLAlchemy自动更新表结构

Words count 7.9k Reading time 7 mins.

Python: 2.7

Flask: 1.0.3
Flask-SQLAlchemy: 2.3.2

SQLAlchemy: 1.3.12

Flask-SQLAlchemy是Flask中比较好用的ORM...

Read article

FLINK June 08, 2021

Flink自定义窗口触发器

Words count 16k Reading time 14 mins.

flink: 1.10.1

Github: https://github.com/shirukai/flink-examples-trigger.git

前段时间同事开发遇到一个需求,要求按照事件时间10分钟窗口计数,同时需要有新数据时每分钟输出一次结果。窗口计数非常简单,设置一个窗口,然后运用一个聚合函数就可以解决了。但是有新数据时每分钟输出一次结果,好像实现起来并不容易,因为按照平时的窗口,设置10分钟之后,要等到watermark超过了当前的窗口之后,才会被触发计算。这里还涉及到一个问...

Read article

环境搭建 May 31, 2021

centos安装oracle

Words count 15k Reading time 14 mins.

1. VMware 搭建centos7 的虚机

配置好网络IP为192.168.162.155

2. 下载Oracle11g安装文件

linux.x64_11gR2_database_1of2.zip
linux.x64_11gR2_database_2of2.zip

百度云:

链接:http://pan.baidu.com/s/1gf1oJJH 密码:1ivl

3. 通过shell工具连接虚机然后上传至/home 目录

-rw-r--r--. 1 root   root     1239269270 Sep ...
Read article

HADOOP May 25, 2021

centos7下配置Hadoop伪分布式环境

Words count 7.3k Reading time 7 mins.

Centos 版本:7

Hadoop版本:2.7.4

Java版本:1.8

官网下载jdk 1.8

http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

下载jdk-8u151-linux-x64.tar.gz并复制到 /usr/lib目录下

然后解压

tar -zxvf jdk-8u151-linux-x64.tar.gz

配置环境变量

#set java enviroenment...
Read article

JAVA April 01, 2021

Java单元测试动态修改环境变量

Words count 8.3k Reading time 8 mins.

今天再写单元测试的时候,遇到一个比较有趣的事情,程序需要读取一个环境变量,而这个变量又是动态生成的,所以在执行单元测试之前要进行环境变量的配置。目前总结了两种方案可以实现动态修改环境变量,修改后的环境变量仅对当前进程生效,即仅在当前Java进程中调用System.getenv(name)生效,分别是通过反射修改Runtime中保存环境变量的Map、和通过JNI的方式调用系统的setenv方法。下面将分别对两种方案进行实现。

参考:https://stackoverflow.com/questions...

Read article

HADOOP January 19, 2021

Hive大数据仓库入门

Words count 20k Reading time 18 mins.

什么是Hiv?

Hive是构建在hadoop HDFS上的一个数据仓库

1.1基本概念

数据仓库是一个面向主题的、集成的、不可更新的、随时间不变化的数据集合,它用于支持企业活组织的决策分析处理。

1.2数据仓库的结构和构建过程

1.3OLTP应用与OLAP应用

OLTP(On line Transaction Processing):连接事务处理(银行转账)面向事务

OLAP(On line Analytical Processing):连接分析处理(商品推荐系统)

1.4数据仓库中数据模型

1....

Read article

JAVA January 08, 2021

java 利用Future做超时任务处理

Words count 512 Reading time 1 mins.

Callable<String> task = new Callable<String>() {
    @Override
    public String call() throws Exception {
        return HttpRequestUtil.host().doGet(requestUrl);
    }
};
ExecutorService executorService = Executors.newSingleThreadExecutor...
Read article

开发工具使用 November 05, 2020

Git常用命令及技巧

Words count 3.9k Reading time 4 mins.

应用场景:当修改当前分支文件(非新建),且要切换到其它分支时,系统会提示如下信息,这时需要缓存当前分支更改的内容,然后才可以切换分支。

1.1 git stash save

缓存当前更改的内容

git stash save -a "change1"
Saved working directory and index state On master: change1

1.2 git stash list

查看所有的缓存

git stash list
shirukaideMacBook...
Read article

FLINK November 02, 2020

Flink在k8s生产环境高可用部署

Words count 25k Reading time 23 mins.

flink: 1.10.1

kubernetes: 1.18.8

目前参与的项目基本开发完成,打算开发的微服务和Flink任务统一部署到k8s上。之前几个项目都是跑在YARN上,Flink on YARN的部署模式是在生产中比较常见,YARN的稳定性和资源调度能力也是有目共睹的,依托Hadoop生态Flink高可用也很容易实现。关于On YARN

还是On K8S之前文章都有介绍,《Flink Cluster On YARN部署》和《Flink Cluster On Kubernetes部署...

Read article

开发工具使用 October 31, 2020

k8s使用mac上自带的NFS

Words count 5.3k Reading time 5 mins.

之前文章里有记录如何在mac电脑上使用docker,并搭建k8s集群。最近在开发测试的时候,遇到k8s挂载持久卷的问题。本来想在开发的电脑上搭建一个NFS服务,经过在网上一番搜索发现mac电脑本身就带有一个NFS服务。这篇文章主要记录一下如何在mac上开启并配置NFS服务,以及如何在k8s上使用NFS。

Mac上的NFS服务是作为系统服务提供的,可以使用nfsd status命令查看nfsd当前的状态。

Mac自带的NFS服务的配置文件路径为/etc/exports,默认该文件是不存在的,需...

Read article
Load more
0%