Please input search keywords.

「 PYTHON 」 August 24, 2020

Flask从0到1快速后台服务开发

Words count 81k Reading time 1:13

版本说明：

Python：3.7

Flask：1.0.2

前言

Flask是一个使用 Python 编写的轻量级 Web 应用框架。其 WSGI 工具箱采用 Werkzeug ，模板引擎则使用...

Read article

「 PYTHON 」 August 24, 2020

Flask从0到1快速后台服务开发

Words count 81k Reading time 1:13

版本说明：

Python：3.7

Flask：1.0.2

前言

Flask是一个使用 Python 编写的轻量级 Web 应用框架。其 WSGI 工具箱采用 Werkzeug ，模板引擎则使用 Jinja2 ，具体详情查看官网：http://flask.pocoo.org/。

接触Flask有一段时间了，在工作中使用Flask开发了几个轻量级的后台服务，相比较Django框架，Flask更加的轻量，为渐进式框架，适合快速开发。这里不做深入的源码研究，只是记录一下在工作中使用Flask的经...

Read article

「 开发工具使用 」 August 24, 2020

使用IDEA远程Debug在Docker中的Java应用

Words count 4k Reading time 4 mins.

今天在工作中遇到了一个问题，Flink应用在本地开发测试都没有问题，打成镜像放到Docker中提交就报空指针异常，日志很少，不太容易定位问题，于是想到了远程Debug，从IDEA官网查阅了相关文档，折腾了一上午终于找出了问题。下面将从创建项目、构建镜像、发布应用、远程调试一步一步进行详细讲解。

官网地址：https://www.jetbrains.com/help/idea/debug-a-java-application-using-a-dockerfile.html

原理其实很简单，在启...

Read article

「 环境搭建 」 August 07, 2020

Ubuntu16.04安装CDH集群

Words count 14k Reading time 12 mins.

版本说明：

ubuntu: 16.04

jdk: 1.8.0_251

mariadb: 10.0.38

cloudera manager: 6.0.0

cdh: 5.11.0-1.cdh5.11.0.p0.34

相关连接：

安装文档：https://docs.cloudera.com/documentation/enterprise/6/6.0/topics/install_cm_cdh.html#cmig_topic_6_6

JDK下载地址：https://archive.cloudera....

Read article

「 FLINK 」 June 26, 2020

Flink中使用嵌入式Kafka进行单元测试

Words count 0 Reading time 1 mins.

Read article

「 FLINK 」 June 23, 2020

Flink中使用嵌入式ElasticSearch进行单元测试

Words count 39k Reading time 35 mins.

Flink版本 1.8.0

ElasticSearch版本 5.1.2

Scala版本 2.11.12

Java版本 1.8

Github地址：https://github.com/shirukai/flink-examples-embedded-elasticsearch.git

前些时间同学在群里问关于ElasticSearch的单元测试，如何mock。当时看到这个问题，我想的是mock一个写ElasticSearch的客户端的类？但是一直没想好怎么实现，这个问题一直困扰我。刚好最近接手...

Read article

「 FLINK 」 June 17, 2020

调试Local模式下带状态的Flink任务

Words count 21k Reading time 19 mins.

Flink版本: 1.8.0

Scala版本: 2.11

Github地址：https://github.com/shirukai/flink-examples-debug-state.git

在本地开发带状态的Flink任务时，经常会遇到这样的问题，需要验证状态是否生效？以及重启应用之后，状态里的数据能否从checkpoint的恢复？首先要明确的是，Flink重启时不会自动加载状态，需要我们手动指定checkpoint路径。笔者从Spark的Structured Streaming转到Flink...

Read article

「 环境搭建 」 June 14, 2020

Mac环境下开启Docker之旅

Words count 8.4k Reading time 8 mins.

使用桌面版的docker已经有一段时间了，主要是在平时的开发中用以搭建各种开发环境。总的来说，在mac上使用桌面版的docker比较容易上手，桌面版也提供k8s的功能，但是开启时总是不能成功，而且在此基础上使用Rancher管理k8s也遇到了各种问题，这里就记录一下这一路上遇到的各种坑。

使用桌面版的Docker很简单，官网也提供Mac/Window的版本下载，这里为了后面使用k8s集群，下载的是edge版本的docker。

下载页面：https://docs.docker.com/docker...

Read article

「 ELASTICSEARCH 」 June 11, 2020

ElasticSearch基础入门

Words count 22k Reading time 20 mins.

  • 索引 含有相同属性的文档集合
  • 类型 索引可以定义一个或多个类型，文档必须属于一个类型
  • 文档 文档是可以被索引的基本数据单位
  • 分片 每个索引都有多个分片，每个分片是一个Lucene索引
  • 备份 拷贝一份分片就可以完成了分片的备份

API基本格式：http://<ip>:<port>/<索引>/<索引类型>/<文档id>

常用HTTP动词：GET/PUT/POST/DELETE

2.2.1 使用默认配置创建索引

例如创建一个名为people...

Read article

「 Article 」 June 05, 2020

README

Words count 0 Reading time 1 mins.

Read article

「 AMBARI二次开发 」 April 11, 2020

Ambari环境搭建

Words count 11k Reading time 10 mins.

准备三台虚机并保证能相互ping通

序号 IP地址 主机名 类型 用户名
1 192.168.162.167 iop167.ambari.com service root
2 192.168.162.168 iop168.ambari.com agent root
3 192.168.162.169 iop169.ambari.com agent root

主机名的修改：

vim /etc/hostname

按照一定的格式修改三台机器的主机名。

配置Hosts

vim /etc...
Read article
Load more
0%