「 环境搭建 」 April 02, 2020
Words count 8.3k Reading time 8 mins.
操作系统版本：16.04
为保证要缓存的安装包，以及依赖包的完整性，建议在一个比较干净的，最好是安装完操作系统之后，没有安装其它软件的环境下进行。
执行命令如下命令，清空apt的缓存
rm -rf...
「 环境搭建 」 April 02, 2020
Words count 8.3k Reading time 8 mins.
操作系统版本：16.04
为保证要缓存的安装包，以及依赖包的完整性，建议在一个比较干净的，最好是安装完操作系统之后，没有安装其它软件的环境下进行。
执行命令如下命令，清空apt的缓存
rm -rf /var/cache/apt/archives/
使用apt-get -d
apt-get -d install python-minimal...「 环境搭建 」 March 20, 2020
Words count 1.6k Reading time 1 mins.
在一些环境的搭建时，为了不受网络因素影响，可以将一些下载比较慢的包缓存到本地，然后进行离线安装。这里主要记录两种包的离线下载以及安装，Centos的yum和python的pip
这里使用yumdownloade进行离线包以及依赖包的下载。
安装yumdownloade
yum install -y yum-utils
下载wget包并缓存到~/packages/yum/下
yumdownloader --resolve --destdir=~/packages/yum/ wget
「 环境搭建 」 March 13, 2020
Words count 5.9k Reading time 5 mins.
自从接触Docker，便对它产生了浓厚兴趣，平时需要的开发环境也尝试使用Docker来搭建，相比较虚拟机确实方便了不少，这里主要记录一下平时在开发中使用Docker搭建过得开发环境。这里所有使用docker创建的应用都放在了dockerapps目录下。
版本：3.5
在dockerapps下创建zookeeper目录。此目录包含data目录用来持久化zookeeper应用数据，包含一个zoo.cfg配置文件用来配置zookeeper应用，包含一个start.sh用来启动单节点的zk。目录...
Read article「 PYTHON 」 January 04, 2020
Words count 2.3k Reading time 2 mins.
如views.py
def index(request):
return render(request, 'index.html', {'hello': 'hello blog'})
templates/index.html
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset...「 RPC 」 June 26, 2019
Words count 30k Reading time 27 mins.
版本描述：dubbo 2.7.2
Dubbo是阿里开源的一款RPC框架，最近在学习微服务的时候有提及到。因此对Dubbo进行了入门级体验，这里主要体验体验Dubbo的几种配置方式，如XML配置、API配置、注解配置，以及Springboot里整合Dubbo，同时体验几种注册中心，如simple、zk、redis、multicast。
Dubbo官网内容还是很丰富的，支持中文。地址：http://dubbo.apache.org/zh-cn/docs/user/quick-start.html...
Read article「 SPARK 」 June 15, 2019
Words count 27k Reading time 25 mins.
版本说明： spark-2.3.0
SparkSQL支持很多数据源，我们可以使用Spark内置的数据源，目前Spark支持的数据源有：json，parquet，jdbc，orc，libsvm，csv，text。也可以指定自定义的数据源，只需要在读取数据源的时候，指定数据源的全名。在https://spark-packages.org/这个网站，我们可以获取到更多的第三方的数据源。
官网文档：http://spark.apache.org/docs/latest/sql-programming...
Read article「 SPARK 」 June 11, 2019
Words count 30k Reading time 28 mins.
版本说明：
Spark 2.3.0
Kafka 2.11-2.0.0
在项目中，SparkStreaming整合Kafka时，通常Kafka发送的数据是以JSON字符串形式发送的，这里总结了五种SparkStreaming解析Kafka中JSON格式数据并转为DataFrame进行数据分析的方法。
需求：将如下JSON格式的数据
转成如下所示的DataFrame
随机生成如上图所示的JSON格式的数据，并将它发送到Kafka。造数器脚本代码如下所示：
kafka_data_generator...
Read article「 开发工具使用 」 May 27, 2019
Words count 760 Reading time 1 mins.
conda info -e
conda create --name 环境名 python=版本号
conda activate 环境名
conda remove -n 环境名 --all
pip源https://www.cnblogs.com/microman/p/6107879.html
升级piphttps://www.jianshu.com/p/e46e36addf8d
Read article「 项目开发记录 」 May 09, 2019
Words count 48k Reading time 43 mins.
项目里使用的是在iconfont下载的第三方图标，放在indata_tool_web\src\assets\iconfont目录下。在main.js引入
import './assets/iconfont/iconfont.css'
利用vue-router的beforeEach方法，在进入路由之前，读取token，如果token不存在则跳转到登录页面。如果token存在，就带着token去认证，如果认证通过，即可访问，如果认证不通过，则...
Read article「 SPARK 」 March 01, 2019
Words count 13k Reading time 12 mins.
版本说明：Spark2.3
为保证多个Batch之间能够进行有状态的计算，SparkStreaming在1.6版本之前就引入了updateStateByKey的状态管理机制，在1.6之后又引入了mapWithState的状态管理机制。关于SparkStreaming的updateStateByKey和mapWithState的以查看《Spark-Streaming 状态管理应用优化之路》。StructuredStreaming原本就是有状态的计算，这里我主要记录一下在StructuredStreaming...
Read article