SPARK August 28, 2018

Spark RDD

Words count 22k Reading time 20 mins.

概念:

一个只读且分区的数据集

RDD的优势:

高效容错

可以控制数据的分区来优化计算性能

并行处理

提供了丰富的操作数据的api

可以显示的将任何类型的中间结果存储在内存中

 * Internally...
Read article

SPARK August 28, 2018

Spark RDD

Words count 22k Reading time 20 mins.

概念:

一个只读且分区的数据集

RDD的优势:

高效容错

可以控制数据的分区来优化计算性能

并行处理

提供了丰富的操作数据的api

可以显示的将任何类型的中间结果存储在内存中

 * Internally, each RDD is characterized by five main properties:
 *
 *  - A list of partitions 一系列的分区/分片
 *  - A function for computing each split 一个用于计算每一个分区的函数
 *  - ...
Read article

JAVA August 25, 2018

利用avro实现序列化反序列化

Words count 4.9k Reading time 4 mins.

摘一段来自https://www.jianshu.com/p/a5c0cbfbf608简书上介绍avro的内容:

Avro是一个数据序列化系统,设计用于支持大批量数据交换的应用。

它的主要特点有:支持二进制序列化方式,可以便捷,快速地处理大量数据;动态语言友好,Avro提供的机制使动态语言可以方便地处理Avro数据。

当前市场上有很多类似的序列化系统,如Google的Protocol Buffers, Facebook的Thrift。这些系统反响良好,完全可以满足普通应用的需求。针对重复开发的疑...

Read article

KAFKA August 25, 2018

kafka自定义消息序列化和反序列化方式

Words count 22k Reading time 20 mins.

版本说明:

kafka版本:kafka_2.12-2.0.0.tgz

pom依赖:

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.0.0</version>
</dependency>

kafka在发送和接受消息的时候,都是以byte[]字节型数...

Read article

JAVA August 25, 2018

ProtostuffUtil序列化反序列化工具类

Words count 1.7k Reading time 2 mins.

package com.springboot.demo.utils;

import com.dyuproject.protostuff.LinkedBuffer;
import com.dyuproject.protostuff.ProtostuffIOUtil;
import com.dyuproject.protostuff.Schema;
import com.dyuproject.protostuff.runtime.RuntimeSchema;

import java.util.Map...
Read article

JAVA August 25, 2018

Properties读取配置文件工具类

Words count 925 Reading time 1 mins.

PropertiesUtil.java

package com.springboot.demo.utils;

import org.springframework.core.io.ClassPathResource;

import java.io.IOException;
import java.io.InputStream;
import java.util.Properties;

/**
 * Created by shirukai on 2018/8/13
 * 读取配置文件
 */
public...
Read article

SPRING August 21, 2018

Springboot异步任务执行及监控

Words count 15k Reading time 14 mins.

除了自己实现线程外,springboot本身就提供了通过注解的方式,进行异步任务的执行。下面主要记录一下,在Springboot项目中实现异步任务,以及对异步任务进行封装监控。

想要使用springboot的注解进行异步任务,首先要开启springboot的异步任务支持。通过集成AsyncConfigurer接口,并实现getAsyncExcutor()方法,如下所示:

package com.springboot.demo.asyncTask.conf;

import org.springframework...
Read article

SPRING August 21, 2018

利用POI实现表格导入导出功能

Words count 21k Reading time 19 mins.

maven依赖

<!--微软POI依赖-->
<dependency>
  <groupId>org.apache.poi</groupId>
  <artifactId>poi-ooxml</artifactId>
  <version>3.17</version>
</dependency>

HTML

引入jquery、bootstrap

<div class="container...
Read article

环境搭建 August 20, 2018

利用Typora+qiniu-image-tool+Snipaste快速书写Markdown

Words count 1.4k Reading time 1 mins.

Typora:

极致简洁、且功能强大的Markdown本地编写软件。 官网 https://www.typora.io/

qiniu-image-tool

利用七牛搭建图床,自动将图片上传到七牛,并拿到了链接,然后直接返回给markdown编辑器。

复制本地图片

Ctrl+Alt+V 粘贴到此处

截图

Ctrl+Alt+V粘贴此处

下载地址:http://ov1a6etyz.bkt.clouddn.com/201711171714_101.zip

Typora可以从官网下载。

qiniu-image...

Read article

项目开发记录 August 20, 2018

集群配置规划及自动化部署工具截图

Words count 1.5k Reading time 1 mins.

1.基础配置

2.节点信息

3.服务选择

4.组件部署

5.生成部署

Read article

项目开发记录 August 20, 2018

主机页面开发记录

Words count 34k Reading time 31 mins.

说明:需要在后台发送http请求rest api接口,得到json数据,格式如下:

然后对json数据做处理,拿到经过base64编码的数据Value对应的值进行解码,拼接成datatable指定的格式。

后端:

  • java 利用httpclient进行http请求
  • json字符串转jsonArray、jsonObjects、map、list,利用gson或者json-lib对数据进行处理
  • list分页读取(subList方法)
  • base64编、解码
  • 利用contains方法来判断字符串是否包...
Read article
Load more
0%