「 SPARK 」
August 28, 2018
Words count
22k
Reading time
20 mins.
概念:
一个只读且分区的数据集
RDD的优势:
高效容错
可以控制数据的分区来优化计算性能
并行处理
提供了丰富的操作数据的api
可以显示的将任何类型的中间结果存储在内存中
* Internally, each RDD is characterized by five main properties:
*
* - A list of partitions 一系列的分区/分片
* - A function for computing each split 一个用于计算每一个分区的函数
* - ...
Read article
「 KAFKA 」
August 25, 2018
Words count
22k
Reading time
20 mins.
版本说明:
kafka版本:kafka_2.12-2.0.0.tgz
pom依赖:
<dependency>
<groupId>org.apache.kafka</groupId>
<artifactId>kafka-clients</artifactId>
<version>2.0.0</version>
</dependency>
kafka在发送和接受消息的时候,都是以byte[]字节型数...
Read article
「 JAVA 」
August 25, 2018
Words count
1.7k
Reading time
2 mins.
package com.springboot.demo.utils;
import com.dyuproject.protostuff.LinkedBuffer;
import com.dyuproject.protostuff.ProtostuffIOUtil;
import com.dyuproject.protostuff.Schema;
import com.dyuproject.protostuff.runtime.RuntimeSchema;
import java.util.Map...
Read article
「 JAVA 」
August 25, 2018
Words count
925
Reading time
1 mins.
PropertiesUtil.java
package com.springboot.demo.utils;
import org.springframework.core.io.ClassPathResource;
import java.io.IOException;
import java.io.InputStream;
import java.util.Properties;
/**
* Created by shirukai on 2018/8/13
* 读取配置文件
*/
public...
Read article
「 SPRING 」
August 21, 2018
Words count
15k
Reading time
14 mins.
除了自己实现线程外,springboot本身就提供了通过注解的方式,进行异步任务的执行。下面主要记录一下,在Springboot项目中实现异步任务,以及对异步任务进行封装监控。
想要使用springboot的注解进行异步任务,首先要开启springboot的异步任务支持。通过集成AsyncConfigurer接口,并实现getAsyncExcutor()方法,如下所示:
package com.springboot.demo.asyncTask.conf;
import org.springframework...
Read article
「 SPRING 」
August 21, 2018
Words count
21k
Reading time
19 mins.
maven依赖
<!--微软POI依赖-->
<dependency>
<groupId>org.apache.poi</groupId>
<artifactId>poi-ooxml</artifactId>
<version>3.17</version>
</dependency>
HTML
引入jquery、bootstrap
<div class="container...
Read article
「 项目开发记录 」
August 20, 2018
Words count
1.5k
Reading time
1 mins.
1.基础配置
2.节点信息
3.服务选择
4.组件部署
5.生成部署
Read article
「 项目开发记录 」
August 20, 2018
Words count
34k
Reading time
31 mins.
说明:需要在后台发送http请求rest api接口,得到json数据,格式如下:
然后对json数据做处理,拿到经过base64编码的数据Value对应的值进行解码,拼接成datatable指定的格式。
后端:
- java 利用httpclient进行http请求
- json字符串转jsonArray、jsonObjects、map、list,利用gson或者json-lib对数据进行处理
- list分页读取(subList方法)
- base64编、解码
- 利用contains方法来判断字符串是否包...
Read article