「 SPARK 」 August 19, 2018
Words count 8.4k Reading time 8 mins.
如要生成如下的DataFrame数据
+----+---+-----------+
|name|age| phone|
+----+---+-----------+
|ming| 20|15552211521...
「 SPARK 」 August 19, 2018
Words count 8.4k Reading time 8 mins.
如要生成如下的DataFrame数据
+----+---+-----------+
|name|age| phone|
+----+---+-----------+
|ming| 20|15552211521|
|hong| 19|13287994007|
| zhi| 21|15552211523|
+----+---+-----------+
val spark = SparkSession
.builder()
.appName(this.getClass.getSimpleName...「 LINUX 」 August 19, 2018
Words count 2.6k Reading time 2 mins.
给定变量 str=home/user/test.jar
export str="home/user/test.jar"
echo $str
home/user/test.jar
删除指定字符的左侧字符，保留右侧字符
从左到右找到第一个匹配的字符，然后进行截取
echo ${str#*/}
user/test.jar
同样是删除指定字符的左侧字符，保留右侧字符
但是##是从左到右找到最后一个匹配的字符，然后进行截取
echo $&...「 项目开发记录 」 August 19, 2018
Words count 916 Reading time 1 mins.
注释掉一下内容,大约在app.js 93006行
/*
connectOutlets: function (router, context) {
$('title').text(Em.I18n.t('app.name'));
router.get('applicationController').connectOutlet('login');
},
serialize: function (router...「 SPARK 」 August 19, 2018
Words count 3.9k Reading time 4 mins.
VectorAssembler（特征向量合并）是spark ml包里提供的算法， 但是对于向量拆分，官方没有听方法，这里从GitHub上看到一个向量拆分的算法，一起贴出来学习研究。
摘录官网翻译：
VectorAssembler 是将给定的一系列的列合并到单个向量列中的transformer。它可以将原始特征和不同特征transformers（转换器）生成的特征合并为单个特征向量，来训练ML模型，如逻辑回归和决策树等机器学习算法。
VectorAssembler可以接受一下的输入类型：所有值类型...
Read article「 项目开发记录 」 August 19, 2018
Words count 7.7k Reading time 7 mins.
用户大量刷新页面，用户访问的静态资源、css、js都部署在CDN上，用户访问时，是不会访问到我们的服务器上的，所以，这个时候的时间是不可控的也不是同步的。所以我们需要一个统一的api来，来获取系统服务器上的一致性的时间。
CDN（内容分发网络）加速用户获取数据的系统
部署在离用户最近的网络节点上
命中CDN不需要访问后端服务器
互联网公司自己搭建或者租用
无法使用CDN缓存，适合服务器端缓存：redis等，一致性维护成文低
请求地址 访问 redis 如果没有在访问...
Read article「 SPRING 」 August 19, 2018
Words count 1.5k Reading time 1 mins.
接口方法：
List<Seckill> queryAll(int offset,int limit);
SQL:
<select id="queryAll" resultType="Seckill">
SELECT seckill_id,name,number,start_time,end_time,create_time
FROM seckill
ORDER BY create_time DESC
limit #{offset...「 MONGODB 」 August 19, 2018
Words count 13k Reading time 12 mins.
本文主要记录在Springboot项目中整合MongoDB，并演示增删改查，以及分页查询。
在sparingboot项目中引入MongoDB依赖
<!--mongodb-->
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-mongodb</artifactId>
<...「 SPRING 」 August 19, 2018
Words count 9.6k Reading time 9 mins.
jsp
<!DOCTYPE html>
<%@ page contentType="text/html;charset=UTF-8" language="java" %>
<html>
<head>
<%--引入meta标签--%>
<%@include file="common/meta.jsp" %>
<title>bootstrap上传</title...「 SPRING 」 August 19, 2018
Words count 8.2k Reading time 7 mins.
过滤源–过滤规则–过滤结果
可以
不能
假如有两个过滤器，TestFilter、SecondFilter，他们的执行顺序如下：
start______doFilter_________TestFilter
start_________________doFilter____________SecondFilter
end_________________doFilter________________...
Read article「 SPRING 」 August 19, 2018
Words count 4.4k Reading time 4 mins.
在springmvc上传文件到本地的基础上，整合七牛云存储，实现简单的上传功能。
首先maven配置依赖
<!--七牛依赖-->
<dependency>
<groupId>com.qiniu</groupId>
<artifactId>sdk</artifactId>
<version>6.1.7</version>
</dependency>
<dependency>
<...