Archived

「 285 」

  • July 2021

  • July 31, 2021
    Flask中SQLAlchemy自动更新表结构

    Python: 2.7 Flask: 1.0.3Flask-SQLAlchemy: 2.3.2 SQLAlchemy: 1.3.12 Flask-SQLAlchemy是Flask中比较好用的ORM框架，说起ORM框架，熟悉SpringBoot开发的同学肯定对JPA比较了解，它们都是通过实体对象映射关系库中的表，操作实体对象，进行增删改查，减少了SQL的编写，非常方便。在JPA中，当我们修...

  • June 2021

  • June 08, 2021
    Flink自定义窗口触发器

    flink: 1.10.1 Github: https://github.com/shirukai/flink-examples-trigger.git 前段时间同事开发遇到一个需求，要求按照事件时间10分钟窗口计数，同时需要有新数据时每分钟输出一次结果。窗口计数非常简单，设置一个窗口，然后运用一个聚合函数就可以解决了。但是有新数据时每分钟输出一次结果，好像实现起来并不容易，因为按照平时...

  • May 2021

  • May 31, 2021
    centos安装oracle

    一、安装前环境准备1. VMware 搭建centos7 的虚机配置好网络IP为192.168.162.155 2. 下载Oracle11g安装文件linux.x64_11gR2_database_1of2.zip linux.x64_11gR2_database_2of2.zip 百度云： 链接：http://pan.baidu.com/s/1gf1oJJH 密码：1ivl 3. 通过s...

  • May 25, 2021
    centos7下配置Hadoop伪分布式环境

    Centos 版本：7 Hadoop版本：2.7.4 Java版本：1.8 一、安装JDK官网下载jdk 1.8 http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载jdk-8u151-linux-x64.tar.gz并复制到 /usr/lib目录下 然后解压 tar -z...

  • April 2021

  • April 01, 2021
    Java单元测试动态修改环境变量

    今天再写单元测试的时候，遇到一个比较有趣的事情，程序需要读取一个环境变量，而这个变量又是动态生成的，所以在执行单元测试之前要进行环境变量的配置。目前总结了两种方案可以实现动态修改环境变量，修改后的环境变量仅对当前进程生效，即仅在当前Java进程中调用System.getenv(name)生效，分别是通过反射修改Runtime中保存环境变量的Map、和通过JNI的方式调用系统的setenv方法...

  • January 2021

  • January 19, 2021
    Hive大数据仓库入门

    什么是Hiv？ Hive是构建在hadoop HDFS上的一个数据仓库 1 数据仓库1.1基本概念数据仓库是一个面向主题的、集成的、不可更新的、随时间不变化的数据集合，它用于支持企业活组织的决策分析处理。 1.2数据仓库的结构和构建过程 1.3OLTP应用与OLAP应用OLTP（On line Transaction Processing）:连接事务处理（银行转账）面向事务 OLAP（O...

  • January 08, 2021
    java 利用Future做超时任务处理

    Callable<String> task = new Callable<String>() { @Override public String call() throws Exception { return HttpRequestUtil.host().doGet(requestUrl); } ...

  • November 2020

  • November 05, 2020
    Git常用命令及技巧

    1 git stash应用场景：当修改当前分支文件（非新建），且要切换到其它分支时，系统会提示如下信息，这时需要缓存当前分支更改的内容，然后才可以切换分支。 1.1 git stash save缓存当前更改的内容 git stash save -a "change1" Saved working directory and index state On master:...

  • November 02, 2020
    Flink在k8s生产环境高可用部署

    flink: 1.10.1 kubernetes: 1.18.8 1 前言目前参与的项目基本开发完成，打算开发的微服务和Flink任务统一部署到k8s上。之前几个项目都是跑在YARN上，Flink on YARN的部署模式是在生产中比较常见，YARN的稳定性和资源调度能力也是有目共睹的，依托Hadoop生态Flink高可用也很容易实现。关于On YARN 还是On K8S之前文章都有介绍...

  • October 2020

  • October 31, 2020
    k8s使用mac上自带的NFS

    之前文章里有记录如何在mac电脑上使用docker，并搭建k8s集群。最近在开发测试的时候，遇到k8s挂载持久卷的问题。本来想在开发的电脑上搭建一个NFS服务，经过在网上一番搜索发现mac电脑本身就带有一个NFS服务。这篇文章主要记录一下如何在mac上开启并配置NFS服务，以及如何在k8s上使用NFS。 1 配置并开启NFS服务Mac上的NFS服务是作为系统服务提供的，可以使用nfsd ...

  • October 31, 2020
    Flink Cluster On Kubernetes部署

    Flink版本：1.10.1 kubernetes：1.16.5 Flink 在Kubernetes上部署分为Job cluster和Session cluster两种模式。Job cluster需要我们将自己的Jar打到flink镜像里一块部署，session模式可以启动cluster之后，我们再提交jar到session cluster。 1 环境准备在YARN模式部署的文章里，我...

  • October 22, 2020
    k8s常用命令及技巧

    安装Helm export HELM_HOME=$HOME/.helmmkdir .helm/plugins 拷贝helm命令，/usr/local/bin 1helm init -i registry.cn-hangzhou.aliyuncs.com/google_containers/tiller:v2.9.1 –stable-repo-url https://kubernetes....

  • October 22, 2020
    Dockder常用操作及技巧

    1 DockerfileDockerfile常用命令：https://www.jianshu.com/p/10ed530766af 官网介绍：https://docs.docker.com/engine/reference/builder/#usage 1.1 Flask 服务DockerfileFROM python:3 ARG SERVER_PORT=18666 MAINTAINER ...

  • October 21, 2020
    使用Conda Pack打包Python独立运行时环境

    版本说明： python=2.7 Conda 的Pack工具，可以说是让我发现了新大陆。之前有个项目使用它解决了一个棘手的问题，一直没有整理相关笔记，时间长了容易淡忘，恰好有同事问我如何实现的，这里就重新整理一下。 1 棘手问题描述简单描述一下项目中遇到的这个棘手问题： 这个项目是一个Python2.7开发的Flask服务，它里面有不少依赖需要使用pip安装，并且在网络不好的情况下容易下...

  • October 20, 2020
    读书记录

    学习了《设计模式就该这样学》中的门面模式和装饰器模式。 门面模式比较好理解，就是将多个子系统的功能，统一到一起。 装饰器模式，在不改变原有类的前提下，新增以下功能。 2020年10月19日19:00到21:30 开始学习《Netty实战》，目前学习到了第二章的第一个Netty应用程序，客户端的编写部分。前面介绍了以下Java的Socket编程，NIO，以及Netty的一些核心组件的介绍，如C...

  • October 20, 2020
    磁盘分区、格式化及挂载

    1 通过fdisk -l 查看磁盘情况fdisk -l 磁盘 /dev/vda：42.9 GB, 42949672960 字节，83886080 个扇区 Units = 扇区 of 1 * 512 = 512 bytes 扇区大小(逻辑/物理)：512 字节 / 512 字节 I/O 大小(最小/最佳)：512 字节 / 512 字节 磁盘标签类型：dos 磁盘标识符：0x0008e9bc ...

  • September 2020

  • September 25, 2020
    Python中使用flatmap

    写多了Spark、Flink突然觉得到处是map、flatmap，在这些框架中有map、flatmap算子，在scala语言里有对应的方法，而在java 8之后，我们ye可以通过stream api使用map和flatmap，这些用法，用一次就会爱上它，代码确实优雅、好用。早之前我一直以为python里也有这样的用法，也使用过filter、map等方法，但直到今天在写一个小脚本需要用到fla...

  • September 21, 2020
    Flink Cluster On YARN部署

    Flink版本：1.8.2 Hadoop: 3.0.3 参考文章： 文中关于Per-Job、Session模式的描述摘自《Deploy Apache Flink® Natively on YARN/Kubernetes》 https://ververica.cn/developers/deploy-apache-flink-natively-on-yarn-kubernetes/ Fli...

  • September 20, 2020
    Flink算子扩缩容过程中的状态迁移

    根据数据量动态调整Flink应用的算子并行度，在实际业务应用中很常见。对于无状态的算子来说，更改算子并行度非常的容易。但对于有状态的算子来说，调整算子并行度时，需要考虑状态的重新分配。之前文章里提到，Flink中的状态分为键值分区状态、算子列表状态、算子聚合状态、广播状态，那么这些状态在并行度改变时，是如何在子任务实例间迁移的？这篇文章，将分别使用代码示例介绍这四种状态的迁移过程。 1 键值...

  • August 2020

  • August 24, 2020
    GC和GC Tuning

    GC的基础知识1. 什么是垃圾 C语言中申请内存： malloc free C++: new delete Java: new ? 自动内存回收，编程上简单，系统不容易出错 手动释放内存，容易出现两种类型的问题 忘记回收 多次回收 没有任何引用执行的一个对象或者多个对象（循环引用） 2. 如何定位垃圾引用计数 根可达 3 常见的垃圾回收算法Mark-Sweep 标记清除 位置不连续，...

  • August 24, 2020
    从CDH Agent错误日志学习Python拆包语法

    国庆七天长假回来上班，迟迟没有进入工作状态，可能祖国的强大，让我不自觉的也飘了起来，哈哈，该收拾收拾心情，为祖国之繁荣而努力加班挣money了。今天通过解决公司开发环境的一个问题，让我瞬间进入了战斗状态，并且顺便学了一下Python拆包的一些语法，还是挺有意思的。 1 CDH Agent错误日志解决放假回来，同事发现公司开发环境的CDH集群挂了，好长时间没关注了，可能早就挂了吧。挂成什么样了...

  • August 24, 2020
    Python使用subprocess开启新进程之旅

    版本说明：Python2.7 感觉好久没有写博客了，最近接连两项工作，忙的不亦乐乎，难得空档期，做一下笔记总结。同样是工作中遇到的问题，简单描述一下：有这样一段脚本，它执行时间比较长，而且不断地有标准输出，需要Flask提供REST服务去异步执行这段脚本，并且实时捕获标准输出，通过WebSocket推送给前台。关键点：异步调用，实时获取标准输出，并且可能涉及到实时交互。当时解决这个问题，...

  • August 24, 2020
    Spark读取JSON的小扩展

    版本说明： spark 2.3 前言前几天在群里摸鱼的时候，碰都一位同学问了一个比较有趣的问题，他提问：Spark如何读取原生JSON？看到这个问题，心里有些疑惑，Spark不是有JSON数据源支持吗，怎么这里还要问如何读取原生JSON，这原生JSON又是什么鬼？经过交流才明白，原来他所说的原生JSON是类似如下这种格式： { "昌平区东小": [ ...

  • August 24, 2020
    Flink DataStream API之Operators

    官网位置：https://ci.apache.org/projects/flink/flink-docs-release-1.9/zh/dev/stream/operators/ Operators transform one or more DataStreams into a new DataStream. Programs can combine multiple transforma...

  • August 24, 2020
    RPC框架初体验之入门

    项目地址：https://github.com/shirukai/learn-demo-rpc.git RPC全称Remote Procedure Call，顾名思义，远程过程调用的意思。关于RPC的介绍，可以参考一下简书上《如何给老婆解释什么是RPC》这篇文章，很有趣。RPC这个概念，我第一次接触是在《Spark内核设计的艺术》这本书里。后来在看微服务的时候，也提及到了几款RPC框架，...

  • August 24, 2020
    Java封装Azkaban相关API

    版本说明： azkaban：3.43.0 jdk：1.8 项目地址：https://github.com/shirukai/azkaban-java-api.git 1 前言之前在项目开发记录中，写到过两篇文章《利用AOP对Azkaban进行登录控制》和 《Java调用Azkaban相关服务》，记录了在开发过程中使用spring的aop对azkaban进行了登录控制，以及使用Java请求...

  • August 24, 2020
    RPC框架初体验之Thrift

    版本说明：thrfit 0.12.0 模块说明： thrift-demo-java-api: 使用thrift生成Java api thrift-demo-java-server: Java 实现Thrift服务端 thrift-demo-java-client：Java实现Thrift客户端 thrift-demo-py-api：使用thrift生成Python api thrift...

  • August 24, 2020
    Flink DataStream API之State

    无论StructuredStreaming还是Flink在流处理的过程中都有一个“有状态计算“的概念，那么到底什么是有状态计算，有状态计算应用到什么场景，在Flink的DataStream API中如何使用状态，以及在Flink中状态是如何管理的，在这篇文章中，我们一点一点来学习。 1 什么是有状态计算在讲什么是有状态计算之前，先简单说一下什么是无状态计算，在我理解，无状态计算是指本次计算结...

  • August 24, 2020
    StructuredStreaming动态更新参数

    版本说明：Spark 2.4 1 前言在使用StructuredStreaming的时候，我们可能会遇到在不重启Spark应用的情况下动态的更新参数，如：动态更新某个过滤条件、动态更新分区数量、动态更新join的静态数据等。在工作中，遇到了一个应用场景，是实时数据与静态DataFrame去Join，然后做一些处理，但是这个静态DataFrame偶尔会发生变化，要求在不重启Spark应用的...

  • August 24, 2020
    StructuredStreaming项目开发记录

    版本说明:Spark2.4 前言 最近基于Spark Structured Streaming开发一套实时数据判别清洗系统，在开发过程接触了一些StructuredStreaming的新特性以及新用法。本文主要记录一下在开发过程中使用到的技术点，以及遇到的问题总结。 1 放弃Spark Streaming 选用Structured Streaming关于当时项目技术选型最终选择Str...

  • August 24, 2020
    Flask从0到1快速后台服务开发

    版本说明： Python：3.7 Flask：1.0.2 前言 Flask是一个使用 Python 编写的轻量级 Web 应用框架。其 WSGI 工具箱采用 Werkzeug ，模板引擎则使用 Jinja2 ，具体详情查看官网：http://flask.pocoo.org/。 接触Flask有一段时间了，在工作中使用Flask开发了几个轻量级的后台服务，相比较Django框架，Fla...

  • August 24, 2020
    使用IDEA远程Debug在Docker中的Java应用

    今天在工作中遇到了一个问题，Flink应用在本地开发测试都没有问题，打成镜像放到Docker中提交就报空指针异常，日志很少，不太容易定位问题，于是想到了远程Debug，从IDEA官网查阅了相关文档，折腾了一上午终于找出了问题。下面将从创建项目、构建镜像、发布应用、远程调试一步一步进行详细讲解。 官网地址：https://www.jetbrains.com/help/idea/debug-...

  • August 07, 2020
    Ubuntu16.04安装CDH集群

    版本说明： ubuntu: 16.04 jdk: 1.8.0_251 mariadb: 10.0.38 cloudera manager: 6.0.0 cdh: 5.11.0-1.cdh5.11.0.p0.34 相关连接： 安装文档：https://docs.cloudera.com/documentation/enterprise/6/6.0/topics/install_cm_cdh....

  • June 2020

  • June 26, 2020
    Flink中使用嵌入式Kafka进行单元测试

  • June 23, 2020
    Flink中使用嵌入式ElasticSearch进行单元测试

    Flink版本 1.8.0 ElasticSearch版本 5.1.2 Scala版本 2.11.12 Java版本 1.8 Github地址：https://github.com/shirukai/flink-examples-embedded-elasticsearch.git 1 前言前些时间同学在群里问关于ElasticSearch的单元测试，如何mock。当时看到这个问题，我想...

  • June 17, 2020
    调试Local模式下带状态的Flink任务

    Flink版本: 1.8.0 Scala版本: 2.11 Github地址：https://github.com/shirukai/flink-examples-debug-state.git 在本地开发带状态的Flink任务时，经常会遇到这样的问题，需要验证状态是否生效？以及重启应用之后，状态里的数据能否从checkpoint的恢复？首先要明确的是，Flink重启时不会自动加载状态，需要...

  • June 14, 2020
    Mac环境下开启Docker之旅

    使用桌面版的docker已经有一段时间了，主要是在平时的开发中用以搭建各种开发环境。总的来说，在mac上使用桌面版的docker比较容易上手，桌面版也提供k8s的功能，但是开启时总是不能成功，而且在此基础上使用Rancher管理k8s也遇到了各种问题，这里就记录一下这一路上遇到的各种坑。 1 Docker Desktop for Mac使用桌面版的Docker很简单，官网也提供Mac/Win...

  • June 11, 2020
    ElasticSearch基础入门

    索引 含有相同属性的文档集合 类型 索引可以定义一个或多个类型，文档必须属于一个类型 文档 文档是可以被索引的基本数据单位 分片 每个索引都有多个分片，每个分片是一个Lucene索引 备份 拷贝一份分片就可以完成了分片的备份 2 基础用法2.1 RESTFul APIAPI基本格式：http://<ip>:<port>/<索引>/<索引类型>...

  • June 05, 2020
    README

  • April 2020

  • April 11, 2020
    Ambari环境搭建

    一、准备工作准备三台虚机并保证能相互ping通 序号 IP地址 主机名 类型 用户名 1 192.168.162.167 iop167.ambari.com service root 2 192.168.162.168 iop168.ambari.com agent root 3 192.168.162.169 iop169.ambari.com agent root ...

  • April 02, 2020
    Ubuntu离线源制作及签名

    操作系统版本：16.04 1 缓存离线安装包为保证要缓存的安装包，以及依赖包的完整性，建议在一个比较干净的，最好是安装完操作系统之后，没有安装其它软件的环境下进行。 1.1 清空缓存目录执行命令如下命令，清空apt的缓存 rm -rf /var/cache/apt/archives/ 1.2 缓存安装包使用apt-get -d 的方式，可以将安装包以及它的依赖包缓存到/var/cach...

  • March 2020

  • March 20, 2020
    Yum、Pip环境离线包下载及安装

    在一些环境的搭建时，为了不受网络因素影响，可以将一些下载比较慢的包缓存到本地，然后进行离线安装。这里主要记录两种包的离线下载以及安装，Centos的yum和python的pip 1 yum环境离线下载包及安装1.1 yum缓存包这里使用yumdownloade进行离线包以及依赖包的下载。 安装yumdownloade yum install -y yum-utils 下载wget...

  • March 13, 2020
    Docker搭建开发环境合集

    自从接触Docker，便对它产生了浓厚兴趣，平时需要的开发环境也尝试使用Docker来搭建，相比较虚拟机确实方便了不少，这里主要记录一下平时在开发中使用Docker搭建过得开发环境。这里所有使用docker创建的应用都放在了dockerapps目录下。 1 ZooKeeper 版本：3.5 1.1 单节点部署在dockerapps下创建zookeeper目录。此目录包含data目录用来...

  • January 2020

  • January 04, 2020
    django模板语言

    一、 { {}} 获取render字典如views.py def index(request): return render(request, 'index.html', {'hello': 'hello blog'}) templates/index.html <!DOCTYPE html> <...

  • June 2019

  • June 26, 2019
    RPC框架初体验之Dubbo

    版本描述：dubbo 2.7.2 Dubbo是阿里开源的一款RPC框架，最近在学习微服务的时候有提及到。因此对Dubbo进行了入门级体验，这里主要体验体验Dubbo的几种配置方式，如XML配置、API配置、注解配置，以及Springboot里整合Dubbo，同时体验几种注册中心，如simple、zk、redis、multicast。 Dubbo官网内容还是很丰富的，支持中文。地址：htt...

  • June 15, 2019
    SparkSQL数据源操作

    版本说明： spark-2.3.0 SparkSQL支持很多数据源，我们可以使用Spark内置的数据源，目前Spark支持的数据源有：json，parquet，jdbc，orc，libsvm，csv，text。也可以指定自定义的数据源，只需要在读取数据源的时候，指定数据源的全名。在https://spark-packages.org/这个网站，我们可以获取到更多的第三方的数据源。 官网文...

  • June 11, 2019
    SparkStreaming 解析Kafka JSON格式数据

    版本说明： Spark 2.3.0 Kafka 2.11-2.0.0 前言在项目中，SparkStreaming整合Kafka时，通常Kafka发送的数据是以JSON字符串形式发送的，这里总结了五种SparkStreaming解析Kafka中JSON格式数据并转为DataFrame进行数据分析的方法。 需求：将如下JSON格式的数据 转成如下所示的DataFrame 1 使用Pyth...

  • May 2019

  • May 27, 2019
    Conda常用命令及技巧

    1 查看所有环境conda info -e 2 创建环境conda create --name 环境名 python=版本号 3 切换环境conda activate 环境名 4 删除环境conda remove -n 环境名 --all pip源https://www.cnblogs.com/microman/p/6107879.html 升级piphttps://www.jia...

  • May 09, 2019
    集群配置规划工具知识点整理

    一、Vue1.关于图标的使用项目里使用的是在iconfont下载的第三方图标，放在indata_tool_web\src\assets\iconfont目录下。在main.js引入 import './assets/iconfont/iconfont.css' 2.关于登录权限原理：利用vue-router的beforeEach方法，在进入路由之前，读取token，如果to...

  • March 2019

  • March 01, 2019
    StructuredStreaming有状态聚合

    版本说明：Spark2.3 为保证多个Batch之间能够进行有状态的计算，SparkStreaming在1.6版本之前就引入了updateStateByKey的状态管理机制，在1.6之后又引入了mapWithState的状态管理机制。关于SparkStreaming的updateStateByKey和mapWithState的以查看《Spark-Streaming 状态管理应用优化之路》...

  • February 2019

  • February 26, 2019
    CentOS环境下部署kafka集群

    zookeeper版本：zookeeper-3.4.13 kakfa版本：kafka_2.11-2.0.0 1 环境准备在已有zookeeper集群上，部署kakfa集群。每个节点上部署一个broker zookeeper集群主机信息如下： hostname ip 端口 master.hadoop.com 192.168.162.180 2181/2881/3881 slav...

  • February 02, 2019
    SparkSQL基于DataSourceV2自定义数据源

    版本说明：Spark 2.3 前言：之前在SparkSQL数据源操作文章中整理了一些SparkSQL内置数据源的使用，总的来说SparkSQL支持的数据源还是挺丰富的，但业务上可能不拘束于这几种数据源，比如将HBase作为SparkSQL的数据源，REST数据源等。这里主要讲一下在Spark2.3版本之后推出的DataSourceV2，基于DataSourceV2实现自定义数据源 1 D...

  • January 2019

  • January 29, 2019
    StructuredStreaming 内置数据源及实现自定义数据源

    版本说明： Spark:2.3/2.4 代码仓库：https://github.com/shirukai/spark-structured-datasource.git 1 Structured内置的输入源 Source官网文档：http://spark.apache.org/docs/latest/structured-streaming-programming-guide.html#...

  • January 28, 2019
    SparkStreaming整合多种数据源

    SparkStreaming可以处理多种数据源，比如从socket里获取数据流，从文件系统获取数据流，从Flume获取数据流、从Kafka里获取数据流等。 需要注意的是： SparkStreaming 在处理socket、flume、kafka、Kinesis数据源的时候，本地模式下不能用以local、或者local[1]运行，因为需要启动一个线程运行Receivers来接收数据。读取文件...

  • November 2018

  • November 22, 2018
    HBase基本概念及知识点

    HBase 写流程 Client会县访问zookeeper，得到对应的RegionServer地址 Clinet对RegionServer发起请求，RegionServer接收数据写入内 当MemStore的大小达到一定的值后，flush到StoreFile并存储到HDFS HBase中的WAL（预写日志）的实现：https://www.cnblogs.com/ohuang/p/580...

  • November 21, 2018
    Cloudera Manager 自动化部署CDH集群

    版本说明： Python 2.7 Ansible 2.7.2 cm-api1 9.1.1 Cloudera Manger 6.0.0 CDH Parcel 6.0.0-1.cdh6.0.0.p0.537114 部署环境：CentOS 7.3 1 思路自动化部署CDH集群主要分为两大模块： 模块一：使用Ansible部署基础环境，包括：修改hosts、互信、关闭防火墙、安装Java、安...

  • November 16, 2018
    CDH Manager 自动化部署集群相关API整理

    http://192.168.1.58:7180/cmf/license/wizard?returnUrl=%2Fcmf%2Fexpress-wizard%2Fwizard#step=selectLicenseStep http://192.168.1.58:7180/cmf/express-wizard/wizard 获取集群部署配置 获取host信息: http://192.168.1....

  • November 09, 2018
    ansible

    1）inventory 该参数表示资源清单inventory文件的位置，资源清单就是一些Ansible需要连接管理的主机列表 inventory = /root/ansible/hosts 2）library Ansible的操作动作，无论是本地或远程，都使用一小段代码来执行，这小段代码称为模块，这个library参数就是指向存放Ansible模块的目录 library = /us...

  • November 07, 2018
    Python基于单例模式实现具有时效性的内存缓存

    版本说明：Python 2.7 Python有不少第三方的缓存库，如cacheout、memcached等。因为项目需求，这里不使用第三方库，自己实现具有时效性的内存缓存，用来缓存重复利用的数据。 1 设计实现1.1 思路采用dict()作为缓存介质，数据以key、value的形式进行保存。key为cache_id，用来标识不同的缓存数据。value是要进行缓存的数据。并且使用单例的设计...

  • October 2018

  • October 31, 2018
    HBase单机伪分布式安装

    版本说明： hadoop-2.7.6 zookeeper-3.4.13 hbase-2.1.0 1 下载安装包官网地址：http://hbase.apache.org/downloads.html 1.1 下载安装包在官网下载相应版本的安装包，这里下载的是hbase-2.1.0版本。 wget http://mirror.bit.edu.cn/apache/hbase/2.1.0/hba...

  • October 31, 2018
    Flume的简单安装和使用

    版本说明： Flume:1.8.0 Java:1.8.0 官网地址：http://flume.apache.org/ 1 Flume的安装在安装Flume之前，确保已经安装过Java JDK 1.8以上。 1.1 下载安装包从Flume官网下载安装包，下载地址：http://mirror.bit.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-b...

  • October 26, 2018
    CDH Manager API 操作Yarn资源池

    版本说明：CDH 5.11.0 API版本：v16 1 API 权限认证在使用REST API 访问 CDH Manager 提供的相关接口的时候，需要进行权限认证。认证的类型是 Basic Auth。在java编程中将如下所示生成authorization，然后将该认证信息添加到请求头信息中即可。 private static String generateAuth(String us...

  • October 13, 2018
    Hadoop文件路径支持的通配符

    摘自《Hadoop权威指南》 1 Hadoop中的通配符在单个操作中处理一批文件，这是一个常见要求，举例来说，处理日志的MapReduce作业可能需要分析一个月内包含在大量目录中的日志文件。在一个表达式中使用通配符来匹配多个文件是比较方便的，无需列举每个文件和目录来指定输入，该操作称为“通配符”（globbing）。Spark读取文件时，也可以使用通配符去匹配文件，直接在文件路径里使用通...

  • October 12, 2018
    linux常用命令及技巧

    删除某个目录下，所有子目录中包含指定字符的文件或者文件夹 例如删除 包含“index”的文件或目录 find * | grep index* | xargs rm 查看yum已安装的软件模糊查询 yum list | grep 关键字* 建立软链接 ln -s 连接地址 目录名 shell远程登录另一台主机，并执行命令 #!/bin/bash echo "=========...

  • October 09, 2018
    《Spark内核设计的艺术架构与实战》读书笔记

    1 新名字及概念1.1 Sockethttps://www.cnblogs.com/yiwangzhibujian/p/7107785.html 1.2 RPC框架https://blog.csdn.net/kingcat666/article/details/78577079 https://www.jianshu.com/p/5b90a4e70783 1.3 NIOhttps://www...

  • October 09, 2018
    基于Netty的http server实现

    版本说明： netty：4.1.17.Final 项目地址：https://github.com/shirukai/netty-http-server-demo.git 最近在看Spark源码的RPC框架实现的代码的时候，接触到Netty。在Spark1.6之后，Spark中RPC通信的框架由Netty逐渐代替了Akka。 为什么Netty可以取代Akka？首先毋庸置疑的是Akka可以做...

  • September 2018

  • September 30, 2018
    Java Socket 基础以及NIO Socket

    1 什么是Socket？网络上的两个程序通过一个双向的通信连接实现数据的交换，这个连接的一端称为一个socket。 关于Socket的介绍：https://blog.csdn.net/httpdrestart/article/details/80670388 2 简单的Socket通讯下面记录一下，基于java实现Socket通讯，主要包括Socket服务端和Socket客户端两部分。 2....

  • September 28, 2018
    Spark优化

    1 HistoryServer配置及使用官网地址：http://spark.apache.org/docs/latest/monitoring.html 1.1 开启HistoryServer要想开启spark的HistoryServer只需要修改$SPARK_HOME/conf/spark-defaults.conf文件，将spark.eventLog.enabled设置为true。 首先...

  • September 13, 2018
    SparkSQL操作hive表

    版本说明： Hadoop: 2.7.6 Spark: 2.3.0 Hive: 3.0.0 要想SparkSQL能后读到hive的元数据，需要将hive的配置文件hive-site.xml拷贝到Spark的conf目录下。另外，需要将mysql的jar包分别拷到hive的lib目录下和spark的jars目录下。简易下载高版本的jar包，避免不必要的错误。 1 创建Hive表进入hive命...

  • September 13, 2018
    Spark DataFrame列的合并和拆分

    版本说明：Spark-2.3.0 使用Spark SQL在对数据进行处理的过程中，可能会遇到对一列数据拆分为多列，或者把多列数据合并为一列。这里记录一下目前想到的对DataFrame列数据进行合并和拆分的几种方法。 1 DataFrame列数据的合并例如：我们有如下数据，想要将三列数据合并为一列，并以“,”分割 +----+---+-----------+ |name|age| ...

  • September 11, 2018
    SparkSQL内置函数

    版本说明：spark-2.3.0 SparkSQL内置函数官网API：http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.sql.functions%24 CSDN博主整理的内置函数：https://blog.csdn.net/liam08/article/details/79663018 平...

  • September 10, 2018
    Sprinboot整合Quartz实现定时任务调度管理

    版本说明： springboot版本：2.0.0.RELEASE quartz版本：2.3.0 github地址：https://github.com/shirukai/quartz-demo.git Quartz官网：http://www.quartz-scheduler.org/ Quartz是一款开源的定时任务调度框架，本文主要记录一下在工作中使用springboot整合quart...

  • September 05, 2018
    springboot项目启动自动执行方法

    平时项目里可能会遇到，在启动项目的时候，需要进行初始化操作，如执行一段SQL脚本，或者提前对一些类进行实例化。这时候可以使用ApplicationRunner接口进行操作。下面将从初始化执行SQL脚本为例，记录在项目中应用ApplicationRunner的方法。 1 利用ApplicationRunner初始化SQL脚本在项目resources目录下存放我们将要初始化的sql脚本，内容如下...

  • August 2018

  • August 31, 2018
    SparkStreaming 读写Kafka

    版本说明 kafka：2.12-2.0.0 spark： <spark.version>2.3.0</spark.version> scala依赖包： <dependency> <groupId>org.apache.spark</groupId> <artifactId>spark-streami...

  • August 31, 2018
    Spark读写Elasticsearch

    版本说明 Spark:2.3.1 Elasticsearch: elasticsearch-6.4.0 1 Scala环境下Spark读写Elasticsearch1.1 依赖包1.1.1 Spark依赖<dependency> <groupId>org.apache.spark</groupId> <artifactId>...

  • August 31, 2018
    Elasticsearch与Kibana部署及使用

    安装环境 Mac OS 适用于Linux 版本说明 Elasticsearch：6.4.0 Kibana：6.4.0 1 Elasticsearch部署及使用官网：https://www.elastic.co/ 1.1 下载Elasticsearch下载地址：https://www.elastic.co/downloads/elasticsearch 选择系统环境相应版本进行下载，这...

  • August 30, 2018
    azkaban环境搭建

    一、环境准备版本说明：jdk:1.8.0_151 ant: 1.10.2 mysql:5.1 node:8.5.0 安装JDK官网下载地址： http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html 下载jdk-8u151-linux-x64.tar.gz并复制到 /usr/lib目...

  • August 30, 2018
    CentOS下部署zookeeper集群

    版本：zookeeper-3.4.13 1 环境准备1.1 准备三台机器机器信息如下： hostname ip 端口 master.hadoop.com 192.168.162.180 2181/2881/3881 slave1.hadoop.com 192.168.162.181 2181/2881/3881 slave2.hadoop.com 192.168.162....

  • August 29, 2018
    Spark运行模式

    官网说明：http://spark.apache.org/docs/latest/submitting-applications.html 目前spark支持的运行模式主要有Local、Standalone、Mesos、YARN、Kubernetes。这里主要记录spark在Local、Standalone、YARN环境下运行。 假如目前我们有一个简单的wordcount应用，将分别在以下环...

  • August 28, 2018
    PySpark实战之Spark Core核心

    1 RDD常用操作RDD操作有两种：Transformation和Action Transformation：从一个已有的RDD中创建一个新的RDD Action：执行计算，返回一个结果 1.1 Transformations算子 Transformation Meaning map(func) 遍历已有的RDD中的每个元素，并应用func函数，生成新的RDD返回。 filte...

  • August 28, 2018
    Spark RDD

    概念： 一个只读且分区的数据集 RDD的优势： 高效容错 可以控制数据的分区来优化计算性能 并行处理 提供了丰富的操作数据的api 可以显示的将任何类型的中间结果存储在内存中 RDD的五个主要特性 * Internally, each RDD is characterized by five main properties: * * - A list of partitions 一系列...

  • August 25, 2018
    利用avro实现序列化反序列化

    摘一段来自https://www.jianshu.com/p/a5c0cbfbf608简书上介绍avro的内容： Avro是一个数据序列化系统，设计用于支持大批量数据交换的应用。 它的主要特点有：支持二进制序列化方式，可以便捷，快速地处理大量数据；动态语言友好，Avro提供的机制使动态语言可以方便地处理Avro数据。 当前市场上有很多类似的序列化系统，如Google的Protocol Buf...

  • August 25, 2018
    kafka自定义消息序列化和反序列化方式

    版本说明： kafka版本：kafka_2.12-2.0.0.tgz pom依赖： <dependency> <groupId>org.apache.kafka</groupId> <artifactId>kafka-clients</artifactId> <version>2.0.0<...

  • August 25, 2018
    ProtostuffUtil序列化反序列化工具类

    package com.springboot.demo.utils; import com.dyuproject.protostuff.LinkedBuffer; import com.dyuproject.protostuff.ProtostuffIOUtil; import com.dyuproject.protostuff.Schema; import com.dyuproject....

  • August 25, 2018
    Properties读取配置文件工具类

    PropertiesUtil.java package com.springboot.demo.utils; import org.springframework.core.io.ClassPathResource; import java.io.IOException; import java.io.InputStream; import java.util.Properties; ...

  • August 21, 2018
    Springboot异步任务执行及监控

    除了自己实现线程外，springboot本身就提供了通过注解的方式，进行异步任务的执行。下面主要记录一下，在Springboot项目中实现异步任务，以及对异步任务进行封装监控。 1 开启异步支持想要使用springboot的注解进行异步任务，首先要开启springboot的异步任务支持。通过集成AsyncConfigurer接口，并实现getAsyncExcutor()方法，如下所示： pa...

  • August 21, 2018
    利用POI实现表格导入导出功能

    maven依赖 <!--微软POI依赖--> <dependency> <groupId>org.apache.poi</groupId> <artifactId>poi-ooxml</artifactId> <version>3.17</version> </dependenc...

  • August 20, 2018
    利用Typora+qiniu-image-tool+Snipaste快速书写Markdown

    工具介绍Typora：极致简洁、且功能强大的Markdown本地编写软件。 官网 https://www.typora.io/ qiniu-image-tool利用七牛搭建图床，自动将图片上传到七牛，并拿到了链接，然后直接返回给markdown编辑器。 复制本地图片Ctrl+Alt+V 粘贴到此处 截图Ctrl+Alt+V粘贴此处 下载地址：http://ov1a6etyz.bkt....

  • August 20, 2018
    集群配置规划及自动化部署工具截图

    一、工具说明 二、配置规划1.基础配置 2.节点信息 3.服务选择 4.组件部署 5.生成部署 三、配置管理 四、一键部署

  • August 20, 2018
    主机页面开发记录

    说明 说明：需要在后台发送http请求rest api接口，得到json数据，格式如下： 然后对json数据做处理，拿到经过base64编码的数据Value对应的值进行解码，拼接成datatable指定的格式。 用到的知识点：后端： java 利用httpclient进行http请求 json字符串转jsonArray、jsonObjects、map、list，利用gson或者json-l...

  • August 20, 2018
    头像文件上传服务器的功能实现

    在此项目中，用户注册时，需要上传头像，这里简单的利用了几个插件，实现了头像上传服务器的功能。前端利用了一个upload的插件，后端引用了Spring 的上传文件的jar包，下面整理贴出了项目中的相关代码： JSP页面需要引入js以及css文件：bootstrap.cssui.cssform.cssfont-awesome.css 引入css<link rel="stylesh...

  • August 20, 2018
    generate_api、jenkins_api使用说明

    准备pip安装python_jenkins包pip install python-jenkins 复制自定义python包复制项目中的indata_pack目录到python的site-packages下。 位置：indata_dev\indata_tool_api\indata_pack indata_pack说明目录结构： config_base目录主要存放jenkins执行时需要...

  • August 20, 2018
    利用AOP对Azkaban进行登录控制

    azkaban使用的是session进行登录控制，session过期时间为1天。所以对于azkaban接口服务的调用，首先要进行登录获取session。解决方案有三种： 1.在执行请求前，先进行登录。 优点：实现简单 缺点：每次都要发送登录请求，azkaban服务器负担较大 2.通过某个请求来判断是否登录，如果登录，继续执行，没有登录，先执行登录，再执行下面的请求操作。 优点：无需每次都进行...

  • August 20, 2018
    使用maven打包可执行jar

    在项目中需要将一些算法打包成可执行的jar，然后上传算法。这里主要是用的是maven插件进行可执行jar打包，插件包括maven-shade-plugin和org.scala-tools（主要用来打包编译scala文件）。下面将从搭建普通项目到打包可执行jar详细讲解一下。 搭建maven项目创建项目在IDEA下创建一个普通的maven项目：File–>New –>Project...

  • August 20, 2018
    Java调用Azkaban相关服务

    项目里主要使用远程调用azkaban提供的api进行相关任务的执行，下面主要从基础接口封装和调用实例来记录相关代码。 基础接口封装参考官网ajax-api:http://azkaban.github.io/azkaban/docs/latest/#ajax-api 对于azkaban基础接口的封装主要是利用java调用azkaban官网提供的ajax-api，通过springframewor...

  • August 20, 2018
    CentOS下配置Nginx

    官网：https://nginx.org/en/download.html 一、编译安装1.下载源码 wget https://nginx.org/download/nginx-1.13.10.tar.gz 2.解压 tar -zxvf nginx-1.13.10.tar.gz 3.编译安装 进入目录 cd nginx-1.13.10 配置 ./configure 编译 make ...

  • August 20, 2018
    CentOS下安装sqlServer

    1.下载 Microsoft SQL Server Red Hat 存储库配置文件： curl -o /etc/yum.repos.d/mssql-server.repo https://packages.microsoft.com/config/rhel/7/mssql-server-2017.repo 2.通过yum安装 yum install -y mssql-server 3....

  • August 20, 2018
    CentOS下安装MongoDB

    MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。 MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。 1 下载安装官网提供windows、Linux、OSX系统环境下的安装包，这里主要是记录一下在Linux下的安装。首先到官网下载最新的安装包。这里下载的...

  • August 20, 2018
    9-6 OvR 与OvO解决多分类

    OvR 和 OvOimport numpy as np import matplotlib.pyplot as plt from sklearn import datasets iris = datasets.load_iris() X = iris.data[:,:2] y = iris.target /Users/shirukai/anaconda3/lib/python3.6/...

  • August 20, 2018
    9-5 Sklearn中的逻辑回归

    逻辑回归中使用正则化 scikit-learn中的逻辑回归import numpy as np import matplotlib.pyplot as plt np.random.seed(666) X = np.random.normal(0,1,size=(200,2)) y = np.array(X[:,0]**2 + X[:,1] < 1.5,dtype='int&...

  • August 20, 2018
    9-4逻辑回归中使用多项式特征

    逻辑回归中添加多项式特征import numpy as np import matplotlib.pyplot as plt np.random.seed(666) X = np.random.normal(0,1,size=(200,2)) y = np.array(X[:,0]**2+X[:,1]**2 <1.5,dtype='int') plt.scatter...

  • August 20, 2018
    9-3 实现逻辑回归

    实现逻辑回归import numpy as np import matplotlib.pyplot as plt from sklearn import datasets iris = datasets.load_iris() X = iris.data y = iris.target X = X[y<2, :2] y = y[y<2] X.shape (100, 2)...

  • August 20, 2018
    9-2逻辑回归的损失函数

  • August 20, 2018
    9-1逻辑回归算法 Logistic Regression

    逻辑回归解决分类问题 回归问题怎么解决分类问题？将样本的特征和样本发生的概率联系起来，概率是一个数 Sigmoid 函数import numpy as np import matplotlib.pyplot as plt def sigmoid(t): return 1 / (1 + np.exp(-t)) x = np.linspace(-10,10,500) y = ...

  • August 20, 2018
    6-6 LASSO Regularization

    岭回归 LASSO RegressionLeast Absolute Shrinkage and Selection Operator Regression import numpy as np import matplotlib.pyplot as plt np.random.seed(42) x = np.random.uniform(-3.0,3.0,size=100) X = x....

  • August 20, 2018
    6-5 模型正则化 Regularization

    模型正则化：限制参数的大小 岭回归import numpy as np import matplotlib.pyplot as plt np.random.seed(42) x = np.random.uniform(-3.0,3.0,size=100) X = x.reshape(-1,1) y = 0.5 * x + 3 + np.random.normal(0,1,size=100)...

  • August 20, 2018
    6-4 偏差方差权衡 Bias Variance Trade off

    偏差和方差 模型误差模型误差 = 偏差（Bias）+ 方差（Variance）+ 不可避免的误差 偏差（Bias） 方差（Variance） 偏差和方差偏差和方差通常是矛盾的：降低偏差，会提高方差，降低方差会提高偏差 机器学习的主要挑战，来自于方差 解决高方差的通常手段 降低模型复杂度 减少数据维度；降噪 增加样本数 使用验证集 模型正则化

  • August 20, 2018
    6-3 验证数据与交叉验证

    问题：针对特定测试数据集过拟合？解决方法是将数据分成三份，训练数据、验证数据、测试数据 交叉验证 Cross Validation import numpy as np from sklearn import datasets /Users/shirukai/anaconda3/lib/python3.6/importlib/_bootstrap.py:219: RuntimeWarni...

  • August 20, 2018
    5-4 使用PCA进行降噪

    import numpy as np import matplotlib.pyplot as plt X = np.empty((100,2)) X[:,0] = np.random.uniform(0.,100.,size=100) X[:,1] = 0.75 * X[:,0] + 3. + np.random.normal(0,5,size=100) plt.scatter(X[...

  • August 20, 2018
    5-1 多元线性回归

    具体的编程实现import numpy as np from sklearn.metrics import r2_score class LinearRegression: def __init__(self): """初始化Linear Regression模型""" self.co...

  • August 20, 2018
    4-2 梯度下降法的总结以及相关讨论

    如何调试梯度import numpy as np import matplotlib.pyplot as plt np.random.seed(666) X = np.random.random(size=(1000,10)) true_theta = np.arange(1,12,dtype=float) X_b = np.hstack([np.ones((len(X),1)),X]...

  • August 20, 2018
    3-2 实现 Simple Linear Regression

    import numpy as np import matplotlib.pyplot as plt x = np.array([1.,2.,3.,4.,5.]) y = np.array([1.,3.,2.,3.,5.]) plt.scatter(x,y) plt.axis([0,6,0,6]) plt.show() # x的均值 x_mean = np.mean(x) # y的均...

  • August 20, 2018
    3-1 线性回归算法

    线性回归算法 解决回归问题 思想简单，实现容易 许多强大的非线性模型的基础 结果具有很好的可解释行 蕴含机器学习汇总的很多重要思想 什么是线性回归算法？

  • August 20, 2018
    2-Jupyter Notebook

    a 单元格之前创建新的单元格 b单元格之后创建新的单元格 dd 删除当前单元格 ctrl+enter 运行单元格 Jupyter Notebook高级-魔法命令%run运行.py的文件 比如我要执行当前notebook所在的目录下的myscript目录里有一个hello.py文件 %run myscript/hello.py 引入包在notebook里引入一个包，直接用import即可 ...

  • August 20, 2018
    2-5 数据归一化

    解决方案：将所有的数据映射到同一尺度 最值归一化：normalization把所有数据映射到0-1之间 均值方差归一化 standardization把所有数据归一到均值为0方差为1的分布中 适用于：数据分布没有明显的边界；有可能存在极端数据值 数据归一化 Normalizationimport numpy as np import matplotlib.pyplot as plt x =...

  • August 20, 2018
    2-3 测试算法准确性

    import numpy as np import matplotlib import matplotlib.pyplot as plt from sklearn import datasets digits = datasets.load_digits() digits.keys() dict_keys(['data', 'target', '...

  • August 20, 2018
    2-4 KNN-超参数

    import numpy as np from sklearn import datasets digits = datasets.load_digits() X = digits.data y = digits.target from sklearn.model_selection import train_test_split X_train,X_test,y_train,y_...

  • August 20, 2018
    2-1 kNN-k近邻算法

    kNN-k近邻算法 思想季度简单 应用数学只是少 效果好 可以解释机器学习算法使用过程中的很多细节问题 更完整的刻画机器学习应用的流程 假如k=3，就是寻找与该样本最近的3个样本来投票，票数多的样本就认为该待测样本与多数多的样本相似 import numpy as np import matplotlib.pyplot as plt raw_data_X = [[3.393533211...

  • August 20, 2018
    10-2 精准率和召回率

  • August 20, 2018
    10-1 准确度的陷阱和混淆矩阵

    分类准确度的问题对于极度偏科(Skewed Data)的数据，只使用分类准确度是远远不够的 混淆矩阵 Confusion Matrix 例子说明：现在有10000个人的测试数据，0代表不患病，1代表患病。 9978表示在10000个人当中有9978个人，本身没有患病，机器学习算法预测也没有患病。 12表示在10000个人当中有12个人，本身没有患病，机器学习算法却预测为患病 2表示在1000...

  • August 20, 2018
    1-6 读取数据和简单的数据探索

    import numpy as np import matplotlib as mpl import matplotlib.pyplot as plt from sklearn import datasets iris = datasets.load_iris() iris.keys() dict_keys(['data', 'target', '...

  • August 20, 2018
    1-5 matplotlib基础

    matplotlib 基础import numpy as np import matplotlib as mpl import matplotlib.pyplot as plt x = np.linspace(0,10,100) x array([ 0. , 0.1010101 , 0.2020202 , 0.3030303 , 0.4040404 , ...

  • August 20, 2018
    1-0机器学习基础

    数据整体叫数据集（data set） 每一行数据成为一个样本（sample） 除最后一列，每一列表达样本的的一个特征（feature） 最后一列，称为标记(label) 机器学习的任务分类任务二分类例如： 判断邮件是不是垃圾邮件 判断发放给客户信用卡是否有风险 判断患病是良性还是恶性 判断股票的涨跌 多分类例如： 数字识别 图像识别 判断发放给客户信息卡的风险评级 多标签分类回归任务例如...

  • August 20, 2018
    面试笔记

    大数据相关的面试题 ：1. zookeeper概念，以及为什么是奇数个？概念ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件，提供的功能包括：配置维护、域名服务、分布式同步、组服务等。 为什么是奇数个？Zookeeper的核心是原子广播，这个机制保证了...

  • August 20, 2018
    利用Github和Hexo搭建自己的博客

    一、 安装 Node.js windows下64为安装包下载地址：https://nodejs.org/dist/v6.11.2/node-v6.11.2-x64.msi 安装后再cmd下运行：node -v 出现如下内容，说明安装成功。 C:\Users\shirukai>node -v v6.11.2 安装npm淘宝源cnpm：在cmd下运行 npm ins...

  • August 20, 2018
    influxdb时序数据库

    查看目录 rpm -ql influxdb 存储文件：可以在influxdb.conf里配置存储位置 data数据 meta元数据 wal https://www.jianshu.com/p/d2935e99006e

  • August 20, 2018
    javascript 面向对象编程(一)：封装

    学习摘录自：阮一峰老师博客：http://www.ruanyifeng.com/blog/2010/05/object-oriented_javascript_encapsulation.html Javascript 是一种基于对象（object-based）的语言，你遇到的所有东西几乎都是对象，但是，它又不是真正的面向对象语言，因为他的语法中没有class类 那么，如果我们要把”属性...

  • August 20, 2018
    jsjQuery实现iframe高度自适应

    虽然现在前端框架很多，但是有时候还是会需要用到iframe的，在使用iframe的时候，为了美观一点，会尽量避免在父窗口中出现滚动条，在notebook这个项目案例中，也是大量使用了iframe，其中也有高度自适应，下面将用原生js和jQuery两种方法去实现高度自适应。 js代码写在iframe子页面中 //初始化方法 adjIframe(); //调整父ifr...

  • August 20, 2018
    $.each用法及表单联动

    元素遍历HTML<ul> <li id="one">1</li> <li id="two">2</li> <li id="three">3</li> <li id="four">4<...

  • August 20, 2018
    flex布局

    /*flex*/ .fl{ display: flex; } .in-fl{ display: inline-flex; } /*flex-direction row（默认值）：主轴为水平方向，起点在左端。 row-reverse：主轴为水平方向，起点...

  • August 20, 2018
    ElementUI之Layout布局

    基础布局 整个宽度分为24份，通过span属性来定义元素的宽度占多少 <el-row> <el-col :span="12"><div class="grid-content bg-purple-dark"></div></el-col> <el-col :span...

  • August 20, 2018
    Vue添加第三方iconfont图标库

    一、图标包制作我们需要到iconfont选择图标，然后下载到本地。 iconfont官网：http://www.iconfont.cn/ 下面以导入官方提供的【AIS产品图标库】为例 1.登录到iconfont 2.选择图标库在导航栏点击【图标库】然后选择【官方图标库】 这时候我们会看到官方图标库，我们找到【AIS产品图标库】，点击进入 3.添加图标到自己的库添加入库进入【AIS产品图标...

  • August 20, 2018
    vue.js 1.0 学习

    环境搭建//安装全局的vue-cli命令行工具 cnpm install -g vue-cli //创建基于'webpack'模板的新项目 vue init webpack#1.0 my-project //切换到项目里安装依赖 cnpm install //启动服务 npm run dev MVVM框架 vue.js 简介什么是vue.js他是一个轻量级 mvvm框架数据...

  • August 20, 2018
    spring项目整合redis

    之前利用xml配置过spring-data-redis，但是在实际的项目中，兼容性不是很好。先在看一个实际项目中整合redis的案例。 1 首先pom.xml引入依赖 <!--redis客户端 jedis--> <dependency> <groupId>redis.clients</groupI...

  • August 20, 2018
    Spring事务管理

    事务的概念和特性事务：一起成功、一起失败 什么是事务呢？ 事务指的是逻辑上的一组操作，这组操作要么全部成功，要么全部失败 事务的特性： 原子性、一致性、隔离性、持久性原子性：原子性是值事务是一个不可分割的工作单位，事务中的操作要么都发生，要么都不发生 一致性：一致性指事务前后数据的完整性必须保持一致 隔离性：隔离性是指多个用户并发访问数据库时，一个用户的事务不能被其他用户的事务所干扰...

  • August 20, 2018
    springmvc整合七牛云存储实现文件上传(js篇)

    所谓js实现，是指在客户端进行上传，而不是在服务器端进行上传，这样可以极大的提高上传速率。要想利用js实现七牛上传，同样需要后台获取uptoken，得到验证后才允许上传。 官方dome 需要引入css、js 七牛下载链接:http://ov1a6etyz.bkt.clouddn.com/qiniu.rar <%--引入css--%> <link href="<...

  • August 20, 2018
    Springboot学习

    1利用IDEA创建springboot web 项目1.1 新建项目选择spring Initializr,然后点下一步。 1.2填写项目信息 1.3选择项目类型 1.4项目名和项目路径 1.5补充包目录在com.springboot.demo下创建 controller包 entity包 jpa包 service包 1.6 依赖处理在pom.xml里导入数据库依赖 <!--数据库相...

  • August 20, 2018
    Spring RestTemplate

    发送请求除了使用httpclient之外，我们也可以使用spring的 RestTemplate GET请求在RestTemplate里可以通过getForEntity和getForObject发送请求。 getForEntitygetForEntity方法的返回值是一个ResponseEntity<T>，ResponseEntity<T>是Spring对HTTP请求...

  • August 20, 2018
    Spring data学习

    官网：http://projects.spring.io/spring-data/ Spring Data的使命是为数据访问提供熟悉且一致的基于Spring的编程模型，同时仍保留底层数据存储的特殊特性。 它使得使用数据访问技术，关系数据库和非关系数据库，map-reduce框架以及基于云的数据服务变得很容易。这是一个总括项目，其中包含许多特定于特定数据库的子项目。这些项目是通过与许...

  • August 20, 2018
    spark分布式计算

    概述分布式计算：在每一个block所在的机器针对block数据进行计算，将结果汇总到计算master。 原则：移动计算而尽可能少的移动数据 其实就是将单台机器上的计算扩展多台机器上进行计算 spark分布式计算：计算是怎么并行计算的？每一个block数据块就是一个分区计算的输入数据集，对每一个block计算都是可以同时进行的，这样就达到了并行计算的目的。对于按照相同key来聚合（相同的key...

  • August 20, 2018
    scala面向对象编程

    package com.hollysys.scala /** * * @author shirukai * Created in 2018/6/20 上午10:33 */ trait Animal{ def eat() } trait AnbleRun{ def run() = { println("很正...

  • August 20, 2018
    Scala基础

    变量三种变量修饰符val 定义immutable variable 常量 var 定义 mutable variable 变量 lazy val 惰性求值 scala> lazy val f= 1*4 f: Int = <lazy> scala> f res22: Int = 4 数据类型 scala> val name:String = "srk...

  • August 20, 2018
    windows环境搭建

    一、安装 Anaconda官网下载：https://www.anaconda.com/download/#windows 1.下载完成后进行安装，【Next】 2.点击【I Agree】同意条款 3.选择安装类型，第一个是安装到当前用户，第二个是安装到所有用户。 4.选择安装路径 5.勾选Add Anaconda to my PATH environment variable选项，将...

  • August 20, 2018
    linux下django+vue.js环境搭建及项目构建

    一、环境搭建 python: 2.7.5 django: 1.11.7 node: 8.5.0 mysql: 5.7 1. 安装pythoncentos下默认已经安装了python 2. 安装 node.js下载安装包 版本地址 wget https://nodejs.org/dist/v8.5.0/node-v8.5.0-linux-x64.tar.gz 解压 tar zxvf nod...

  • August 20, 2018
    django返回对象Response

    https://www.cnblogs.com/huwei934/p/6978641.html 一、不调用模板不使用模板，直接返回数据,如： def test_response(request): return HttpResponse('this is response test!') 二、调用模板from django.template import load...

  • August 20, 2018
    Django 国际化

    django版本: >>> import django >>> print django.VERSION (1, 11, 5, u'final', 0) >>> python版本： [root@new_name ~]# python -V Python 2.7.5 一、 构建Django项目 创建项目 d...

  • August 20, 2018
    djangoAjax请求

    Django 中自带了防止CSRF攻击的功能，所以在表单或者Ajax发送POST的请求的时候，如果没有带有csrf_token ，请求会被拒绝 设置django表单提交GET请求不需要csrf认证，POST请求需要认证才能得到正确的结果。一般在POST表单中加入 {% csrf_token%} <form method="POST" act...

  • August 20, 2018
    python的类及其方法

    一、python中的类在python中，面向对象编程主要有两个主题，就是类和类实例 类与实例： 类与实例相互关联着：类是对象的定义，而实例是”真正的实物”，它存放了类中所定义的对象的具体信息 类的优点： 1、类对象是多态的：也就是多种形态，这意味着我们可以对不同的类对象使用同样的操作方法，而不需要额外写代码。 2、类的封装：封装之后，可以直接调用类的对象，来操作内部的一些类方法，不需要...

  • August 20, 2018
    python利用slenium编写自动答题脚本

    最近在一次做灯塔在线知识竞答的时候，突然萌生了用python写一个自动化答题的脚本。然后就根据想法在网上查了查相关资料，带着问题找思路。 python如何从浏览器中爬取数据？ python如何控制浏览器？ python如何读取word文档？ 经过搜索查阅资料，基本确定思路，首先简单介绍一下slenium：Selenium是一个用于Web应用程序测试的工具。Selenium测试直接运行在浏...

  • August 20, 2018
    python使用setuptools打包egg

    作为Python标准的打包及分发工具，setuptools可以说相当得简单易用。相面记录一下Python如何利用setuptools进行分发打包。 安装Setuptools方式一：通过python安装 wget http://peak.telecommunity.com/dist/ez_setup.py python ez_setup.py 方式二：yum 安装 yum install p...

  • August 20, 2018
    nifi学习记录

    一个易于使用，功能强大且可靠的系统来处理和分发数据。 一、特征Apache NiFi支持强大且可扩展的数据路由，转换和系统中介逻辑的有向图。Apache NiFi的一些高级功能和目标包括： 基于Web的用户界面 设计，控制，反馈和监控之间的无缝体验 高度可配置 容忍损失与保证交付 低延迟vs高吞吐量 动态优先化 流量可以在运行时修改 背压 数据来源 跟踪数据流从头到尾 为扩...

  • August 20, 2018
    kafka官网文档学习

    介绍kafka是一个分布式流式数据平台，具备以下三个特点： 类似消息系统，提供事件流的发布和订阅，即具备数据注入功能 存储时间流数据的几点具有故障容错的特点，即具备数据存储功能 能够对实时的事件流进行流式地处理和分析，即具备流处理功能 kafka通常用户两大类应用： 构建可在系统或应用程序之间可靠获取数据的实时流数据管道 构建实时流应用程序，用户转换或相应数据流 与kafka相关的概念：...

  • August 20, 2018
    Kafka基本操作

    需要启动zookeeper，因为kafka会将topic信息写入zookeeper的brokers目录； config/server.properties文件至少需要配置zookeeper信息； 通过 bin/kafka-server-start.sh -daemon config/server.properties 启动kafka。 -daemon表示在后台运行。 关闭kafk...

  • August 20, 2018
    Java集合框架中的常用集合及其特点、使用场景、实现原理

    Java提供的众多集合类由两大接口衍生而来：Collection接口和Map接口 Collection接口Collection接口定义了一个包含一批对象的集合。接口的主要方法包括： size() - 集合内的对象数量 add(E)/addAll(Collection) - 向集合内添加单个/批量对象 remove(Object)/removeAll(Collection) - 从集合内删除...

  • August 20, 2018
    java_IO编程

    一、流的概念什么是流？流是一个抽象出来的概念，具体说是对[输入/输出]设备的抽象（内存、网络、磁盘），对系统读写API的封装，对外提供数据操作接口 基本概念流：数据在文件和程序（内存）之间经历的路径输入流：数据从文件到程序（内存）的路径输出流：数据从程序（内存）到文件的路径 根据处理数据类型的不同可以分为：字节流（抽象基类为InputStream和OutputStream)和字符流（抽象基类...

  • August 20, 2018
    java多线程

    java多线程主要体现在Thread这个类和Runnable这个接口上。他们里面都有一个共同的方法run() Thread常用方法 创建线程的两种方法 第一个是继承Thread类 public class Actor extends Thread{ @Override public void run() { //TO-DO 线程要执行的方法 ...

  • August 20, 2018
    zookeeper工作原理

    1 zookeeper选主流程zookeeper的核心是原子广播，这个机制保证了各个Server之间的同步，实现这个机制的协议叫做Zab协议。Zab协议有两种模式，分别是恢复模式（选主）和广播模式（同步）。当服务器启动或者leader崩溃以后Zab进入恢复模式，当leader被选举出来以后，然后进行同步模式。 zxid：是一个64位的数字，高32位是epoch，用来标志leader关系是否改...

  • August 20, 2018
    java接口对hadoop集群进行操作

    首先要有一个配置好的Hadoop集群 这里是我在SSM框架搭建的项目的测试类中实现的 一、windows下配置环境变量下载文件并解压到C盘或者其他目录。链接：http://pan.baidu.com/s/1jHHPElg 密码：aufd 配置环境变量1.配置HADOOP_HOME 2.配置PATH在PATH中添加 %HADOOP_HOME%\bin 3.配置HADOOP_USER_NA...

  • August 20, 2018
    IDEA向hadoop集群提交MapReduce作业

    windows环境：IntelliJ IDEA 2017.2.3、JRE: 1.8.0_152-release-915-b11 、hadoop-2.7.4.tar.gz、hadoop-common-2.2.0-bin-master.rar 一、windows下配置hadoop环境1.解压hadoop-2.7.4.tar.gz到c盘(或者任意目录)解压hadoop-2.7.4.tar.gz到C...

  • August 20, 2018
    hive学习之修改表、分区、列

    查看已有表： 0: jdbc:hive2://localhost:10000> show tables; +----------------------+ | tab_name | +----------------------+ | bucket_table | | external_student | | partition_tabl...

  • August 20, 2018
    Hive大数据仓库进阶

    1 Hive的数据导入1.1 使用load语句语法LOAD DATA [LOCAL] INPATH ‘filepath’ [OVERWRITE] INTO TABLE tablename [PARTITION (partcoll=val1,partcol2=val2…)] 说明： [LOCAL] 是否从linux本地去取文件。加上local是从linux读取文件，不加local是从hdfs中...

  • August 20, 2018
    hiveDDL学习

    https://cwiki.apache.org/confluence/display/Hive/LanguageManual+DDL 1 创建/删除/修改/使用数据库CREATE (DATABASE|SCHEMA) [IF NOT EXISTS] database_name [COMMENT database_comment] [LOCATION hdfs_path] [WIT...

  • August 20, 2018
    Hbase入门与实战

    1 课程目标 HBase的引用场景及特点 HBase的概念与定位 HBase架构体系与设计模型 HBase的安装部署 HBase shell使用 2 HBase的应用场景及特点2.1 HBase能做什么？ 海量数据存储（上百亿行乘以上百万列） 准实时查询 2.2 举例说明HBase实际业务场景中的应用 交通 金融 电商 移动 2.3 HBase 的特点 容量大 HBase单表可以有百...

  • August 20, 2018
    Hadoop推荐算法-基于用户的协同过滤推荐算法UserCF

    算法思想：给用户推荐和他兴趣相似的其他用户喜欢的物品 理论现有如下用户、商品、行为、权重![https://shirukai.gitee.io/images/1510554135635__IZF__1U_Z@XX4R`_UTFEW.png](https://shirukai.gitee.io/images/1510554135635__IZF__1U_Z@XX4R`_UTFEW.png) 行...

  • August 20, 2018
    Hadoop推荐算法-基于物品的协同过滤ItemCF

    算法思想：给用户推荐那些和他们之前喜欢的物品相似的物品 用户行为与权重 点击——1.0分 搜索——3.0分 收藏——5.0分 付款——10.0分 实例现有如下用户、商品、行为、权重:用户:A、B、C 商品:1、2、3、4、5、6 行为:点击(1)、搜索（2）、收藏（5）、付款（10） 用户行为列表 用户 物品 行为 A 1 点击 C 3 收藏 B 2 搜索 B 5 ...

  • August 20, 2018
    Hadoop推荐算法-基于内容的协同

    算法思想：给用户推荐和他们之前喜欢的物品在内容上相似的其他物品 物品特征建模 Item Profile 算法步骤1 构建Item Profile矩阵 2构建Item User 评分矩阵3 Item User * Item Profile = User Profile 4 对Item Profile 和User Profile 求余弦相似度 代码实现 step1mapper1package ...

  • August 20, 2018
    Hadoop分布式缓存

    背景：在执行MapReduce时，可能Mapper之间需要共享一些信息，如果信息量不大，可以将其从HDFS加载到内存中，这就是Hadoop分布式缓存机制 矩阵相乘的例子 需求及思路 需求：给出两个矩阵，要利用MapReduce做矩阵相乘操作 思路： 矩阵相乘：左矩阵的列数 = 右矩阵的行数 相乘得到新的矩阵：行数 = 左矩阵的行 ​ 列数 = 右矩阵...

  • August 20, 2018
    hadoop-MapReduce

    MapReduce原理分而治之，一个大任务分成多个小的子任务(map),并行执行后，合并结果（reduce） MaperReduce的运行流程基本概念 MapReduce的四个阶段 MapReduce的容错机制①重复执行 （默认重复执行四次之后仍然失败放弃执行） ② 推测执行 在整个任务执行的过程中，需要map端所有的任务都完成后，才开始执行Reduce端的任务。 map端可能出现某一个任...

  • August 20, 2018
    hadoop-HDFS

    HDFS设计架构基本概念：块(Block)、NameNode、DataNode 块（block）HDFS的文件被分成块进行存储，HDFS块的默认大小64MB，块是文件存储处理的逻辑单元（在Hadoop-0.x和Hadoop-1.x中默认的块大小为64MB，在Hadoop-2.0及以后的版本中默认的块大小是128MB） NameNodenamenode是管理节点，存放文件元数据 ①文件与数据块...

  • August 20, 2018
    azkaban的job类型

    Sparkjob type=spark master=local execution-jar=azkaban.jar class=com.azkaban.hollysys.main params=hdfs://192.168.66.192:8020/user/root/srk/input/words.txt hdfs://192.168.66.192:8020/user/root/srk/o...

  • August 20, 2018
    azkaban java api

    java-clienthttps://github.com/shirdrn/azk-client javahttps://github.com/Jacker-Wang/AzkabanHandle pythonhttps://github.com/runningdata/azkaban_client Java API for Azkaban job schedulerhttps://githu...

  • August 20, 2018
    Ambari多语言处理

    1.ambari-web在ambari-web/app下新建目录locales，然后在locales目录下创建zh、en目录，分别存放中文、英文语言js文件。 en下的message.js为英文语言，跟app目录下的message.js相同 zh下的使我们要汉化的语言。翻译相对应的字段即可。 1.1状态修改 修改modes/host_component.js 243行 getTextS...

  • August 20, 2018
    Ambari二次开发-实时编译-部署 集成环境搭建

    总体思路：对ambari-web、ambari-admin进行单独编译，利用brunch watch功能，对文件源码进行实时监控编译。ambari-web/public 里存放编译完成的文件，（这里的文件目录与部署ambari后 /usr/lib/ambari-server/web 里的相同），对/usr/lib/ambari-server/web 建立软链接到public，就能实现 开发...

  • August 19, 2018
    1-1 numpy数组合并

    import numpy as np x = np.array([1,2,3]) y = np.array([3,2,1]) x array([1, 2, 3]) y array([3, 2, 1]) x与y合并 np.concatenate([x,y]) array([1, 2, 3, 3, 2, 1]) z = np.array([666,666,666]) np.co...

  • August 19, 2018
    1-3 numpy中的矩阵聚合操作

    import numpy as np L = np.random.random(100) L array([0.25119175, 0.92977429, 0.99646455, 0.01350068, 0.10785383, 0.13216408, 0.53743682, 0.2362282 , 0.43276904, 0.88723033, 0.32363...

  • August 19, 2018
    1-4 numpy中Fancy Indexing

    import numpy as np x = np.arange(16) x array([ 0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15]) x[3] 3 x[3:9] array([3, 4, 5, 6, 7, 8]) x[3:9:2] array([3, 5, 7]) [x[3],x[5],...

  • August 19, 2018
    1-2 numpy.array中的运算

    import numpy as np 给定一个向量，让向量中每一个数乘以2a = (0,1,2)a*2 = (0,2,4) 普通python中 n = 10 L = [i for i in range(n)] L [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] 2 * L [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 0, 1, 2, 3, 4, 5...

  • August 19, 2018
    2-6 k近邻算法总结

    最大的缺点：效率低下 如果训练集有m个样本，n个特征，则预测每一个新的数据，需要O(m*n) 优化，使用树结构：KD-Tree,Ball-Tree 缺点2：高度数据相关 缺点3：预测结果不具有可解释性 缺点4：维数灾难 随着维护的增加，“看似相近”的两个点之间的距离越来越大 解决方法：降维

  • August 19, 2018
    5-3 MNIST数据集

    import numpy as np from sklearn.datasets import fetch_mldata mnist = fetch_mldata("MNIST original",data_home="/Users/shirukai/Desktop/MachineLearn/datasets/") mnist {...

  • August 19, 2018
    6-1 多项式回归

    多项式回归

  • August 19, 2018
    ambari部署

    web页面手动部署 将deployer-inspur文件部署到/opt目录下 利用Xshell工具将文件复制到目录 切换到/opt/deployer-inspur目录 [root@localhost opt]# cd /opt/deployer-inspur 在Manager所在的节点执行以下命令查看ip [root@localhost deployer-inspur]# ifconf...

  • August 19, 2018
    前后端存取Cookie

    一、前端存取cookie1.前端jsp存入cookie<%@ page import="java.util.Map" %> <%@ page contentType="text/html;charset=UTF-8" language="java" %> <html> <head> ...

  • August 19, 2018
    all()、filter()、get()、values()、values_list()、区别

    我们在models.py里定义一个Student类，如： class Student(models.Model): stu_name = models.CharField(max_length=30) stu_no = models.CharField(max_length=20) stu_sex = models.CharField(max_length=10) ...

  • August 19, 2018
    Ambari2.6源码编译之ambari-web

    1.准备1.1下载源码安装wgetyum -y install wget 下载源码将源码下载到/opt目录下 wget http://www.apache.org/dist/ambari/ambari-2.6.0/apache-ambari-2.6.0-src.tar.gz -O /opt/apache-ambari-2.6.0-src.tar.gz 1.2配置编译环境1.2.1安装no...

  • August 19, 2018
    Ambari2.6源码编译之ambari-admin

    ambari-admin 使用的是angularjs + bower + gulp 1.准备1.1下载源码安装wgetyum -y install wget 下载源码将源码下载到/opt目录下 wget http://www.apache.org/dist/ambari/ambari-2.6.0/apache-ambari-2.6.0-src.tar.gz -O /opt/apache-...

  • August 19, 2018
    基础（一）：数据库操作

    连接服务器 打开命令行：“开始”菜单—所有程序—MySQL—MySQL Server 5.7–MySQL 5.7 输入密码：inspur 创建数据库，指定编码为utf-8： CREATE DATABASE `mysqltest1` DEFAULT CHARACTER SET utf8; 3.查看服务器所有数据库 SHOW DATABASES; 切换到新创建的数据库： use...

  • August 19, 2018
    hive学习之beeline使用

    官网文档： https://cwiki.apache.org/confluence/display/Hive/HiveServer2+Clients#HiveServer2Clients-ConnectionURLs 什么是Beeline？HiveServer2支持与HiveServer2一起使用的命令shell Beeline。这是一个基于SQLLine CLI的JDBC客户端。 Beel...

  • August 19, 2018
    bootstrap上传插件

    引入js <link rel="stylesheet" href="skins/css/bootstrap.css"> <link rel="stylesheet" href="skins/css/fileinput.min.css"> <link rel="stylesh...

  • August 19, 2018
    基础（二）：表操作

    一、创建表 创建表 CREATE TABLE dept( deptino INT, dname VARCHAR(20), loc VARCHAR(20) ) 查看表的详细定义 SHOW CREATE TABLE dept\G 特殊说明：MySQL的命令行中，语句的结尾有三种：英文分号，\g和\G，其中\G的显示效果最好 二、增加字段 在表的最后增加字段(默认是在最后添加) A...

  • August 19, 2018
    CentOS7下yum安装MariaDB与简单配置

    开始之前要确保已经安装yum并且配置好相关的源。 一、 安装命令：yum -y install mariadb mariadb-server 二、启动MariaDBsystemctl start mariadb 三、 设置开机启动systemctl enable mariadb 四、相关配置mysql_secure_installation 1. 设置密码Enter current ...

  • August 19, 2018
    更改Linux登录的shell

    查看linux一共有哪些shell chsh -l 查看当前用户执行的shell echo $ SHELL //SHELL一定要大写 修改当前用户的shell为bin/sh chsh -s /bin/sh

  • August 19, 2018
    Collection借口、子接口以及实现类

    Conlection接口 是List Set 和Queue接口的父接口 定义了可操作性List、Set、Queue的方法——增删改查List接口及其实现类——ArrayList List是元素有序并且可以重合的集合，被称为序列 List可以精确的控制每个元素的插入位置，或删除某个位置元素 ArrayList ——数组序列，是List 的一个重要实现类 ArrayList 底层是由数组实现的

  • August 19, 2018
    linux环境下编译安装grafana并实现汉化

    前言：目前实现汉化的方案很笨拙，需要对源码里的模板文件，以及js里用的显示数据进行一一汉化。所以在这里记录一下汉化以及编译安装的过程。 一、配置运行环境 go语言环境 node环境 git 安装go语言环境利用yum安装go yum install go yum会自动处理go需要的环境依赖 ​ 安装 node.js 下载安装包 版本地址 ​ wget https://nodejs.o...

  • August 19, 2018
    linux环境下编译安装prometheus

    go语言环境yum insatll go git源码export GOPATH=`pwd` cd $GOPATH/src/github.com/prometheus git clone https://github.com/prometheus/prometheus.git cd prometheus 编译前端静态文件make assets 整体编译make build 运行复制pr...

  • August 19, 2018
    centos7下配置Hadoop全分布式环境

    一、准备工作准备三台虚机并保证能相互ping通 序号 IP地址 主机名 类型 用户名 1 192.168.162.177 Master.Hadoop NameNode root 2 192.168.162.155 Slave1.Hadoop DataNode root 3 192.168.162.166 Slave2.Hadoop DataNode root 主机名的修...

  • August 19, 2018
    数据库中文字符集问题

    ALTER TABLE tableName CONVERT TO CHARACTER SET utf8;

  • August 19, 2018
    djang获取字段方法

    通过._meta.fields获取以Student这个model为例 In [59]: Student._meta.fields Out[59]: (<django.db.models.fields.AutoField: id>, <django.db.models.fields.CharField: stu_name>, <django.db.model...

  • August 19, 2018
    django配置URL

    之前配置url是直接修改url.py如下图： from django.conf.urls import url from django.contrib import admin import blog.views as bv urlpatterns = [ url(r'^admin/', admin.site.urls), url(r'^index/&...

  • August 19, 2018
    django在linux上搭建需要注意的问题

    启动runserver时需要在命令行后添加 地址和端口号，如下： python manage.py runserver 0.0.0.0:8000 修改settings文件，允许访问的主机参数： ALLOWED_HOSTS = ['*']

  • August 19, 2018
    django增删改查

    models.py class Student(models.Model): stu_name = models.CharField(max_length=30) stu_no = models.CharField(max_length=20) stu_sex = models.CharField(max_length=10) stu_age = models...

  • August 19, 2018
    django数据models基础

    例子定义一个Persion模型类，包括first_name、last_name字段 from django.db import models class Person(models.Model): first_name = models.CharField(max_length=30) last_name = models.CharField(max_length=30) ...

  • August 19, 2018
    django配置settings详解

    项目根目录：BASE_DIR = os.path.dirname(os.path.dirname(os.path.abspath(__file__))) 项目安全码：SECRET_KEY = ')b)3406p#v$u4ft(v@9ex*=0*w1l*=0v0ixdrey)mmcd2uf#(x' DEBUG调试：DEBUG = True 不要在实际生产中打开debug...

  • August 19, 2018
    django查询结果转json的几种方法

    第一种：利用serializers转换def json_test(request): data = {} book = Book.objects.all() data['list'] = json.loads(serializers.serialize("json", book)) return Json...

  • August 19, 2018
    django模板组件化

    Django中也有模板组件化的思想。在模板的应用中有包含、继承的概念。 包含：include 不难理解，包含就是指一个模板里包含另一模板里内容 举个栗子 比如我们要再A.html里应用B.html里的内容，也就是A里包含B，我们可以这样写： <!DOCTYPE html> <html> <head> <title>title</...

  • August 19, 2018
    Django登录权限控制实现

    django版本: >>> import django >>> print django.VERSION (1, 8, 14, 'final', 0) python版本： [root@new_name ~]# python -V Python 2.7.5 一、配置 settings.py设置中间件 MIDDLEWARE_CLAS...

  • August 19, 2018
    django分页查询

    一、django部分在view.py里添加分页查询方法 from django.http import JsonResponse from django.views.decorators.http import require_http_methods from django.core import serializers from django.core.paginator import ...

  • August 19, 2018
    ElementUI之button

    基础用法 <el-button type="primary">primary</el-button> <el-button type="success">success</el-button> <el-button type="warning&...

  • August 19, 2018
    练习1：文件操作和目录遍历

    File类常用的方法String getName() //得到一个文件的名称（不包括路径） String getPath() //得到一个文件的路径名 String getAbsolutePath() //得到一个文件的绝对路径名 String getParent() //得到一个文件的上一级路径名 String renameTo(File newname)//将当前文件名更名为给定文...

  • August 19, 2018
    练习4：字符流的写入FileWriter

    实例：package com.inspur.io; import java.io.FileWriter; /** * Created by shirukai on 2017/7/26. * */ public class Filewrite { public static void main(String[] args){ Filewri...

  • August 19, 2018
    练习5：字符流的读取 FileReader

    实例：package com.inspur.io; import java.io.File; import java.io.FileReader; /** * Created by shirukai on 2017/7/26. * */ public class Filereader { public static void main(String[] agrs)...

  • August 19, 2018
    练习2：字节流读取FileInputStream

    package com.inspur.io; import java.io.File; import java.io.FileInputStream; /** * Created by shirukai on 2017/7/26. * */ public class Fileinputstream { public static void main(String[]...

  • August 19, 2018
    基础（四）：视图操作

    创建视图CREATE VIEW VIEW_DEPT_DNO AS SELECT DEPTNO AOC_ID, DNAME AOC_NAME,LOC AOC_LOC FROM DEPT WHERE LOC ="本部"; 删除视图DROP VIEW VIEW_DEPT_DNO;

  • August 19, 2018
    基础（三）：创建索引

    创建表的时候，创建索引CREATE TABLE DEPT_INDEX( DEPTNO INT, DNAME VARBINARY(20), LOC VARBINARY(20), INDEX INDEX_DEPTNO(DEPTNO) ); 利用CREATE INDEX创建索引CREATE INDEX INDEX_DNAME ON DEPT_INDEX(DNAME); 修改表的...

  • August 19, 2018
    泛型

    集合中的元素，可以是任意类型的对象（对象的引用）如果把某个对象放入集合，则会忽略他的类型,而把它当做Object处理 泛型则是规定了某个集合只可以存放特定类型的对象并且会在编译期间对进行类型检查 创建一个测试泛型类TestGenericpublic class TestGeneric { //声明带有泛型的List属性 public List<Course...

  • August 19, 2018
    前后端存取Seesion(前端jsp)

    1.前端jsp获取session<%@ page import="java.util.Map" %> <%@ page import="java.util.HashMap" %> <%@ page import="java.util.Enumeration" %><%-- Created...

  • August 19, 2018
    hive知识点总结

    1.制表符创建表的时候设置制表符 create table emp (empno int, ename string, job string,mgr int, hiredate date, sal float, comm float, deptno int) row format delimited fields terminated by ","; 如何查看hive...

  • August 19, 2018
    index页面功能实现说明

    一、页面描述 这个页面有两个表格，分别展示manager列表，主机列表。 manager列表里的功能有： 展示manger信息包括：manager ip、agent数量、manger状态等 部署日志详情 查看当前集群主机列表 所有主机列表的功能有： 展示主机信息包括：主机地址、所属manager、主机状态等 主机部署日志 重新部署 查看主机配置 二、功能实现记录1. 展示manage...

  • August 19, 2018
    安装jenkins

    Jenkins安装过程下载yum源 wget -O /etc/yum.repos.d/jenkins.repo http://pkg.jenkins-ci.org/redhat-stable/jenkins.repo 安装 yum 源 rpm --import http://pkg.jenkins-ci.org/redhat/jenkins-ci.org.key yum 安装jenkin...

  • August 19, 2018
    centos下安装mysql

    Cenos7默认数据库是mariaDB，所以yum install mysql 会自动安装mariaDB。所以我们要想在centos7下安装mysql，首先要配置mysql的源。 1. 从mysql官网下载 yum repo配置文件wget http://dev.mysql.com/get/mysql57-community-release-el7-9.noarch.rpm 2. 安装yu...

  • August 19, 2018
    在vue里引入jquery

    一、npm安装jquery在项目文件目录下运行如下命令，安装jquery npm install jquery 二、配置webpack修改build/webpack.base.conf.js文件 在开头加入一行代码 var webpack=require("webpack") 然后在这个文件中的module.exports添加如下代码： plugins: [ n...

  • August 19, 2018
    在vue里引入element-ui

    一、安装element-ui在项目路径下安装element-ui，运行命令： npm install element-ui -s 二、项目导入 element-ui修改main.js文件 import ElementUI from 'element-ui' import 'element-ui/lib/theme-default/index.css' Vu...

  • August 19, 2018
    java httpClient 用法

    当我们需要利用java在后台发送http请求，并对请求之后的数据处理时，我们可以用HttpClient来实现。下面是学习官网文档，关于HttpClient的用法。 http://hc.apache.org/httpcomponents-client-ga/tutorial/html/fundamentals.html maven引入依赖jar包 <!--http请求依赖--...

  • August 19, 2018
    java ExecutorService四种线程池

    一、new Thread弊端及线程池优势new Thread弊端 ：a. 每次new Thread新建对象性能差。 b. 线程缺乏统一管理，可能无限制新建线程，相互之间竞争，及可能占用过多系统资源导致死机或oom。 c. 缺乏更多功能，如定时执行、定期执行、线程中断。 线程池优势：a. 重用存在的线程，减少对象创建、消亡的开销，性能佳。 b. 可有效控制最大并发线程数，提高系统资源的使用率，...

  • August 19, 2018
    Java遍历map、list

    Java遍历map的四种方法 补充：将javabean封装成map package com.mavenssmlr.util; import java.beans.BeanInfo; import java.beans.Introspector; import java.beans.PropertyDescriptor; import java.lang.reflect.Method; i...

  • August 19, 2018
    Java遍历map的四种方法

    补充：将javabean封装成map package com.mavenssmlr.util; import java.beans.BeanInfo; import java.beans.Introspector; import java.beans.PropertyDescriptor; import java.lang.reflect.Method; import java.uti...

  • August 19, 2018
    jpa多条件查询重写Specification的toPredicate方法

    https://blog.csdn.net/wncnke/article/details/54408394

  • August 19, 2018
    javascript面向对象编程(二)构造函数的继承

    摘录学习自：阮一峰老师的博客：http://www.ruanyifeng.com/blog/2010/05/object-oriented_javascript_inheritance.html 现在有一个“动物“构造函数 function Animal() { this.species = "动物"; } 还有一个“猫”的构造函数 func...

  • August 19, 2018
    jpa利用pageable分页排序

    @RequestMapping(value = "/testPageable", method = RequestMethod.GET) public Page<User> testPageable( @RequestParam("page") Integer page, @RequestParam(&quo...

  • August 19, 2018
    jquery计时插件的使用

    引入jquery.js和jquery.countdown.js <script src="jquery.js"></script> <script src="jquery.countdown.js"></script> html代码： <!DOCTYPE html> <html lan...

  • August 19, 2018
    Linux常用操作

    常用指令ls 显示文件或目录 -l 列出文件详细信息l(list) -a 列出当前目录下所有文件及目录，包括隐藏的a(all) mkdir 创建目录 -p 创建目录，若无父目录，则创建p(parent) cd 切换目录 touch 创建空文件 echo 创建带有内容的文件。 c...

  • August 19, 2018
    学习Hadoop之MapReduce

    MapReduce最简单的例子 如下图所示，假如我们要计算一份海报的数据，那么我们应该怎么快速计算出结果呢？ ​ 首先，我们要知道的是，我们对于一份非常大的文件上传到我们的HDFS分布式系统上时，它已经不是一个文件了，而是被物理分割成了很多份，至于被分成多少块那就要看文件的大小了，假如文件的大小是1g，HDFS默认的Block Size（区块）大小是128M，那么1g的文件就被分成了...

  • August 19, 2018
    Linux常用解压缩操作

    gzip 对文件进行解压缩压缩 gzip -v helloword.txt 查看压缩内容 zcat helloword.txt.gz 解压缩文件 gzip -d helloword.txt.gz 使用最佳压缩比，并保留原文件 gzip -9 -c helloword.txt > helloword.txt.gz bzip2 对文件进行解压缩压缩 bzip2 -z hellowr...

  • August 19, 2018
    linux配置yum本地源

    往往安装某些软件时，依赖的东西太多，或者网络原因，容易造成软件安装失败，这时候我们可以配置yum本地源，将需要的软件的rpm包同步到本地，然后使用本地源。例如安装ambari的时候，我们通常把ambari的安装源同步到本地，然后安装。 1 安装httpd Httpd是由ASF（apache software foundation）维护的开源项目之一 也是目前最为流行的web服务器之一 目...

  • August 19, 2018
    Linux切换用户su[user]与su - [user]区别

    linux 系统中用户切换的命令为su，语法为： su[-flmp][-c command][-s shell][–help][–version][-][USER[ARG] 参数说明： -f ， -fast：不必启动文件（如sch.cshrc等），仅用于csh或tcsh两种Shell。 -l， -login：加了这个参数之后，就好像是重新登录一样，大部分环境变量（例如HOME、SHELL...

  • August 19, 2018
    linux培训笔记之Bash

  • August 19, 2018
    List类案例

    通过案例实现对list类的增删改查 创建课程类public class Course { //设置属性课程编号为cid public String cid; //设置属性课程名为cname public String cname; //构造有参方法给cid、cname赋值 public Course(String cid,Stri...

  • August 19, 2018
    修改Ip脚本

    #!/bin/bash#获取当前ipoldip=$(ip addr | awk ‘/^[0-9]+: / {}; /inet.global/ {print gensub(/(.)/(.*)/, “\1”, “g”, $2)}’)echo ‘当前系统的IP为:’$oldipecho -n ‘请输入要修改的IP:’read newipsed -i “s/${oldip}/${newip}/g” ...

  • August 19, 2018
    mybatis与spring整合：Dao层映射配置

    要想mybatis查询数据库后，数据自动映射到指定的entity里的pojo类里，这里有三种方法，一种是通过XML文件里resultMap来建立对应关系、第二种是entity的类属性与表字段名字保持一致、第三种:其实原理是跟第二种一样，只不过是开启的mybatis的驼峰命名自动转换，即数据库字段 user_id的会对应到类属性里的userId，更符合java的命名规范。 第一种：通过resu...

  • August 19, 2018
    mysql修改表、字段、库的字符集

    修改数据库的字符集：ALTER DATABASE databaseName DEFAULT CHARACTER SET utf8; 把表默认的字符集和所有字符列（CHAR,VARCHAR,TEXT）改为新的字符集：ALTER TABLE tableName CONVERT TO CHARACTER SET utf8 COLLATE utf8_general_ci; 只是修改表的默认字符集...

  • August 19, 2018
    权限管理 – 文件权限练习

    1.设置目录权限创建共享目录/home/admins；属组为adminuser；mkdir -p /home/admins //-p意思是如果父目录不存在，自动创建 groupadd adminuser ls -ld /home/admins //查看目录权限 chgrp -R adminuser /home/admins //更改所属组 chown -R root /home/ad...

  • August 19, 2018
    权限管理 – 用户组管理练习

    1.按要求创建用户组及多个用户，设置用户的候选组，设置用户的默认shellgroupadd adminuser 创建组adminuser 创建用户natasha和harry属于该组（该组为他们的第二个组）useradd -G adminuser natasha useradd -G adminuser harry passwd natasha passwd harry 创建用户sarah，...

  • August 19, 2018
    练习3：字节流写入FileOutputStream

    package com.inspur.io; import java.io.File; import java.io.FileOutputStream; /** * Created by shirukai on 2017/7/26. * */ public class Fileoutstream { public static void main(String[]...

  • August 19, 2018
    python 自定义生成具有时效性的token

    注意测试django版本： >>> import django >>> print django.VERSION (1, 11, 5, u'final', 0) 生成token第一步：随机生成sha1秘钥利用python里的hashlib库生成 sha1秘钥，这是一个单向加密过程，给这个sha1秘钥起名为sha1_token。 第二步...

  • August 19, 2018
    python 获取路径的常见方法

    sys.path测试执行路径为：D:\Repository\testapi\learnpath\LearnPath.py 执行以下命令： print(sys.path) 结果: [ "D:\\Repository\\testapi\\learnpath", "D:\\Repository\\testapi", "C:...

  • August 19, 2018
    QuerySet API

    从数据库中查询出来的结果一般是一个集合，这个集合叫做queryset 查看Django QuerySet执行的SQL在python Manage.py shell 里执行下列操作 print str(Author.objects.all().query) 结果： SELECT `blog_author`.`id`, `blog_author`.`name`, `blog_author`.`...

  • August 19, 2018
    Radio 单选框

    <el-radio class="radio" v-model="radio" label="1">备选项</el-radio> <el-radio class="radio" v-model="radio" label="2">备...

  • August 19, 2018
    Redis的安装以及与java结合使用

    Redis简介：Redis本质上是一个Key-Value类型的内存数据库，很像memcached，整个数据库统统加载在内存当中进行操作，定期通过异步操作把数据库数据flush到硬盘上进行保存。因为是纯内存操作，Redis的性能非常出色，Redis最大的魅力是支持保存List链表和Set集合的数据结构，而且还支持对List进行各种操作，例如从List两端push和pop数据，取 List区间，...

  • August 19, 2018
    select_system选择虚拟化平台页面的实现

    一、页面描述 这也页面主要是让用户去选择虚拟化平台如vsphere等，然后填入相应的平台地址用户名和密码就可以对接虚拟化平台了。 二、功能描述 首先对表单进行校验，这里利用了validform插件对表单进行校验，然后是当用户选择了虚拟化平台环境之后，我们要判断当先用户下这个平台之前有没有填入数据库，请求数据，当请求判断后台已经存在相应记录时，直接获取后台数据，并将相应的平台地址用户名和密码...

  • August 19, 2018
    Set接口及其实现类——HashSet

    Set是元素无序并且不可以重复的集合，被称为集HashSet——哈希集，是Set的一个重要的实现类 HashSet案例 提供备选课程 创建学生对象，并给该学生添加三门课程（添加正在学生的courses——Set类型的属性中） 显示备选课程 循环三次，每次输入课程ID 往学生的courses属性中添加与输入的ID匹配的课程 输出学生选择的课程代码清单创建学生类 public class...

  • August 19, 2018
    秒杀系统的实现之Service层

    DAO接口后的思考 (Data Access Object) 数据访问对象DAO层工作演变为：接口设计+SQL编写 代码和SQL的分析，方便Review DAO拼接等逻辑在Service层完成 Service接口和实现类创建包：service、dto、exception 在resources/spring下创建spring-service.xml配置文件<?xml version=&q...

  • August 19, 2018
    创建DataFrame的几种方式

    如要生成如下的DataFrame数据 +----+---+-----------+ |name|age| phone| +----+---+-----------+ |ming| 20|15552211521| |hong| 19|13287994007| | zhi| 21|15552211523| +----+---+-----------+ 第一种：通过Seq生成val s...

  • August 19, 2018
    shell编程积累

    一、Shell脚本中8种字符串截取方法给定变量 str=home/user/test.jar export str="home/user/test.jar" echo $str home/user/test.jar 1.#截取删除指定字符的左侧字符，保留右侧字符 从左到右找到第一个匹配的字符，然后进行截取 echo ${str#*/} user/t...

  • August 19, 2018
    解决单点登录后ambari登录页、集群创建页闪跳问题

    登录页闪跳注释掉一下内容,大约在app.js 93006行 /* connectOutlets: function (router, context) { $('title').text(Em.I18n.t('app.name')); router.get('applicationCon...

  • August 19, 2018
    sparkML特征向量合并和拆分

    VectorAssembler（特征向量合并）是spark ml包里提供的算法， 但是对于向量拆分，官方没有听方法，这里从GitHub上看到一个向量拆分的算法，一起贴出来学习研究。 VectorAssembler（特征向量合并）摘录官网翻译： VectorAssembler 是将给定的一系列的列合并到单个向量列中的transformer。它可以将原始特征和不同特征transformers（转...

  • August 19, 2018
    秒杀系统高并发api优化

    为什么要单独获取系统时间？用户大量刷新页面，用户访问的静态资源、css、js都部署在CDN上，用户访问时，是不会访问到我们的服务器上的，所以，这个时候的时间是不可控的也不是同步的。所以我们需要一个统一的api来，来获取系统服务器上的一致性的时间。 CDN的理解：CDN（内容分发网络）加速用户获取数据的系统 部署在离用户最近的网络节点上 命中CDN不需要访问后端服务器 互联网公司自己搭建或者租...

  • August 19, 2018
    spring与mybatis整合解决java没有保存形参记录的问题

    接口方法： List<Seckill> queryAll(int offset,int limit); SQL: <select id="queryAll" resultType="Seckill"> SELECT seckill_id,name,number,start_time,end_time,c...

  • August 19, 2018
    Springboot项目整合MongoDB

    本文主要记录在Springboot项目中整合MongoDB，并演示增删改查，以及分页查询。 1 整合MongoDB1.1 引入依赖在sparingboot项目中引入MongoDB依赖 <!--mongodb--> <dependency> <groupId>org.springframework.boot</groupId> &...

  • August 19, 2018
    Springmvc 文件上传

    Spring mvc 单文件上传jsp <!DOCTYPE html> <%@ page contentType="text/html;charset=UTF-8" language="java" %> <html> <head> <%--引入meta标签--%> <%@...

  • August 19, 2018
    Springmvc过滤器

    过滤源–过滤规则–过滤结果 过滤器是否能改变用户请求的web资源呢?也就是能否改变用户请求的路径?可以 过滤器能否直接返回数据，能不能直接处理用户请求？不能 多个过滤器详解假如有两个过滤器，TestFilter、SecondFilter，他们的执行顺序如下： start______doFilter_________TestFilterstart_________________doFilte...

  • August 19, 2018
    springmvc整合七牛云存储实现文件上传(java篇)

    在springmvc上传文件到本地的基础上，整合七牛云存储，实现简单的上传功能。 首先maven配置依赖 <!--七牛依赖--> <dependency> <groupId>com.qiniu</groupId> <artifactId>sdk</artifactId> <version>6.1....

  • August 19, 2018
    Springmvc 整合slf4j+logback

    日志组件：slf4j，log4j，logback，common-logging slf4j是日志规范，没有任何实现 日志实现：log4j，logback，common-logging 为什么采用 slf4j+logback组合呢?一、slf4j的介绍：SLF4J，即简单日志门面（Simple Logging Facade for Java），不是具体的日志解决方案，它只服务于各种各样的日志系...

  • August 19, 2018
    Springmvc拦截器

    什么是拦截器？ 拦截器是指通过统一拦截从浏览器发往服务器的请求来完成功能的增强 使用场景：解决请求的共性问题(如：乱码问题、权限验证问题等) 拦截器的实现编写拦截器类在 interceptor包想创建TestInterceptor类继承HandlerInterceptor 也可以继承WebRequestInterceptor(preHandle方法里没有返回值，无法终止请求) packa...

  • August 19, 2018
    springmvc读取配置文件

    工具类简单的工具类 PropertiesUtil package com.mavenssmlr.util; import java.io.InputStream; import java.util.Properties; /** * 读取配置文件工具类 * Created by shirukai on 2017/12/18. */ public class PropertiesUt...

  • August 19, 2018
    小技巧：利用bean实现对配置文件的读取

    <context:property-placeholder location="classpath:redis.properties" ignore-unresolvable="true"/> 然后创建bean <bean id="config" class="com.mavenssmlr.entity...

  • August 19, 2018
    父组件向子组件通信的两种方式

    父组件： 传递静态字符串 <compinent-a msgfromfather="strings"></compinent-a> 传递父组件data里的数据 <compinent-a :msgfromfather="fromData"></compinent-a> 子组件： 注册属性 ...

  • August 19, 2018
    子组件向父组件通信的两种方式

    子组件 methods:{ onClickMe:function (){ this.$emit('functionName'，Data) } //functionName为父组件里要绑定的方法，data为向父组件传递的数据 父组件 <compinent-a v-on:functionName="listenToMyB...

  • August 19, 2018
    SQL中EXISTS的用法

    EXISTS用于检查子查询是否至少会返回一行数据，如果有数据返回，则给exists一个true值，否则false。where条件后，如果exists返回一个true，则继续执行查询语句。 EXISTS 指定一个子查询，检测行的存在。 语法： EXISTS subquery 参数：subquery是一个首先的SELECT语句（不允许compute子句和into关键字） 结果类型：Boolean...

  • August 19, 2018
    linux中使用echo更改用户密码

    创建用户 useradd 用户名 用echo设置用户密码 echo 密码|passwd --stdin 用户名 //这个选项用于 从标准输入 管道读入新的密码 用passwd设置密码 passwd 用户名

  • August 19, 2018
    java中枚举的使用

    在JAVA SE5之前，我们要使用枚举类型时，通常会使用static final定义一组int常量来标识，代码如下: public static final int MAN = 0; public static final int WOMAN = 1; 现在我们可以用枚举来表示 enum Sex{ MAN, WOMAN } 枚举的使用：package co...

  • August 19, 2018
    利用vue-router来控制用户登录权限

    用vue-router来控制用户登录权限的原理，实际上就是应用了vue-router提供的router.beforeEach来注册一个全局钩子。具体用法 根据判断是否具有登录权限来设置路由跳转，如果没有全选统一跳转到登录页面。 第一步：新建一个名字为permission的js文件，代码如下import router from './router' import NProgre...

  • August 19, 2018
    VBA创建目录、文件并写入

    Sub CreateFile()‘定义变量Dim PathG As StringDim i As IntegerDim str As StringDim str_path As StringDim FSO As Object‘定义路径PathG = “D:\VBAtest\software” ‘如果路径后面有 “"‘类似于 “D:\VBAtest\software"‘需要...

  • August 19, 2018
    vildForm表单校验

    一、 HTML部分<!-- 页面结构 --> <div class="ue-container" id="sandbox-container"> <!-- 验证信息nowrap --> <form class="form-horizontal" id="saveFo...

  • August 19, 2018
    vim程序编辑器-练习

    1. 在 /tmp 这个目录下建立一个名为 vitest 目录；mkdir -p /tmp/vitest //-p意思是如果父目录不存在，自动创建 2. 进入 vitest 目录；cd /tmp/vitest 3. 将 man.config 复制到本目录底下；用文件传输工具 4. 使用 vi 开启本目录下的 man.config 这个文件；vi man.config 5. 在 vi 中...

  • August 19, 2018
    虚拟机修改ip

    执行命令如下： vi /etc/sysconfig/network-scripts/ifcfg-eth0 修改内容如下： DEVICE=eth2 TYPE=Ethernet ONBOOT=yes NM_CONTROLLED=yes BOOTPROTO=none IPADDR=192.168.188.3 PREFIX=24 GATEWAY=192.168.188.254 DNS1=10.10...

  • August 19, 2018
    vue+cordova构建安卓应用

    一、环境准备java、安卓sdk(安装Android Studio)、Node.js、cordova。 安装 cordovanpm install -g cordova 二、cordova创建App在自己的源码目录下运行命令行，创建cordova项目。创建名字为shoppingmall的项目 cordova create shoppingmall com.inspur.shoppingma...

  • August 19, 2018
    Vue知识点记录

    1.安装vue-resourcecnpm安装依赖cnpm install vue-resource 安装完成后在项目中全局引入修改main.js文件 import VueResource from 'vue-resource' Vue.use(VueResource); vue-resource使用// 传统写法 this.$http.get('/someUrl&...

  • August 19, 2018
    yum 的安装与卸载以及相关源配置

    系统版本 [root@localhost ~]# uname -r 3.10.0-514.el7.x86_64 一、yum源卸载 查看yum组件 [root@localhost ~]# rpm -qa yum yum-3.4.3-150.el7.centos.noarch 卸载和yum有关的所有组件 rpm -qa | grep yum | xargs rpm -e --nod...

  • August 19, 2018
    2-2 测试算法

    测试算法import numpy as np import matplotlib.pyplot as plt from sklearn import datasets iris = datasets.load_iris() X = iris.data y = iris.target X.shape (150, 4) y.shape (150,) train_test_split...

  • August 19, 2018
    秒杀系统的实现之DAO层

    一、maven创建项目mvn archetype:generate -DgroupId=org.seckill -DartifactId=seckill -DarchetypeArtifactId=maven-archetype-webapp 配置web.xml修改servlet版本未3.1 <web-app xmlns="http://xmlns.jcp.org/xml/...

  • August 19, 2018
    hadoop FileSystem Shell

    http://hadoop.apache.org/docs/r2.7.4/hadoop-project-dist/hadoop-common/FileSystemShell.html 文件系统（FS）shell包括各种类似shell的命令，可直接与Hadoop分布式文件系统（HDFS）以及Hadoop支持的其他文件系统（如本地FS，HFTP FS，S3 FS等）进行交互。FS shell 是...

  • August 19, 2018
    Maven构建springmvc+mybatis+logback+redis项目

    一、利用maven指令创建web项目1.创建一个名字为mavenssmlr的项目,在命令行输入以下指令：mvn archetype:generate -DgroupId=org.mavenssmls -DartifactId=mavenssmlr -DarchetypeArtifactId=maven-archetype-webapp 创建成功后，用IDEA导入项目：File - Open...

  • August 19, 2018
    java面试题50

    1、面向对象的特征有哪些方面? 答：面向对象的特征主要有以下几个方面： 1)抽象：抽象是将一类对象的共同特征总结出来构造类的过程，包括数据抽象和行为抽象两方面。抽象只关注对象有哪些属性和行为，并不关注这些行为的细节是什么。 2)继承：继承是从已有类得到继承信息创建新类的过程。提供继承信息的类被称为父类（超类、基类）；得到继承信息的类被称为子类（派生类）。继承让变化中的软件系统有了一定的延续性...

  • August 19, 2018
    java面试题（下）

    126、什么是ORM？答：对象关系映射（Object-Relational Mapping，简称ORM）是一种为了解决程序的面向对象模型与数据库的关系模型互不匹配问题的技术；简单的说，ORM是通过使用描述对象和数据库之间映射的元数据（在Java中可以用XML或者是注解），将程序中的对象自动持久化到关系数据库中或者将关系数据库表中的行转换成Java对象，其本质上就是将数据从一种形式转换到另外一...

  • August 19, 2018
    java面试题100（上）

    1、面向对象的特征有哪些方面？答：面向对象的特征主要有以下几个方面：- 抽象：抽象是将一类对象的共同特征总结出来构造类的过程，包括数据抽象和行为抽象两方面。抽象只关注对象有哪些属性和行为，并不关注这些行为的细节是什么。- 继承：继承是从已有类得到继承信息创建新类的过程。提供继承信息的类被称为父类（超类、基类）；得到继承信息的类被称为子类（派生类）。继承让变化中的软件系统有了一定的延续性，同时...

  • August 19, 2018
    django请求重定向

0%