「 大数据笔记 」 November 09, 2018
ansible
Words count 3.8k Reading time 3 mins.
1)inventory
该参数表示资源清单inventory文件的位置,资源清单就是一些Ansible需要连接管理的主机列表
inventory = /root/ansible/hosts
2)library
Ansible的操作动作,无论是本地或远程,都使用一小段代码来执行,这小段代码称为模块,这个library参数就是指向存放Ansible模块的目录
library = /usr/share/ansible
3)forks
设置默认情况下Ansible最多能有多少个进程同时工作,默认设置最多...
Read article
「 大数据笔记 」 October 31, 2018
Flume的简单安装和使用
Words count 15k Reading time 14 mins.
版本说明:
Flume:1.8.0
Java:1.8.0
在安装Flume之前,确保已经安装过Java JDK 1.8以上。
1.1 下载安装包
从Flume官网下载安装包,下载地址:http://mirror.bit.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz
wget http://mirror.bit.edu.cn/apache/flume/1.8.0/apache...
Read article
「 大数据笔记 」 October 26, 2018
CDH Manager API 操作Yarn资源池
Words count 38k Reading time 34 mins.
版本说明:CDH 5.11.0
API版本:v16
在使用REST API 访问 CDH Manager 提供的相关接口的时候,需要进行权限认证。认证的类型是 Basic Auth。在java编程中将如下所示生成authorization,然后将该认证信息添加到请求头信息中即可。
private static String generateAuth(String userName, String password) {
return "Basic " + new...
Read article
「 大数据笔记 」 October 13, 2018
Hadoop文件路径支持的通配符
Words count 6.3k Reading time 6 mins.
摘自《Hadoop权威指南》
在单个操作中处理一批文件,这是一个常见要求,举例来说,处理日志的MapReduce作业可能需要分析一个月内包含在大量目录中的日志文件。在一个表达式中使用通配符来匹配多个文件是比较方便的,无需列举每个文件和目录来指定输入,该操作称为“通配符”(globbing)。Spark读取文件时,也可以使用通配符去匹配文件,直接在文件路径里使用通配符表达式即可。Hadoop 为执行统配提供了两个FileSystem方法:
public FileStatus[] globStatus...
Read article
「 大数据笔记 」 August 20, 2018
面试笔记
Words count 12k Reading time 11 mins.
1. zookeeper概念,以及为什么是奇数个?
概念
ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。
为什么是奇数个?
Zookeeper的核心是原子广播,这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式,它们分别是恢复模式(选主)和广播模式(同步)...
Read article「 大数据笔记 」 August 20, 2018
influxdb时序数据库
Words count 198 Reading time 1 mins.
查看目录
rpm -ql influxdb
存储文件:可以在influxdb.conf里配置存储位置
data数据 meta元数据 wal
https://www.jianshu.com/p/d2935e99006e
Read article