大数据笔记 November 21, 2018

Cloudera Manager 自动化部署CDH集群

Words count 17k Reading time 16 mins.

版本说明:

Python 2.7

Ansible 2.7.2

cm-api1 9.1.1

Cloudera Manger 6.0.0

CDH Parcel 6.0.0-1.cdh6.0.0.p0....

Read article

大数据笔记 November 09, 2018

ansible

Words count 3.8k Reading time 3 mins.

1)inventory 
该参数表示资源清单inventory文件的位置,资源清单就是一些Ansible需要连接管理的主机列表 
inventory = /root/ansible/hosts

2)library 
Ansible的操作动作,无论是本地或远程,都使用一小段代码来执行,这小段代码称为模块,这个library参数就是指向存放Ansible模块的目录 
library = /usr/share/ansible

3)forks 
设置默认情况下Ansible最多能有多少个进程同时工作,默认设置最多...
Read article

大数据笔记 October 31, 2018

Flume的简单安装和使用

Words count 15k Reading time 14 mins.

版本说明:

Flume:1.8.0

Java:1.8.0

官网地址:http://flume.apache.org/

在安装Flume之前,确保已经安装过Java JDK 1.8以上。

1.1 下载安装包

从Flume官网下载安装包,下载地址:http://mirror.bit.edu.cn/apache/flume/1.8.0/apache-flume-1.8.0-bin.tar.gz

wget http://mirror.bit.edu.cn/apache/flume/1.8.0/apache...
Read article

大数据笔记 October 26, 2018

CDH Manager API 操作Yarn资源池

Words count 38k Reading time 34 mins.

版本说明:CDH 5.11.0

API版本:v16

在使用REST API 访问 CDH Manager 提供的相关接口的时候,需要进行权限认证。认证的类型是 Basic Auth。在java编程中将如下所示生成authorization,然后将该认证信息添加到请求头信息中即可。

private static String generateAuth(String userName, String password) {
    return "Basic " + new...
Read article

大数据笔记 October 13, 2018

Hadoop文件路径支持的通配符

Words count 6.3k Reading time 6 mins.

摘自《Hadoop权威指南》

在单个操作中处理一批文件,这是一个常见要求,举例来说,处理日志的MapReduce作业可能需要分析一个月内包含在大量目录中的日志文件。在一个表达式中使用通配符来匹配多个文件是比较方便的,无需列举每个文件和目录来指定输入,该操作称为“通配符”(globbing)。Spark读取文件时,也可以使用通配符去匹配文件,直接在文件路径里使用通配符表达式即可。Hadoop 为执行统配提供了两个FileSystem方法:

public FileStatus[] globStatus...
Read article

大数据笔记 August 20, 2018

面试笔记

Words count 12k Reading time 11 mins.

1. zookeeper概念,以及为什么是奇数个?

概念

ZooKeeper是一个分布式的,开放源码的分布式应用程序协调服务,是Google的Chubby一个开源的实现,是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的软件,提供的功能包括:配置维护、域名服务、分布式同步、组服务等。

为什么是奇数个?

Zookeeper的核心是原子广播,这个机制保证了各个Server之间的同步。实现这个机制的协议叫做Zab协议。Zab协议有两种模式,它们分别是恢复模式(选主)和广播模式(同步)...

Read article

大数据笔记 August 20, 2018

influxdb时序数据库

Words count 198 Reading time 1 mins.

查看目录

rpm -ql influxdb

存储文件:可以在influxdb.conf里配置存储位置

data数据 meta元数据 wal

https://www.jianshu.com/p/d2935e99006e

Read article
0%