HADOOP August 19, 2018

学习Hadoop之MapReduce

Words count 4.5k Reading time 4 mins.

如下图所示,假如我们要计算一份海报的数据,那么我们应该怎么快速计算出结果呢?

​ 首先,我们要知道的是,我们对于一份非常大的文件上传到我们的HDFS分布式系统上时,它已经不是一个文件了,而是被物理...

Read article

HADOOP August 19, 2018

学习Hadoop之MapReduce

Words count 4.5k Reading time 4 mins.

如下图所示,假如我们要计算一份海报的数据,那么我们应该怎么快速计算出结果呢?

​ 首先,我们要知道的是,我们对于一份非常大的文件上传到我们的HDFS分布式系统上时,它已经不是一个文件了,而是被物理分割成了很多份,至于被分成多少块那就要看文件的大小了,假如文件的大小是1g,HDFS默认的Block Size(区块)大小是128M,那么1g的文件就被分成了8个区块,每个区块对应一个Mapper,8个区块对应着8个Mapper,每个Mapper执行完自己任务之后把结果传到Reducer ,等Mapper...

Read article

LINUX August 19, 2018

Linux常用解压缩操作

Words count 1.4k Reading time 1 mins.

压缩

gzip -v helloword.txt

查看压缩内容

zcat helloword.txt.gz

解压缩文件

gzip -d helloword.txt.gz

使用最佳压缩比,并保留原文件

gzip -9 -c helloword.txt > helloword.txt.gz

压缩

bzip2 -z hellowrd.txt

查看压缩文件

bzcat helloword.txt.bz2

解压文件

bzip2 -d helloword.txt.bz2

使用最佳压缩比,...

Read article

LINUX August 19, 2018

linux配置yum本地源

Words count 2.9k Reading time 3 mins.

往往安装某些软件时,依赖的东西太多,或者网络原因,容易造成软件安装失败,这时候我们可以配置yum本地源,将需要的软件的rpm包同步到本地,然后使用本地源。例如安装ambari的时候,我们通常把ambari的安装源同步到本地,然后安装。

Httpd是由ASF(apache software foundation)维护的开源项目之一 也是目前最为流行的web服务器之一 目前有三个维护版本 分别为2.1 2.2 2.4 特性丰富:高度模块化的设计 出色的稳定性 支持OSD 丰富的第三方插件。

yum...
Read article

LINUX August 19, 2018

Linux切换用户su[user]与su - [user]区别

Words count 607 Reading time 1 mins.

  1. linux 系统中用户切换的命令为su,语法为:

su[-flmp][-c command][-s shell][–help][–version][-][USER[ARG]

参数说明:

-f , -fast:不必启动文件(如sch.cshrc等),仅用于csh或tcsh两种Shell。

-l, -login:加了这个参数之后,就好像是重新登录一样,大部分环境变量(例如HOME、SHELL和USER等)都是一该使用者(USER)为主,并且工作目录也会改变,如果没有指定的USER,缺省情况是root...

Read article

LINUX August 19, 2018

linux培训笔记之Bash

Words count 0 Reading time 1 mins.

JAVA August 19, 2018

List类案例

Words count 5.3k Reading time 5 mins.

通过案例实现对list类的增删改查

public class Course
{
    //设置属性课程编号为cid
    public String cid;
    //设置属性课程名为cname
    public String cname;
    //构造有参方法给cid、cname赋值
    public Course(String cid,String cname){
        this.cid = cid;
        this.cname = cname;
    }
}
public class ListTest...
Read article

LINUX August 19, 2018

修改Ip脚本

Words count 413 Reading time 1 mins.

#!/bin/bash
#获取当前ip
oldip=$(ip addr | awk ‘/^[0-9]+: / {}; /inet.global/ {print gensub(/(.)/(.*)/, “\1”, “g”, $2)}’)
echo ‘当前系统的IP为:’$oldip
echo -n ‘请输入要修改的IP:’
read newip
sed -i “s/${oldip}/${newip}/g” /etc/sysconfig/network-scripts/ifcfg-ens33
echo -n ‘请输...

Read article

SPRING August 19, 2018

mybatis与spring整合:Dao层映射配置

Words count 4.1k Reading time 4 mins.

要想mybatis查询数据库后,数据自动映射到指定的entity里的pojo类里,这里有三种方法,一种是通过XML文件里resultMap来建立对应关系、第二种是entity的类属性与表字段名字保持一致、第三种:其实原理是跟第二种一样,只不过是开启的mybatis的驼峰命名自动转换,即数据库字段 user_id的会对应到类属性里的userId,更符合java的命名规范。

UserDaoMapper.xml为例

<?xml version="1.0" encoding="...
Read article

MYSQL August 19, 2018

mysql修改表、字段、库的字符集

Words count 1.5k Reading time 1 mins.

ALTER DATABASE databaseName DEFAULT CHARACTER SET utf8;
ALTER TABLE tableName CONVERT TO CHARACTER SET utf8 COLLATE utf8_general_ci;
ALTER TABLE tbl_name DEFAULT CHARACTER SET character_name [COLLATE...];
如:ALTER TABLE logtest DEFAULT CHARACTER SET...
Read article

LINUX August 19, 2018

权限管理 – 文件权限练习

Words count 1k Reading time 1 mins.

1.设置目录权限创建共享目录/home/admins;属组为adminuser;

mkdir -p /home/admins

//-p意思是如果父目录不存在,自动创建

groupadd adminuser

ls -ld /home/admins //查看目录权限

chgrp -R adminuser /home/admins //更改所属组
chown -R root /home/admins //更改所属用户

chmod g+w /home/admins
chmod  775  /home/admin...
Read article
Load more
0%