共计 2409 个字符,预计需要花费 7 分钟才能阅读完成。
使用配置 Hadoop 中常用的 Linux(Ubuntu)命令
生成 key:
$ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
-t 密钥类型可以用 -t 选项指定。如果没有指定则默认生成用于 SSH- 2 的 RSA 密钥。
-f filename 指定密钥文件名。
来源:http://www.aboutyun.com/thread-6487-1-1.html
远程登录执行 shell 命令 key
ssh 远程登录,并在远程创建文件
ssh user@host ‘mkdir -p .ssh && cat >> .ssh/authorized_keys’ < ~/.ssh/id_rsa.pub
来源:http://www.aboutyun.com/thread-6977-1-1.html
远程复制
scp authorized_keys tan@ubuntu:~/.ssh/authorized_keys_from_yang
sudo scp -r /usr/hadoop aboutyun@slave1:~/
文件追加内容
cat authorized_keys_from_yang >> authorized_keys
解压包:
sudo tar zxvf ./jdk-7-linux-i586.tar.gz -C /usr/lib/jvm
文件复制:(jdk 复制到 opt 中)
sudo cp -r jdk/ /opt
文件移动
sudo mv jdk opt
(有的时候没有权限,所以必须加上 sudo)
文件更改所有者(下面为更改 hadoop 文件夹的权限)
sudo chown -R aboutyun:aboutyun hadoop
查看端口是否被暂用
sudo netstat -ap | grep 8080
sudo netstat -ant|grep 3306
Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name
tcp 0 0 0.0.0.0:3306 0.0.0.0:* LISTEN 1651/mysqld
表示的含义
mysql 的默认端口 3306 打开着
0.0.0.0 代表你的本地网络地址 后一个代表外部网络地址 有连接的话就有真正的 IP 地址了
hadoop 开启调试
开启 debug export HADOOP_ROOT_LOGGER=DEBUG,console
Linux 打包命令
tar czvf my.tar.gz hadoop-2.4.0-src
杀掉一个进程
kill 进程号
kill -9 进程号
rpm -qa|grep softname
表示的含义是:
就是从安装的软件中查询出 softname 这个软件
详解如下:
grep 内容 对象
表示从“对象”中查找“内容”,并打印
|
管道符号,前一个命令的输出(即结果)作为下个命令的输入
rpm -qa
rpm 管理命令 查询所有安装的软件
所以rpm -qa|grep softname
就是从安装的软件中查询出 softname 这个软件
hive 安装 mysql 常用命令
查看软件是否安装
netstat -tap | grep mysql
测试 mysql 远程连接成功:
mysql -h172.16.77.15 -uroot -p123
mysql - h 主机地址 - u 用户名 -p 用户密码
查看字符集
show variables like ‘%char%’;
修改字符集:
vi /etc/my.cnf
在 [client] 下添加
default-character-set=utf8
给 aboutyun 用户设置无密码 sudo 权限:
chmode u+w /etc/sudoers
aboutyun ALL=(root)NOPASSWD:ALL
chmod u-w /etc/sudoers
测试:sudo ifconfig
ubuntu 查看服务列表代码
sudo service –status-all
sudo initctl list
查看文件大小:
du -sh hadoop-2.7.0-src
打包 zip
zip -r myfile.zip ./*
下面关于 Hadoop 的文章您也可能喜欢,不妨看看:
Ubuntu14.04 下 Hadoop2.4.1 单机 / 伪分布式安装配置教程 http://www.linuxidc.com/Linux/2015-02/113487.htm
CentOS 安装和配置 Hadoop2.2.0 http://www.linuxidc.com/Linux/2014-01/94685.htm
Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13
本文永久更新链接地址:http://www.linuxidc.com/Linux/2016-05/131599.htm