Hadoop HDFS操作
啟動HDFS
首先,格式化配置HDFS文件係統,打開NameNode(HDFS服務器),然後執行以下命令。
$ hadoop namenode -format
格式化HDFS後,啟動分布式文件係統。以下命令將啟動名稱節點和數據節點的集群。
$ start-dfs.sh
HDFS的文件列表
加載服務器信息後,使用'ls' 可以找出文件列表中的目錄,文件狀態。下麵給出的是ls,可以傳遞一個目錄或文件名作為參數的語法。
$ $HADOOP_HOME/bin/hadoop fs -ls <args>
將數據插入到HDFS
假設在本地係統,這是所謂的file.txt文件中的數據,應當保存在HDFS文件係統。按照下麵給出插入在Hadoop的文件係統所需要的文件的步驟。
第1步
必須創建一個輸入目錄。
$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/input
第2步
傳輸並使用本地係統put命令,Hadoop文件係統中存儲的數據文件。
$ $HADOOP_HOME/bin/hadoop fs -put /home/file.txt /user/input
第3步
可以使用ls命令驗證文件。
$ $HADOOP_HOME/bin/hadoop fs -ls /user/input
從HDFS中檢索數據
假設在HDFS文件名為outfile。下麵給出的是一個簡單的演示用於檢索從Hadoop文件係統所需的文件。
第1步
最初,使用cat命令來查看來自HDFS的數據。
$ $HADOOP_HOME/bin/hadoop fs -cat /user/output/outfile
第2步
從HDFS得到文件使用get命令在本地文件係統。
$ $HADOOP_HOME/bin/hadoop fs -get /user/output/ /home/hadoop_tp/
關閉HDFS
可以使用下麵的命令關閉HDFS。
$ stop-dfs.sh