하둡 wordcount

#하둡켜기 

hadoop namenode -format

start-all.sh

 

#하둡 폴더로 이동하기 

cd hadoop

 

#하둡 파일 시스템의 목록보기

hadoop fs -lsr /

 

#하둡에서 wordcount를 수행한 파일을 저장할 폴더를 생성한다.

hadoop fs -mkdir input

 

#input폴더에 wordcount할 txt파일을 넣는다

hadoop fs -put CHANGES.txt /user/root/input

 

#wordcount를 할 때 사용할 jar파일을 확인한다.

ls

 

#hadoop-examples-1.0.4.jar파일을 이용해서 wordcount를 수행한 결과물을 out1이라는 폴더에 저장한다.

hadoop jar hadoop-examples-1.0.4.jar wordcount /user/root/input/CHANGES.txt out1

 

#하둡파일시스템에 폴더를 확인한다.

hadoop fs -lsr /

#여기에 part-r-00000파일이 wordcount의 결과물이다.

#이를 가상서버와 윈도우 사이의 공유폴더에 저장한다. kk.txt파일로

hadoop fs -cat /user/root/out1/part-r-00000>>/mnt/hgfs/temp/kk.txt

 

#윈도우의 temp폴더에 들어가면 kk.txt파일이 존재한다.