Apache Hadoop

본 토픽은 현재 준비중입니다. 공동공부에 참여하시면 완성 되었을 때 알려드립니다.

Apache Mahout

Mahout 다운로드 !

http://archive.apache.org/dist/mahout/0.5/

접속 후

 

mahout-distribution-0.5.tar.gz

39M 파일을 다운로드

 

   wget http://archive.apache.org/dist/mahout/0.5/mahout-distribution-0.5.tar.gz   

 

압축을 풀어준다.

   tar zxvf mahout-distribution-0.5.tar.gz   

 

 

Hadoop 다운로드 및 셋팅

http://opentutorials.org/module/1239/8137

 

 

환경변수 설정 및 SSH 연동 및 확인

http://opentutorials.org/module/1239/8149

 

 

 

 

6개의 노드가 실행이 된다면,

cd /mahout-distribution-0.5
폴더안의
 
mahout-core-0.5-job.jar 파일을 아래 경로로 복사시켜준다.
 

   sudo cp mahout-core-0.5-job.jar core/target   

 

 

 

 

http://grouplens.org/datasets/movielens/

접속 후

 

ml-100k.zip

다운로드 !

 

ub.base파일만 필요하다.

 

WinSCP로 Hadoop폴더안의 bin에 복사시켜준다.

 

 

해당 폴더에서

 

cut -f1-3 ub.base | tr '\tr' ',' > ub.base.hadoop

 

 

hadoop fs -mkdir /input

 

hadoop fs -put ub.base.hadoop /input

or

hadoop fs -copyFromLocal ub.base.hadoop /input

 

만약안된다면 

hadoop fs -rmr /input

hadoop fs -copyFromLocal ub.base.hadoop /input

 

 

확인 !

hadoop fs -ls /input

 

 

hadoop jar /home/dbeorud/mahout-distribution-0.5/core/target/mahout-core-0.5-job.jar org.apache.mahout.cf.taste.hadoop.pseudo.RecommenderJob -Dmapred.input.dir=/input/ub.base.hadoop -Dmapred.output.dir=output --recommenderClassName org.apache.mahout.cf.taste.impl.recommender.slopeone.SlopeOneRecommender

 

 

hadoop fs -ls output

 

hadoop fs -text /user/dbeorud/output/part-r-00000.gz

 

 

 

 

 

 

 

 

u.data로 작업하기 !

hadoop jar /home/dbeorud/mahout-distribution-0.5/core/target/mahout-core-0.5-job.jar org.apache.mahout.cf.taste.hadoop.item.RecommenderJob -Dmapred.input.dir=/input/u.data -Dmapred.output.dir=output -s SIMILARITY_COOCCURRENCE

댓글

댓글 본문
버전 관리
원빈
현재 버전
선택 버전
graphittie 자세히 보기