데이터 스크래핑(웹 크롤러)

데이터 스크래핑(웹 크롤러)

| 공개

리눅스/ 유닉스 쉘명령어를 사용하여 데이터를 스크래핑 하는 방법입니다.

실제 작업은 가상환경에서 이루어지기 때문에, 윈도우든 맥이든 리눅스든 운영체제는 상관없습니다.

쉘명령어라고는 해도, 프로그래밍 방식보다 직관적이기 때문에, 한번 익히면 오히려 쉽습니다.

 

작업 결과물 : 프로젝트 오일러 통계(project-euler statistic)

관련 기술 : docker, virtualbox, vagrant, ssh 접속, unix/linux shell script

참고 사이트(new) https://www.datascienceatthecommandline.com/
참고 사이트(old) http://datasciencetoolbox.org/
저자 깃허브 (new) https://github.com/jeroenjanssens/data-science-at-the-command-line
저자 깃허브 (old)  https://github.com/DataScienceToolbox/data-science-toolbox
new 와 old 의 차이는 작업환경(docker 와 vagrant)의 차이입니다.

댓글

댓글 본문
작성자
비밀번호
graphittie 자세히 보기