Jupyter Notebook on Docker

파이썬 개발 도구로 아주 유용한 Jupyter Notebook이 있다. (소개 글) 웹 기반의 툴로 코딩과 실행, 시각화까지 가능하여 특히 과학/통계 분야에서 특히 폭넓게 사용되고 있다고 한다. 배경 파이썬은 virtualenv, anaconda 등을 …

모두를 위한 웹 스크래핑-정리

프로세스 스크래핑은 대략 아래의 순서로 이루어집니다. 데이터 찾기 데이터를 가져올 URL을 찾습니다. 요청에 필요한 인자(parameter)를 확인합니다. 응답 데이터를 파싱하고 필요한 부분만 추출합니다. 데이터 저장하기 테이블을 만듭니다. 응답 데이터에서 추출한 부분을 …

모두를 위한 웹 스크래핑(5/5)-데이터 분석하기

여기까지 웹의 데이터를 수집하고, 저장하는 방법들을 알아봤습니다. 과거에는 데이터를 많이 가지고 있는게 중요했습니다. 데이터가 폭발적으로 많아진 현재의 상황에서는 모든 데이터를 확인할 수 없으므로 분석과 통계를 통해 요약하고 시각화하여 전달성을 높이는게 …

모두를 위한 웹 스크래핑(2/5)-개발환경 설정

사례 잘 보셨나요? 실제로는 좀 더 쉬운 방법이 있는데 일부러 약간 돌아서 가 봤습니다. 일반적인 상황에서의 모습을 보여드리기 위해서입니다. 이번엔 파이썬 스크래핑을 위한 개발환경을 설정해 보겠습니다. 개발환경 설정 파이썬 개발을 …

모두를 위한 웹 스크래핑(1/5)-사례

주식 일 데이터 가져오기 상황 주식 투자자 김족박 씨는 종목 발굴에 관심이 많습니다. 매일매일 전체 종목의 시가/저가/고가/종가/등락률을 확인하고 내일의 투자전략을 수립하고 싶어합니다. 시장의 흐름(실제)이 본인의 투자 모델(예측)과 얼마나 벌어져 있는지 …

모두를 위한 웹 스크래핑-Prologue

회사에 연재했던 내용입니다. Web Scraping for Everyone 모두를 위한 웹 스크래핑 목적 파이썬(Python) 프로그래밍을 통해 웹 상의 자료를 자동으로 가져오는 방법을 배웁니다. 다루는 것 파이썬 스크래핑에 활용할 수 있는 각종 …

파이썬과 주피터 노트북

루비(ruby)를 배울 때 가장 흥미롭고 매력적인 것들 중 하나는 irb 콘솔 이었습니다. 일종의 REPL(Read Eval Print Loop) 환경으로 개발할 때 아주 유용합니다. 간단하게 하나의 표현식으로 부터 출발해서 테스트-개발 루프를 아주 …

파이썬 3 배우기 – SoloLearn

파이썬을 쉽게 배울 수 있는 곳이 있어서 소개해 드립니다. https://www.sololearn.com/Course/Python/ 영어로 되어 있지만 간략히 정리하며 퀴즈를 통해 게임처럼 재미있게 파이썬을 공부할 수 있습니다. 영어로만 서비스 되는건 조금 아쉬운 점. 파이썬 …