Jupyter Notebook on Docker
파이썬 개발 도구로 아주 유용한 Jupyter Notebook이 있다. (소개 글) 웹 기반의 툴로 코딩과 실행, 시각화까지 가능하여 특히 과학/통계 분야에서 특히 폭넓게 사용되고 있다고 한다. 배경 파이썬은 virtualenv, anaconda 등을 …
모두를 위한 웹 스크래핑-정리
프로세스 스크래핑은 대략 아래의 순서로 이루어집니다. 데이터 찾기 데이터를 가져올 URL을 찾습니다. 요청에 필요한 인자(parameter)를 확인합니다. 응답 데이터를 파싱하고 필요한 부분만 추출합니다. 데이터 저장하기 테이블을 만듭니다. 응답 데이터에서 추출한 부분을 …
모두를 위한 웹 스크래핑(5/5)-데이터 분석하기
여기까지 웹의 데이터를 수집하고, 저장하는 방법들을 알아봤습니다. 과거에는 데이터를 많이 가지고 있는게 중요했습니다. 데이터가 폭발적으로 많아진 현재의 상황에서는 모든 데이터를 확인할 수 없으므로 분석과 통계를 통해 요약하고 시각화하여 전달성을 높이는게 …
모두를 위한 웹 스크래핑(4/5)-가지고 온 데이터를 저장하는 방법
지난 회에는 웹에 있는 데이터를 가져오는 방법을 알아봤습니다. 이번 회에는 가져온 데이터를 저장하는 몇 가지 방법을 알아보겠습니다. 크게 파일에 저장, DB에 저장, NoSQL DB에 저장하는 3가지가 있습니다. 파일 사용하기 데이터의 …
모두를 위한 웹 스크래핑(3/5)-웹 상의 데이터를 가지고 오는 방법
지난 번에는 웹 스크래핑을 위한 파이썬 개발환경을 구성하는 방법을 알아봤습니다. 이제는 준비된 환경에선 웹(인터넷)에 있는 데이터를 어떻게 가지고 오는지 알아보겠습니다. 소스(출처)를 알아내라! 우선 데이터를 제공하는 소스를 정확히 찾아내야 합니다. 이때는 …
회사 제안-프로젝트 개발 센터
회사 제안 : 개발 센터를 통한 SI 프로젝트 가상화 : 하나의 서버를 여러 대 처럼 사용하기 개발 센터 : 여러 프로젝트를 한 장소에서 개발하기(개발자 공유) 일종의 ‘규모의 경제’ 만들기 …
모두를 위한 웹 스크래핑(2/5)-개발환경 설정
사례 잘 보셨나요? 실제로는 좀 더 쉬운 방법이 있는데 일부러 약간 돌아서 가 봤습니다. 일반적인 상황에서의 모습을 보여드리기 위해서입니다. 이번엔 파이썬 스크래핑을 위한 개발환경을 설정해 보겠습니다. 개발환경 설정 파이썬 개발을 …
모두를 위한 웹 스크래핑(1/5)-사례
주식 일 데이터 가져오기 상황 주식 투자자 김족박 씨는 종목 발굴에 관심이 많습니다. 매일매일 전체 종목의 시가/저가/고가/종가/등락률을 확인하고 내일의 투자전략을 수립하고 싶어합니다. 시장의 흐름(실제)이 본인의 투자 모델(예측)과 얼마나 벌어져 있는지 …
모두를 위한 웹 스크래핑-Prologue
회사에 연재했던 내용입니다. Web Scraping for Everyone 모두를 위한 웹 스크래핑 목적 파이썬(Python) 프로그래밍을 통해 웹 상의 자료를 자동으로 가져오는 방법을 배웁니다. 다루는 것 파이썬 스크래핑에 활용할 수 있는 각종 …
파이썬과 주피터 노트북
루비(ruby)를 배울 때 가장 흥미롭고 매력적인 것들 중 하나는 irb 콘솔 이었습니다. 일종의 REPL(Read Eval Print Loop) 환경으로 개발할 때 아주 유용합니다. 간단하게 하나의 표현식으로 부터 출발해서 테스트-개발 루프를 아주 …