레이디 맥베스, 2017-08-13
채털리 부인 같은 얘기인 줄 알고 봤는데, 아니었습니다. 그나저나 파이콘 2017은 깜빡하고 있다 놓치고 말았습니다. 보다가 자연스럽게 몇 가지 생각이 떠올랐습니다: 주제 : 계급에 관한 이야기인가? 달리 다른 주제를 생각하긴 …
3001 최후의 오디세이, 아서 C. 클라크
(고) 아서 C. 클라크 씨의 스페이스 오디세이 시리즈 마지막 편인 3001 최후의 오디세이(Final Odyssey)를 읽었다. 올해 초 황금가지의 시리즈 재출간의 은총을 입어. 온라인으로 비공식 번역본만 구할 수 있었는데, 아무래도 책에 …
모두를 위한 웹 스크래핑-정리
프로세스 스크래핑은 대략 아래의 순서로 이루어집니다. 데이터 찾기 데이터를 가져올 URL을 찾습니다. 요청에 필요한 인자(parameter)를 확인합니다. 응답 데이터를 파싱하고 필요한 부분만 추출합니다. 데이터 저장하기 테이블을 만듭니다. 응답 데이터에서 추출한 부분을 …
모두를 위한 웹 스크래핑(5/5)-데이터 분석하기
여기까지 웹의 데이터를 수집하고, 저장하는 방법들을 알아봤습니다. 과거에는 데이터를 많이 가지고 있는게 중요했습니다. 데이터가 폭발적으로 많아진 현재의 상황에서는 모든 데이터를 확인할 수 없으므로 분석과 통계를 통해 요약하고 시각화하여 전달성을 높이는게 …
모두를 위한 웹 스크래핑(4/5)-가지고 온 데이터를 저장하는 방법
지난 회에는 웹에 있는 데이터를 가져오는 방법을 알아봤습니다. 이번 회에는 가져온 데이터를 저장하는 몇 가지 방법을 알아보겠습니다. 크게 파일에 저장, DB에 저장, NoSQL DB에 저장하는 3가지가 있습니다. 파일 사용하기 데이터의 …
모두를 위한 웹 스크래핑(3/5)-웹 상의 데이터를 가지고 오는 방법
지난 번에는 웹 스크래핑을 위한 파이썬 개발환경을 구성하는 방법을 알아봤습니다. 이제는 준비된 환경에선 웹(인터넷)에 있는 데이터를 어떻게 가지고 오는지 알아보겠습니다. 소스(출처)를 알아내라! 우선 데이터를 제공하는 소스를 정확히 찾아내야 합니다. 이때는 …
회사 제안-프로젝트 개발 센터
회사 제안 : 개발 센터를 통한 SI 프로젝트 가상화 : 하나의 서버를 여러 대 처럼 사용하기 개발 센터 : 여러 프로젝트를 한 장소에서 개발하기(개발자 공유) 일종의 ‘규모의 경제’ 만들기 …
모두를 위한 웹 스크래핑(2/5)-개발환경 설정
사례 잘 보셨나요? 실제로는 좀 더 쉬운 방법이 있는데 일부러 약간 돌아서 가 봤습니다. 일반적인 상황에서의 모습을 보여드리기 위해서입니다. 이번엔 파이썬 스크래핑을 위한 개발환경을 설정해 보겠습니다. 개발환경 설정 파이썬 개발을 …
모두를 위한 웹 스크래핑(1/5)-사례
주식 일 데이터 가져오기 상황 주식 투자자 김족박 씨는 종목 발굴에 관심이 많습니다. 매일매일 전체 종목의 시가/저가/고가/종가/등락률을 확인하고 내일의 투자전략을 수립하고 싶어합니다. 시장의 흐름(실제)이 본인의 투자 모델(예측)과 얼마나 벌어져 있는지 …
모두를 위한 웹 스크래핑-Prologue
회사에 연재했던 내용입니다. Web Scraping for Everyone 모두를 위한 웹 스크래핑 목적 파이썬(Python) 프로그래밍을 통해 웹 상의 자료를 자동으로 가져오는 방법을 배웁니다. 다루는 것 파이썬 스크래핑에 활용할 수 있는 각종 …