모두를 위한 웹 스크래핑(5/5)-데이터 분석하기
여기까지 웹의 데이터를 수집하고, 저장하는 방법들을 알아봤습니다. 과거에는 데이터를 많이 가지고 있는게 중요했습니다. 데이터가 폭발적으로 많아진 현재의 상황에서는 모든 데이터를 확인할 수 없으므로 분석과 통계를 통해 요약하고 시각화하여 전달성을 높이는게 …
모두를 위한 웹 스크래핑(4/5)-가지고 온 데이터를 저장하는 방법
지난 회에는 웹에 있는 데이터를 가져오는 방법을 알아봤습니다. 이번 회에는 가져온 데이터를 저장하는 몇 가지 방법을 알아보겠습니다. 크게 파일에 저장, DB에 저장, NoSQL DB에 저장하는 3가지가 있습니다. 파일 사용하기 데이터의 …
모두를 위한 웹 스크래핑(3/5)-웹 상의 데이터를 가지고 오는 방법
지난 번에는 웹 스크래핑을 위한 파이썬 개발환경을 구성하는 방법을 알아봤습니다. 이제는 준비된 환경에선 웹(인터넷)에 있는 데이터를 어떻게 가지고 오는지 알아보겠습니다. 소스(출처)를 알아내라! 우선 데이터를 제공하는 소스를 정확히 찾아내야 합니다. 이때는 …
회사 제안-프로젝트 개발 센터
회사 제안 : 개발 센터를 통한 SI 프로젝트 가상화 : 하나의 서버를 여러 대 처럼 사용하기 개발 센터 : 여러 프로젝트를 한 장소에서 개발하기(개발자 공유) 일종의 ‘규모의 경제’ 만들기 …
모두를 위한 웹 스크래핑(2/5)-개발환경 설정
사례 잘 보셨나요? 실제로는 좀 더 쉬운 방법이 있는데 일부러 약간 돌아서 가 봤습니다. 일반적인 상황에서의 모습을 보여드리기 위해서입니다. 이번엔 파이썬 스크래핑을 위한 개발환경을 설정해 보겠습니다. 개발환경 설정 파이썬 개발을 …
모두를 위한 웹 스크래핑(1/5)-사례
주식 일 데이터 가져오기 상황 주식 투자자 김족박 씨는 종목 발굴에 관심이 많습니다. 매일매일 전체 종목의 시가/저가/고가/종가/등락률을 확인하고 내일의 투자전략을 수립하고 싶어합니다. 시장의 흐름(실제)이 본인의 투자 모델(예측)과 얼마나 벌어져 있는지 …
모두를 위한 웹 스크래핑-Prologue
회사에 연재했던 내용입니다. Web Scraping for Everyone 모두를 위한 웹 스크래핑 목적 파이썬(Python) 프로그래밍을 통해 웹 상의 자료를 자동으로 가져오는 방법을 배웁니다. 다루는 것 파이썬 스크래핑에 활용할 수 있는 각종 …
파이썬과 주피터 노트북
루비(ruby)를 배울 때 가장 흥미롭고 매력적인 것들 중 하나는 irb 콘솔 이었습니다. 일종의 REPL(Read Eval Print Loop) 환경으로 개발할 때 아주 유용합니다. 간단하게 하나의 표현식으로 부터 출발해서 테스트-개발 루프를 아주 …
파이썬 3 배우기 – SoloLearn
파이썬을 쉽게 배울 수 있는 곳이 있어서 소개해 드립니다. https://www.sololearn.com/Course/Python/ 영어로 되어 있지만 간략히 정리하며 퀴즈를 통해 게임처럼 재미있게 파이썬을 공부할 수 있습니다. 영어로만 서비스 되는건 조금 아쉬운 점. 파이썬 …
업무 모형을 코드로 옮기기
배경 사실 은행의 애플리케이션 코드들은 대부분 CRUD 위주입니다. 데이터 중심적이고 거래 단위입니다. 데이터에서 한 차원 더 높은 추상화(객체 라던가)를 찾기는 힘듭니다. 그런 것 때문에 관리와 변경에 복잡성이 높아지기도 합니다. 단위 …