Programming

재입고 알림 봇 만들기-4 실행하기

시리즈의 마지막 글입니다. 지금까지 만든 것들을 엮어줄 메인 프로그램과 그것을 실행하는 방법을 알아보겠습니다. 개발환경 만들기 프로그램 개발-스크래핑 알림(텔레그램, 지메일) 메인 프로그램 지금까지 만든 프로그램들(스크래핑, 텔레그램 등)은 각각 작은 역할을 하는 …

Programming

재입고 알림 봇 만들기-3 알림(텔레그램, 지메일)

코로나 바이러스로 인한 마스크 대란으로 재입고 알림 봇 포스트를 많은 분들이 봐주시고 질문도 해주시고 있습니다. 블로그 유입이 늘어나고 나름 유용하게 사용하시는 것 같아 기쁘지만 그냥 바이러스 빨리 사라지는게 훨씬 더 …

Programming

재입고 알림 봇 만들기-2 프로그램 개발(스크래핑)

이전 편 에서는 무엇을 하고자 하는지, 어떤 것을 준비하면 되는지 알아봤습니다. 이번에는 준비된 환경에서 실행될 프로그램을 만들어 보겠습니다. 기본 프로그램은 처음 글(재입고 알림 봇 만들기)과 큰 차이가 없습니다. 다만 설명을 …

Programming

재입고 알림 봇 만들기(python + telegram bot)

Update 2020-02-02 개발환경 만들기 부터 다루는 상세한 포스트를 만들고 있습니다. 개발환경 만들기 발단 일시품절!! 사고 싶은 물건이 있는데 게다가 돈도 있는데! 재고가 없는 경우가 있습니다. 하루에도 몇 번씩 사이트에 들러 …

Programming

Jupyter Notebook on Docker

파이썬 개발 도구로 아주 유용한 Jupyter Notebook이 있다. (소개 글) 웹 기반의 툴로 코딩과 실행, 시각화까지 가능하여 특히 과학/통계 분야에서 특히 폭넓게 사용되고 있다고 한다. 배경 파이썬은 virtualenv, anaconda 등을 …

Programming

모두를 위한 웹 스크래핑-정리

프로세스 스크래핑은 대략 아래의 순서로 이루어집니다. 데이터 찾기 데이터를 가져올 URL을 찾습니다. 요청에 필요한 인자(parameter)를 확인합니다. 응답 데이터를 파싱하고 필요한 부분만 추출합니다. 데이터 저장하기 테이블을 만듭니다. 응답 데이터에서 추출한 부분을 …

Programming

모두를 위한 웹 스크래핑(5/5)-데이터 분석하기

여기까지 웹의 데이터를 수집하고, 저장하는 방법들을 알아봤습니다. 과거에는 데이터를 많이 가지고 있는게 중요했습니다. 데이터가 폭발적으로 많아진 현재의 상황에서는 모든 데이터를 확인할 수 없으므로 분석과 통계를 통해 요약하고 시각화하여 전달성을 높이는게 …