3001 최후의 오디세이, 아서 C. 클라크
(고) 아서 C. 클라크 씨의 스페이스 오디세이 시리즈 마지막 편인 3001 최후의 오디세이(Final Odyssey)를 읽었다. 올해 초 황금가지의 시리즈 재출간의 은총을 입어. 온라인으로 비공식 번역본만 구할 수 있었는데, 아무래도 책에 …
모두를 위한 웹 스크래핑-정리
프로세스 스크래핑은 대략 아래의 순서로 이루어집니다. 데이터 찾기 데이터를 가져올 URL을 찾습니다. 요청에 필요한 인자(parameter)를 확인합니다. 응답 데이터를 파싱하고 필요한 부분만 추출합니다. 데이터 저장하기 테이블을 만듭니다. 응답 데이터에서 추출한 부분을 …
모두를 위한 웹 스크래핑(5/5)-데이터 분석하기
여기까지 웹의 데이터를 수집하고, 저장하는 방법들을 알아봤습니다. 과거에는 데이터를 많이 가지고 있는게 중요했습니다. 데이터가 폭발적으로 많아진 현재의 상황에서는 모든 데이터를 확인할 수 없으므로 분석과 통계를 통해 요약하고 시각화하여 전달성을 높이는게 …
모두를 위한 웹 스크래핑(4/5)-가지고 온 데이터를 저장하는 방법
지난 회에는 웹에 있는 데이터를 가져오는 방법을 알아봤습니다. 이번 회에는 가져온 데이터를 저장하는 몇 가지 방법을 알아보겠습니다. 크게 파일에 저장, DB에 저장, NoSQL DB에 저장하는 3가지가 있습니다. 파일 사용하기 데이터의 …
모두를 위한 웹 스크래핑(3/5)-웹 상의 데이터를 가지고 오는 방법
지난 번에는 웹 스크래핑을 위한 파이썬 개발환경을 구성하는 방법을 알아봤습니다. 이제는 준비된 환경에선 웹(인터넷)에 있는 데이터를 어떻게 가지고 오는지 알아보겠습니다. 소스(출처)를 알아내라! 우선 데이터를 제공하는 소스를 정확히 찾아내야 합니다. 이때는 …