[책리뷰] 파이썬으로 웹크롤러 만들기

 

 

 

안녕하세요 pixui 입니다.

 

오늘 개발리뷰로 할 책은  파이썬으로 웹크롤러 만들기라는 책입니다.

파이썬이 최근 핫한 개발 언어로 떠오르고 있고, 특히 빅데이터 분야, AI 관련 분야 등등

최신 트렌드를 다루고 있는 분야에서 사용되면서, 특히나 많은 사람들의 관심을 받고 있습니다.

그리고 오늘 소개할 책처럼 웹 크롤렁을 하는데에서도 많이 사용되고 있는데요. 웹 크롤링이 무었인지 모르는 분들을 위해

간략하게 소개를 하자면, 우리가 웹 서핑을 하면서 정보를 뒤지는 것처럼, 필요한 데이터를 모으기 위하여

특정 사이트를 특정주기로 BOT이 사이트를 읽어들여 데이터를 수집 하는 것을 웹 크롤링이라고 합니다.

각 사이트별로 API를 제공해 주는 사이트들이 있겠지만, 이를 허락하지 않는 사이트들도 있기 때문에, 

이럴 경우에는 웹 크롤링을 이용하여, 데이터를 모으는 방법을 사용하게 됩니다. 

예를 들어 각 인터넷 쇼핑몰의 핫한 핫딜정보들만 긁어서 모은다던지, 특정 커뮤니티에 올라오는 글에 대한 내용들을

모아서 분석 자료로 사용한다던지 하는 사람이 하면 귀찮고 손이 많이 가는 것들을 마법같이 몇줄의 코드로

빠른 시간내에 해결을 하게 도와주는 기술이라고 볼 수 있습니다.

그럼 책의 내용에 대해 살펴 보도록 하겠습니다.

 

 

 

 

1. 특징

 

    보통 이런 제목을 하고 있는 책들을 보면, HTML 구조에 대해서 이야기 한다거나, 파이썬 언어에 대해서 주로 다루고 있는 

책들이 많습니다. 그런데 책의 머리말에서 부터 필자는 이야기 하고 있습니다. 파이썬을 잘 모르는 독자들에게는 다소 어렵게 느껴질 수 

있다고 말하고 있습니다. 또한 파이썬 가이드가 필요한 사람들에게는 어떤 책을 읽고, 어떤 강의를 보면 좋을지도

앞서 소개하고 있어, 멋모르고 웹 크롤링이 멋져보여 들어왔던 뉴비들에게도 손쉬운 가이드르를 주고 있습니다.

책은 크게 1부와 2부의 주제로 나누어서 소개를 하고 있습니다. 1부는 웹 스크레이핑과 웹 크롤링에 대해 깊이 있게 설명하고 있고,

2부에서는 독자가 웹 스크레이퍼를 만들 때 유용한 추가 주제에 대해 다루고 있습니다.  1부에서 다루는 내용은 어떤 웹 스크레핑 교제에서도

볼 수 있는 또는 어떤 블로그에서도 볼수 있는 손쉬운 내용들을 다루고 있다면, 2부에서는 폼과 로그인 뚫기, 자연어 툴킷을 이용한

자연어 분석으로 좀더 스크래핑한 자료들의 검색을 효과적으로 이루어지게 하는 방법등등 실제로 스크래핑을 하면서

부딪히는 난관 또는 유용한 기술들에 대해서 이야기 하고 있습니다. 저는 이책을 보면서 한 번 감탄했던 것은, 우리가 

어떤 사이트의 위변조 방자 문구라고 로그인이나 회원 가입시 알아볼수 없는 코드 형태 이미지의 글귀들을 넣어야 하는 사이트들을

본적이 있을 것입니다. 사람도 읽기 어려운 문구들로 코드를 입력하여 회원 가입이나 로그인을 하여야 하는 사이트들을 보며

도대체 이렇게 까지 해서 가입을 해야하나? 라는 생각이 들었었는데요. 웹 크롤링 세계에서는 이런 것들도 머신러닝을 통하여

학습시켜 때론 사람보다도 더 정확하게 이 문구에 대해 인지시키는 훈련을 하도록 하고 있다는 내용을 보며서 감탄을 한 적이 있었습니다.

여러 스크래핑에 대한 기법과 주제에 대해 손쉽게 읽을 수 있어서 좋은 책이었습니다.

 

 

 

 

 

2. 장단점

    웹 스크래핑에 대해 정말 간략하면서도 심도 깊은 주제를 담아 놓은 책을 발견한 것 같다라는 생각이 들었습니다. 

개발을 하면서, 개발의 설계나 구현에 대한 기술적인 부분도 있겠지만, 데이터를 수집하고 활용하는 측면에서의 기술은 사실 어떤 영감이

떠오르기 전에는 확장되기가 어려운데, 이런 기술에 대해 습득하면서, 개발자도 사업이나 기획적인 측면에서 데이터를 수집하고 활용할 수 있는 영감이 떠오르도록 해주는 책이 될 수 있겠구나 라는 생각이 들었습니다. 책의 많은 부분에서 흥미를 느낄 수 있어서 좋았습니다.

    이 책에서 크게 단점으로 꼽을 것들은 없겠지만, 혹시 기대하고 있었던 분들에게는 책에서 단점으로 느껴질 수 있는 부분들이 있어

이야기해봅니다. 파이썬 언어에 대한 부분, 파이썬 개발 환경 설정이나 언어적 스킬을 윈하는 분들에게는 다소 거리가 멀다고 이야기

할 수 있을 것입니다. 또한 어느 정도 웹 개발에 대한 지식이 있으신 분들이 보면 적합하십니다. 웹 개발에 대한 기반 지식이 없으신 분들은

다소 책이 어렵다고 느껴지실 수도 있을 것 같습니다.