Crawling

· Crawling
페이지의 데이터 수집하는 크롤링을 배우다. 1. '크롤링'이란? 크롤링은 인터넷에서 페이지의 정보를 수집하는 '데이터 수집'하는 행위이다. 인터넷상에는 데이터가 엄청 방대하고 다양(빅데이터)하다. 빅데이터가 존재하는 세상에서 크롤링을 사용하지 않고 데이터를 수집하기에는 너무 번거롭고 효율적이지 못하다. 기존에는 브라우저가 페이지 정보를 요청해서 데이터를 받아와서 페이지를 볼 수 있었는데, 우리는 지금 데이터를 수집해야 하는 입장이니까 크롤링을 통해서 페이지에 데이터를 요청해야 한다. 크롤링으로는 HTML의 태그를 통해서 데이터에 접근할 수 있다. 파이썬 언어를 사용해서 크롤링을 진행한다. 크롤링으로 페이지에 데이터를 요청하기 위해서 requests 라이브러리를 사용해야 한다. 2. 클라이언트와 서버간의 ..
이뮨01
'Crawling' 카테고리의 글 목록