크롤링 , 스크랩핑 이란 ? ( robots.txt 의 뜻)

* 크롤링 (crawling)

조직적, 자동화된 방법을 통하여 웹을 탐색하는 컴퓨터 프로그램을 크롤러(crawler)라고 한다. 

따라서 크롤링은 , 크롤러가 특정 규칙을 가지고 여러 사이트의 페이지를 탐색하며 수집하고 분류하는것을 말한다.

크롤링도 스크래핑의 일종이다(스크래핑이 더 큰범위를 포함하는 의미)

 

 

* 스크래핑 (scraping)

웹으로 특정짓지 않으며, 모든 소스로부터 필요한 데이터를 가져오고, 원하는 형태로 가공하는 것을 말한다.

따라서 크롤링과 비슷한 의미이며 구분하기 어렵지만 스크래핑이 더 큰 범위를 가지며, 크롤링도 스크래핑에 포함되는 단어라고 한다.

 

 

* 크롤링시에 주의할 것

•  서버(server)의 정책이 허용하는 범위 내에서만 이루어져야 한다.
•  ( 크롤링시에 서버에 발생되는 부하 라던가(request요청시) 컨텐츠에 대한 저작권 문제.... 등등 )
• robots.txt ( 대상 웹 페이지의 조건 ) ex ) naver.com/robots.txt

 

 

 

* robots.txt 

웹 사이트에 웹 크롤러 같은 로봇들의 접근을 제어하기 위한 규약. (반드시 지킬 의무는 없다고 한다.)

robots.txt는 웹사이트의 최상위 경로(루트)에 있어야 한다. 즉, 다음을 예로들면 http://daum.net/robots.txt로 들어가면 된다.

 

 

naver.com/robots.txt

User-agent: *
Disallow: /
Allow : /$ 

 

• User-agent : 이 규칙이 적용될 로봇의 이름
• Disallow : 허용하지 않는 URL경로
• Allow : 허용하는 URL 경로 - ( Disallow의 하위경로중, Allow의 URL은 허용한다. )
•  * : "모든"이라는 의미
• /$ : 첫페이지만 크롤링 허용