* 크롤링 (crawling) 조직적, 자동화된 방법을 통하여 웹을 탐색하는 컴퓨터 프로그램을 크롤러(crawler)라고 한다. 따라서 크롤링은 , 크롤러가 특정 규칙을 가지고 여러 사이트의 페이지를 탐색하며 수집하고 분류하는것을 말한다. 크롤링도 스크래핑의 일종이다(스크래핑이 더 큰범위를 포함하는 의미) * 스크래핑 (scraping) 웹으로 특정짓지 않으며, 모든 소스로부터 필요한 데이터를 가져오고, 원하는 형태로 가공하는 것을 말한다. 따라서 크롤링과 비슷한 의미이며 구분하기 어렵지만 스크래핑이 더 큰 범위를 가지며, 크롤링도 스크래핑에 포함되는 단어라고 한다. * 크롤링시에 주의할 것 서버(server)의 정책이 허용하는 범위 내에서만 이루어져야 한다. ( 크롤링시에 서버에 발생되는 부하 라던가(..
크롤링 , 스크랩핑 이란 ? ( robots.txt 의 뜻)
* 크롤링 (crawling) 조직적, 자동화된 방법을 통하여 웹을 탐색하는 컴퓨터 프로그램을 크롤러(crawler)라고 한다. 따라서 크롤링은 , 크롤러가 특정 규칙을 가지고 여러 사이트의 페이지를 탐색하며 수집하고 분류하는것을 말한다. 크롤링도 스크래핑의 일종이다(스크래핑이 더 큰범위를 포함하는 의미) * 스크래핑 (scraping) 웹으로 특정짓지 않으며, 모든 소스로부터 필요한 데이터를 가져오고, 원하는 형태로 가공하는 것을 말한다. 따라서 크롤링과 비슷한 의미이며 구분하기 어렵지만 스크래핑이 더 큰 범위를 가지며, 크롤링도 스크래핑에 포함되는 단어라고 한다. * 크롤링시에 주의할 것 서버(server)의 정책이 허용하는 범위 내에서만 이루어져야 한다. ( 크롤링시에 서버에 발생되는 부하 라던가(..
2020.05.26