Design and Implementation of a High-Performance Distributed Web 웹 크롤러란? 방대한 웹 페이지를 방문하여 각종 정보를 자동적으로 수집하는 일을 하는 프로그램으로서 검색엔진의 근간이 됨방대한 페이지를 고성능으로 방문하기 위한 이슈 좋은 크롤링 전략 고도화 된 시스템 아키텍쳐 크롤링 전략 Breadth-First Crawler : 크롤러는 작은 페이지 집합에서 시작하여 BF 방식을 기반으로 탐색Crawling Pages for Updates : 최신 검색 인덱스를 유지하기 위해서 페이지 업데이트 이력에 대한 관찰이 중요Focused Crawling : 전문화된 검색 엔진을 위해 크롤링 하므로 특정 종류의 페이지에 집중. 많은 대역폭을 사용하지 않고 최신의 ..