크롤링 허용범위

네이버 api를 통한 블로그 크롤링을 시도하였으나 썸네일이 나오지 않아 request로 할 수 있는 다른방법을 찾아보았으나 네이버에서 막아놓아 접근할 수 없었다.

 

알아보니 내가 크롤링 하고자 하는 사이트의 마지막에 /robots.txt를 입력하면 로봇이 접근할 수 있는 허용범위가 나타나게 되는데 네이버는 모든 사용자에게 disallow해놓은 상태였다.

 

따라서 request만으로는 내가 원하는 정보를 가져올 수 없고 다른방법인 selenium을 통해 가져오는 방법을 찾아보아야겠다.