티스토리검색최적화 (1) 썸네일형 리스트형 네이버 웹마스터 도구 Robots.txt 설정방법 robots.txt? robots.txt는 웹사이트에서 크롤링하며 정보를 수집하는 검색 크롤러가 내 사이트에서 접근/수집해도 되는 페이지가 무엇인지, 해서는 안될 페이지가 무엇인지 알려주는 역할을 하는 파일입니다. robots.txt파일은 크롤러가 내 사이트에 접속하여 정보수집을하며 보내는 요청(request)로 인해 사이트가 과부하되는 것을 방지하기 위해 사용합니다. 즉, robots.txt에서 허용한 페이지만 크롤링을 수행하고, 허용하지 않은 페이지는 크롤링을 하지 않습니다. User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php 1. 네이버 서치어드바이저 > 웹마스터 도구 2. 웹 페이지 최적화 검증 내 블로그 명을 클릭하고 들어가서 .. 이전 1 다음
