네이버 웹마스터 도구 Robots.txt 설정방법

robots.txt?

 

robots.txt는 웹사이트에서 크롤링하며 정보를 수집하는 검색 크롤러가 내 사이트에서 접근/수집해도 되는 페이지가 무엇인지, 해서는 안될 페이지가 무엇인지 알려주는 역할을 하는 파일입니다. robots.txt파일은 크롤러가 내 사이트에 접속하여 정보수집을하며 보내는 요청(request)로 인해 사이트가 과부하되는 것을 방지하기 위해 사용합니다. 즉, robots.txt에서 허용한 페이지만 크롤링을 수행하고, 허용하지 않은 페이지는 크롤링을 하지 않습니다.

 

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

 

 

1. 네이버 서치어드바이저 > 웹마스터 도구

 

2. 웹 페이지 최적화 검증

내 블로그 명을 클릭하고 들어가서 "검증 > URL" 검사 를 수행합니다.

 

검사를 수행하면 우선은 robots.txt가 존재하지 않는다고 에러 메시지를 띄워줍니다.

 

3. robots.txt 생성

다음으로는 "검증 > robots.txt" 메뉴로 진입합니다.

 

robots.txt 간단 생성 기능에서 검색로봇을 네이버검색로봇 / 모든 검색로봇 중에 선택하고, 다운로드를 클릭합니다. 클릭하면 robots.txt 파일이 생성되어 다운로드됩니다.

robots.txt

User-agent: Yeti
Allow:/

 

4. tistory 반영

티스토리 설정 > 꾸미기 > 스킨편집 > html편집으로 진입합니다.

추가 버튼을 클릭하고, robots.txt파일을 선택한 후 저장해주면 설정이 끝납니다.

 

5. 확인

다시 검증 > robots.txt로 이동해서 정보를 수집해보고, robots.txt를 검증합니다.

 

URL검사메뉴로 가서 내 URL을 입력하고 확인하면 성공 메시지를 확인할 수 있습니다.

 

~~~끝~~~