robots.txt 간단테스트 - 구글 Search Console

구글 Search Console 의 robots.txt

구글의 웹마스터 도구인 Search Console에서 간단하게 robots.txt 를 테스트 변경할 수있다.

우선 구글 Search Console(링크 새창)에 접속하고 자신의 사이트 속성에 들어가면 왼쪽에 '클로링' 클릭 후

하위 메뉴인 'robots.txt 테스트'를 클릭하면 된다.

위 이미지의 robots.txt 내용은 '모든 검색로봇이 내 홈페이지의 모든 걸 검색하는 걸 허용한다 란

내용이다.

뭐 비공개 사니트가 아닌 이상 모든 걸 허용했으나 관리자 폴더는 검색불가로 하고 싶어 수정하기로 했다.

위 이미지에 내용은 아래와 같다. (개인정보 모자이크 처리)

User-agent: * - 모든 로봇 검색 가능

Disallow:/admin - admin 폴더는 검색불가

Allow:/ - 그 외는 검색 허용

제출을 누르면 robots.txt 파일에 대한 몇가지 사항들이 나온다. 

아래 이미지가 제출을 누른 후 캡쳐이미지다. 살펴보자면...

▶업데이트된 코드 다운로드 : 새로 작성한 robots.txt를 다운로드할 수 있다.

▶업데이트된 버전 확인 : 새로 구글에 제출된(이미 구글에 적용된 robots.txt) 내용을 볼 수 있다.

▶Google에 업데이트 요청 : 업데이트 내용이 반영이 안 될 때 '제출'클릭 후 잠시 대기 후 새로고침하면 된다.

그럼 제대로 반영이 되었다면 테스트를 해 본다.

아래 빨간박스를 보면 [차단되었는지 테스트하려면 URL를 입력하세요] 라고 적혀있고 여기에

차단하고 싶은 폴더내지는 URL를 적고 클릭하면 된다.

본인도 'admin' 를 입력하고 테스트하니 차단됨으로 나온다. 오웃~~^^

무척 편하고 간단하게 robots.txt를 작성하였으나 티스토리 robots.txt는 개인 설정이 불가능하다.

위 이미지가 티스토리의 robots.txt 다. (공개적인 내용이기는 하지만 그래도 모자이크처리했다)

구체적 사용방법은 별로 어렵지않다.

User-agent: * - 별표는 모든 검색로봇 허용, 아니면 뒤에 로봇이름을 적으면 그 로봇만 허용.

Allow: / - 허용할 디렉토리 혹은 페이지

Disallow:/ - 불가할 디렉토리 혹은 페이지 혹은 URL

아래는 전체 사이트 검색 불가 예이다.

User-agent: *

Disallow: /

좀 더 알고 싶으시다면 구글 도움말(클릭하면 새창)을 읽어보기 바란다.

그리고, 다음은 구조화된 데이터에 대해서...

이상입니다.

설명을 위해 끝 문장을 짧게 '~했다'로 끝낸 점 양해바라며 좋은 하루되시길 바랍니다.

- 이사해 본 고객만이 감동을 안다! 최고집이사 - ^^