웹서버에 있는 공개되어서는 곤란한 파일까지 검색 사이트에서 검색되어 버리면 곤란 하므로 일단 막자.
- 웹사이트 전체 적용 :
- 특정 페이지 적용 :
그냥 웹사이트 루트 경로에 robots.txt 파일만 등록되어 있으면 된다.
물론 그 파일이 특별한 기능이 있는것이 아닌 그냥 텍스트 파일일 뿐이라서 검색엔진들이 맘만 먹으면 무시하고 검색 할수도 있다.
하지만, 어지간한 검색 사이트들은 robots.txt 파일에 있는 설정을 지켜주니 그냥 믿고 설정해 놓자.
robots.txt 파일에
User-agent: *
Disallow: /
위의 두줄을 기록해 놓는게 다다.
해당 문구는 모든 검색엔진에 대해서 모든것을 막는다는 의미다.
User-agent 에 특정 검색엔진을 기록하면 해당 검색엔진만 막을 수 있다.
Disallow 에 특정 디렉토리를 지정하면 해당 디렉토리 이하 검색을 막을 수 있다.
검색을 막을 해당 페이지의 메타 태그에.
<meta name="robots" content="noindex,nofollow">
라고 기록해 놓는다.
