반응형
robots.txt검색엔진에 내 사이트가 노출된느것은 좋은 일이나....
노출되면 안되는 부분도 있다.. 뭐 관리자라든지.. 개인정보라든지..
파일위치는 최상위 경로에 위치해야 한다.
검색엔진 로봇은 먼저 robots.txt파일을 찾고 해당 설정에 따라 색인한다.
모든 검색엔진의 색인을 막을때
User-agent:*
Disallow:/
모든 검색엔진의 색인을 원할때
User-agent:*
Disallow:
특정폴더만 색인을 막을때
User-agent:*
Disallow:/aaa/
Disallow:/bbb/
특정 검색엔진만 색인을 막을때
User-agent:Googlebot, Yeti
Disallow:/
출처 : http://blog.naver.com/emil_friant?Redirect=Log&logNo=130108525865
반응형
'기타' 카테고리의 다른 글
| AHCI xp 설치시 블루스크린 stop:0x0000007b (2) | 2012.01.04 |
|---|---|
| 구글이 말하는 효율적인 관리자의 8가지 습관 (0) | 2011.06.03 |
| 유튜브 동영상 다운로드 (0) | 2011.04.13 |
| 개인정보보호 2.0 시대의 개막-개인정보보호법 제정·공포 (0) | 2011.03.30 |
| 2011년 5월 저작권관리사 첫 시험시행!! (0) | 2011.03.22 |