추적:

차이

문서의 선택한 두 판 사이의 차이를 보여줍니다.

차이 보기로 링크

양쪽 이전 판이전 판
다음 판		이전 판
tech:robots.txt [2013/05/08 11:43] – V_Ltech:robots.txt [2019/04/14 18:53] (현재) – V_L
줄 1: 줄 1:
 +{{tag>robots.txt}}
 +======Robots.txt======
  
 +웹폴더의 최상위 폴더에 두어야한다. 
 +
 +robot.txt 가 아니고 robot//s//.txt라는 것에 주의.
 +
 + 
 +모든 봇 차단
 +
 +<file txt robots.txt >
 +User-agent: *
 +Disallow: /
 +</file>
 +
 +
 +
 +네이버, 구글, 야후 허용하고 다른 것들은 다 차단
 +
 +<file txt robots.txt >
 +# robots.txt generated by smallseotools.com
 +User-agent: Googlebot
 +Disallow: 
 +
 +User-agent: googlebot-image
 +Disallow: 
 +
 +User-agent: googlebot-mobile
 +Disallow: 
 +
 +User-agent: Slurp
 +Disallow: 
 +
 +User-agent: naverbot
 +Disallow: 
 +
 +User-agent: yeti
 +Disallow: 
 +
 +User-agent: *
 +Disallow: /
 +
 +Crawl-delay: 60
 +
 +Disallow: /cgi-bin/
 +</file>
 +
 +=====제작기=====
 +
 +https://smallseotools.com/robots-txt-generator/ 이곳에 가면.. 비록 외국 사이트긴 하지만..  고르기만 하면 자동으로 robots.txt를 제작해준다.  파일을  가져와서 메모장에 붙여놓고 저장후 FTP로 올리면 된다.
 +