추적:

차이

문서의 선택한 두 판 사이의 차이를 보여줍니다.

차이 보기로 링크

양쪽 이전 판이전 판
다음 판		이전 판
tech:robots.txt [2019/04/14 18:52] – [제작기] V_Ltech:robots.txt [2019/04/14 18:53] (현재) – V_L
줄 6: 줄 6:
 robot.txt 가 아니고 robot//s//.txt라는 것에 주의. robot.txt 가 아니고 robot//s//.txt라는 것에 주의.
  
-<code>User-agent: * +  
-Disallow: /cgi-bin/ +모든 봇 차단
- +
-User-agent: MSNBot +
-Disallow: / +
- +
-User-agent: bingbot  +
-Disallow: / +
- +
-User-agent: Titan +
-Disallow: / +
- +
-User-agent: EmailCollector +
-Disallow: / +
- +
-User-agent: EmailSiphon +
-Disallow: / +
- +
-User-agent: EmailWolf +
-Disallow: / +
- +
-User-agent: ExtractorPro +
-Disallow: / +
- +
-User-agent: Baiduspider +
-Disallow: / +
- +
-User-agent: SemrushBot +
-Disallow: / +
- +
-User-agent: AhrefsBot +
-Disallow: /</code> +
- +
-  * [[http://www.baidu.com/search/spider_english.html|바이두]]+
  
 <file txt robots.txt > <file txt robots.txt >
줄 49: 줄 17:
  
 네이버, 구글, 야후 허용하고 다른 것들은 다 차단 네이버, 구글, 야후 허용하고 다른 것들은 다 차단
-<file>+ 
 +<file txt robots.txt >
 # robots.txt generated by smallseotools.com # robots.txt generated by smallseotools.com
 User-agent: Googlebot User-agent: Googlebot