추적:

차이

문서의 선택한 두 판 사이의 차이를 보여줍니다.

차이 보기로 링크

양쪽 이전 판이전 판
다음 판		이전 판
tech:robots.txt [2019/03/26 16:40] – V_Ltech:robots.txt [2019/04/14 18:53] (현재) – V_L
줄 2: 줄 2:
 ======Robots.txt====== ======Robots.txt======
  
-<code>User-agent: * +웹폴더의 최상위 폴더에 두어야한다. 
-Disallow: /cgi-bin/+
  
-User-agent: MSNBot +robot.txt 가 아니고 robot//s//.txt라는 것에 주의.
-Disallow: /+
  
-User-agent: bingbot  +  
-Disallow: /+모든 봇 차단
  
-User-agent: Titan+<file txt robots.txt > 
 +User-agent: *
 Disallow: / Disallow: /
 +</file>
  
-User-agent: EmailCollector 
-Disallow: / 
  
-User-agent: EmailSiphon 
-Disallow: / 
  
-User-agent: EmailWolf +네이버, 구글, 야후 허용하고 다른 것들은 다 차단
-Disallow: /+
  
-User-agent: ExtractorPro +<file txt robots.txt > 
-Disallow: /+# robots.txt generated by smallseotools.com 
 +User-agent: Googlebot 
 +Disallow: 
  
-User-agent: Baiduspider +User-agent: googlebot-image 
-Disallow: /+Disallow: 
  
-User-agent: SemrushBot +User-agent: googlebot-mobile 
-Disallow: /+Disallow: 
  
-User-agent: AhrefsBot +User-agent: Slurp 
-Disallow: /</code>+Disallow: 
  
-  * [[http://www.baidu.com/search/spider_english.html|바이두]]+User-agent: naverbot 
 +Disallow:  
 + 
 +User-agent: yeti 
 +Disallow: 
  
-<file txt robots.txt > 
 User-agent: * User-agent: *
 Disallow: / Disallow: /
-</file> 
  
-^  누구나 수정하실 수 있습니다. [[http://vaslor.net/syntax|위키 사용법]] 참고하세요.  ^+Crawl-delay: 60 
 + 
 +Disallow: /cgi-bin/ 
 +</file>
  
 +=====제작기=====
  
 +https://smallseotools.com/robots-txt-generator/ 이곳에 가면.. 비록 외국 사이트긴 하지만..  고르기만 하면 자동으로 robots.txt를 제작해준다.  파일을  가져와서 메모장에 붙여놓고 저장후 FTP로 올리면 된다.
 +