문서 편집

Robots.txt

웹폴더의 최상위 폴더에 두어야한다.

robot.txt 가 아니고 robots.txt라는 것에 주의.

모든 봇 차단

robots.txt
User-agent: *
Disallow: /

네이버, 구글, 야후 허용하고 다른 것들은 다 차단

robots.txt
# robots.txt generated by smallseotools.com
User-agent: Googlebot
Disallow: 
 
User-agent: googlebot-image
Disallow: 
 
User-agent: googlebot-mobile
Disallow: 
 
User-agent: Slurp
Disallow: 
 
User-agent: naverbot
Disallow: 
 
User-agent: yeti
Disallow: 
 
User-agent: *
Disallow: /
 
Crawl-delay: 60
 
Disallow: /cgi-bin/

제작기

https://smallseotools.com/robots-txt-generator/ 이곳에 가면.. 비록 외국 사이트긴 하지만.. 고르기만 하면 자동으로 robots.txt를 제작해준다. 파일을 가져와서 메모장에 붙여놓고 저장후 FTP로 올리면 된다.

연결문서

CC Attribution-Noncommercial-Share Alike 4.0 International 별도로 명시하지 않을 경우, 이 페이지의 내용은 다음 라이선스에 따라 사용할 수 있습니다: CC Attribution-Noncommercial-Share Alike 4.0 International
931 B tech/robots.txt.txt · 마지막으로 수정됨 2019/04/14 09:53 저자 V_L V_L