Robots.txt

웹폴더의 최상위 폴더에 두어야한다.

robot.txt 가 아니고 robots.txt라는 것에 주의.

모든 봇 차단

robots.txt
User-agent: *
Disallow: /

네이버, 구글, 야후 허용하고 다른 것들은 다 차단

robots.txt
# robots.txt generated by smallseotools.com
User-agent: Googlebot
Disallow: 
 
User-agent: googlebot-image
Disallow: 
 
User-agent: googlebot-mobile
Disallow: 
 
User-agent: Slurp
Disallow: 
 
User-agent: naverbot
Disallow: 
 
User-agent: yeti
Disallow: 
 
User-agent: *
Disallow: /
 
Crawl-delay: 60
 
Disallow: /cgi-bin/

제작기

https://smallseotools.com/robots-txt-generator/ 이곳에 가면.. 비록 외국 사이트긴 하지만.. 고르기만 하면 자동으로 robots.txt를 제작해준다. 파일을 가져와서 메모장에 붙여놓고 저장후 FTP로 올리면 된다.

역링크