Robots.txt
웹폴더의 최상위 폴더에 두어야한다.
robot.txt 가 아니고 robots.txt라는 것에 주의.
모든 봇 차단
- robots.txt
User-agent: * Disallow: /
네이버, 구글, 야후 허용하고 다른 것들은 다 차단
- robots.txt
# robots.txt generated by smallseotools.com User-agent: Googlebot Disallow: User-agent: googlebot-image Disallow: User-agent: googlebot-mobile Disallow: User-agent: Slurp Disallow: User-agent: naverbot Disallow: User-agent: yeti Disallow: User-agent: * Disallow: / Crawl-delay: 60 Disallow: /cgi-bin/
제작기
https://smallseotools.com/robots-txt-generator/ 이곳에 가면.. 비록 외국 사이트긴 하지만.. 고르기만 하면 자동으로 robots.txt를 제작해준다. 파일을 가져와서 메모장에 붙여놓고 저장후 FTP로 올리면 된다.