문서의 이전 판입니다!
Robots.txt
웹폴더의 최상위 폴더에 두어야한다.
robot.txt 가 아니고 robots.txt라는 것에 주의.
User-agent: * Disallow: /cgi-bin/ User-agent: MSNBot Disallow: / User-agent: bingbot Disallow: / User-agent: Titan Disallow: / User-agent: EmailCollector Disallow: / User-agent: EmailSiphon Disallow: / User-agent: EmailWolf Disallow: / User-agent: ExtractorPro Disallow: / User-agent: Baiduspider Disallow: / User-agent: SemrushBot Disallow: / User-agent: AhrefsBot Disallow: /
- robots.txt
User-agent: * Disallow: /
제작기
http://www.mcanerin.com/EN/search-engine/robots-txt.asp 이곳에 가시면.. 비록 외국 사이트긴 하지만.. robots.txt를 제작해줍니다. ^^!! 고르기만 하면 자동으로 파일을 생성해주죠. 가져와서 메모장에 붙여놓고 저장후 FTP로 올리면 됩니다.
http://tool.motoricerca.info/robots-checker.phtml 이곳은 만들어진 robots.txt파일이 잘 작성되었는지 검사해주는 사이트입니다.