차이
문서의 선택한 두 판 사이의 차이를 보여줍니다.
양쪽 이전 판이전 판다음 판 | 이전 판 | ||
tech:robots.txt [2019/04/14 18:30] – V_L | tech:robots.txt [2019/04/14 18:53] (현재) – V_L | ||
---|---|---|---|
줄 6: | 줄 6: | ||
robot.txt 가 아니고 robot// | robot.txt 가 아니고 robot// | ||
- | < | + | |
- | Disallow: /cgi-bin/ | + | 모든 봇 차단 |
- | User-agent: | + | <file txt robots.txt > |
+ | User-agent: | ||
Disallow: / | Disallow: / | ||
+ | </ | ||
- | User-agent: bingbot | ||
- | Disallow: / | ||
- | User-agent: Titan | ||
- | Disallow: / | ||
- | User-agent: EmailCollector | + | 네이버, 구글, 야후 허용하고 다른 것들은 다 차단 |
- | Disallow: / | + | |
- | User-agent: | + | <file txt robots.txt > |
- | Disallow: | + | # robots.txt generated by smallseotools.com |
+ | User-agent: | ||
+ | Disallow: | ||
- | User-agent: | + | User-agent: |
- | Disallow: | + | Disallow: |
- | User-agent: | + | User-agent: |
- | Disallow: | + | Disallow: |
- | User-agent: | + | User-agent: |
- | Disallow: | + | Disallow: |
- | User-agent: | + | User-agent: |
- | Disallow: | + | Disallow: |
- | User-agent: | + | User-agent: |
- | Disallow: | + | Disallow: |
- | * [[http:// | ||
- | |||
- | <file txt robots.txt > | ||
User-agent: * | User-agent: * | ||
Disallow: / | Disallow: / | ||
+ | |||
+ | Crawl-delay: | ||
+ | |||
+ | Disallow: /cgi-bin/ | ||
</ | </ | ||
- | ^ 누구나 수정하실 수 있습니다. [[http:// | + | =====제작기===== |
+ | https:// | ||
+ |