검색로봇 / robots.txt 작성 양식

robots.txt 란?

robots.txt 는 문서파일로써 검색로봇의 길안내 부분을 설정하는 문서입니다

robots.txt 는 사이트의 루트 디렉토리에 업로드하고 사이트가 검색엔진에 수록되는 도움의 역활을 합니다

사이트에서 검색로봇은 루트폴더에 위치한 robots.txt 파일을 확인한 후 robots.txt 파일이 존재할경우 

robots.txt 파일의안내에 따라 가지만 없을경우 링크추적으로 사이트의 정보를 수집한다 

그러므로 robots.txt 파일은 사이트의 루트폴더에 업로드해야 합니다

robots.txt 의 작성 양식은보통 아래와 같습니다

#Robots.txt file from http://www.test.com

#Sitemap: http://www.test.com/Sitemap.xml

User-agent: *

Disallow: /Action1/

Disallow: /d/

Disallow: /e/admin/

Disallow: /e/class/

Disallow: /e/data/

Disallow: /e/enews/

Disallow: /e/tool/gfen/

Disallow: /e/update/    

 

위의 양식에는 모든 검색로봇을 환영하고 8개의 무시항이 표시되어있습니다

여기서 # 부호는 사이트의 정보설명이며

User-agent: 의 뒤에는 로봇의 이름을 작성합니다

위 예제는 * 은 모든 로봇을 뜻합니다

Disallow: 는 무시 대상을 뜻합니다

 

모든 로봇 허용 / 무시대상 없음 

User-agent: *

Disallow:

또는 내용이 없는 robots.txt 파일을 업로드 하기도 합니다

 

모든 로봇 방문 금지

User-agent: *

Disallow: /

 

모든 로봇 허용 / 경로지정은(수집 금지 폴더가 존재할 경우)

User-agent: *

Disallow: /Action1/

Disallow: /d/

Action1 폴더와 d 폴더는 무시하라는 뜻입니다.

 

지정한 검색로봇만 수집금지

User-agent: Crawler

Disallow: /

모든로봇은 허용하나 Crawler만 금지

 

지정한 검색로봇만 허용

User-agent: Crawler

Disallow: 

User-agent: *

Disallow: /

모든 로봇금지하지만 Crawler만 허용