robots.txt 세팅방법

LINUX

OJR 2010. 2. 16. 10:52

robots.txt 파일은 어떤 크롤러가 사이트의 어느 부분에 액세스할 수 있는지에 관한 규칙이 포함된 간단한 텍스트 파일.

현재 세팅은 ..

User-agent: *
Disallow: /mall6/
Disallow: /util/
Disallow: /global/

www.naver.com

User-agent: *
Disallow: /
Allow : /$

Google에서 robots.txt 사양을 해석하는 방법 | 문서 | Google Developers

다양한 robots.txt 파일 규칙과 Google이 robots.txt 사양을 해석하는 방법을 자세히 알아보세요.

developers.google.com

lighttpd (0)	2010.03.18
sendmail 로 웹상에서 다음으로 메일이 안보내질때 (0)	2010.03.09
sed (0)	2009.12.15
리눅스 포멧 명령어 (0)	2009.12.11
비어있는 폴더 삭제하기 (0)	2009.10.09

OJR Lab.