Hacker Who

나도 해본 구글과 네이버 비교

Jan 09

골빈해커인생 이야기 robots.txt, 구글, 네이버 6 Comments

구글의 robots.txt 몇 개

# robots.txt for http://groups.google.com

User-agent: *
Allow: /searchhistory/
Disallow: /search
Disallow: /groups
Disallow: /images
Disallow: /catalogs
Disallow: /catalogues
Disallow: /news
Disallow: /nwshp
Disallow: /?
Disallow: /addurl/image?
Disallow: /pagead/
Disallow: /relpage/
Disallow: /sorry/
Disallow: /imgres
Disallow: /keyword/
Disallow: /u/
Disallow: /univ/
Disallow: /cobrand
Disallow: /custom
Disallow: /advanced_group_search
Disallow: /advanced_search
Disallow: /googlesite
Disallow: /preferences
Disallow: /setprefs
Disallow: /swr
Disallow: /url
Disallow: /wml?
Disallow: /xhtml?
Disallow: /imode?
Disallow: /jsky?
Disallow: /pda?
Disallow: /sprint_xhtml
Disallow: /sprint_wml
Disallow: /pqa
Disallow: /palm
Disallow: /gwt/
Disallow: /purchases
Disallow: /hws
Disallow: /bsd?
Disallow: /linux?
Disallow: /mac?
Disallow: /microsoft?
Disallow: /unclesam?
Disallow: /answers/search?q=
Disallow: /local?
Disallow: /local_url
Disallow: /froogle?
Disallow: /froogle_
Disallow: /print?
Disallow: /books?
Disallow: /scholar?
Disallow: /complete
Disallow: /sponsoredlinks
Disallow: /videosearch?
Disallow: /videopreview?
Disallow: /videoprograminfo?
Disallow: /maps?
Disallow: /translate?
Disallow: /ie?
Disallow: /sms/demo?
Disallow: /katrina?
Disallow: /blogsearch?
Disallow: /reader/
Disallow: /chart?
Disallow: /base
Disallow: /transit?

# robots.txt for http://video.google.com

User-agent: *
Disallow: /videosearch?
Disallow: /videopreview?
Disallow: /videopreviewbig?
Disallow: /videoprograminfo?
Disallow: /videorandom
Disallow: /videolineup
Disallow: /downloadgvp

# robots.txt for http://www.blogger.com

User-agent: *
Disallow: /profile-find.g
Disallow: /comment.g

# robots.txt for http://answers.google.com

User-agent: *
Disallow: /answers/search?q=

검색으로 인한 컨텐츠가 아니라 구글이 저장해 두고 있는 서비스 세개만 적어봤습니다. 맨 아래는 지식검색과 비슷한 Google Answers. 다른 서비스들도 거의 비슷한 리스트로 되어 있더군요.

대체로 검색 결과와 유료페이지, 로그인해야 볼 수 있는 페이지, 별 의미 없는 페이지등은 가져가지 못하게 되어 있으나 그 외의 것들은 일반적으로 가져갈 수 있게 되어 있는 것 같습니다. 검색 링크를 방문하여 무한 검색 루핑에 빠지는 어리석음을 일으키지 않게 해주는 좋은 효과를 가진 robots.txt 라고 생각합니다.

다음은 네이버의 robots.txt

User-agent: *
Disallow: /

모든 도메인의 robots.txt 가 일괄적이라 매우 편하구나~*

꼬랑지. 다음,야후(미국야후도),엠파스는 아예 robots.txt 자체가 없네요.