robots.txt 만들고 sitemap.xml 만들기
페이지 정보
작성자
와우누리
본문
검색로봇 네이버 및 구글 robots.txt 만들고 sitemap.xml 만들기
먼저 robots.txt 파일을 만들어 계정에 업로드합니다.
User-agent: 로봇이름
Allow: / 허용여부
Allow = 허용한다.허락한다
Disallow = 허락하지 않는다
네이버 로봇이름 Naverbot , Yeti
구글 로봇이름 Googlebot
다음로봇이름 Daumoa
전 세계 로봇허용 *
User-agent: *
Allow: /
1. robots.txt 파일명은 모두 소문자여야 한다.
2. robots.txt 파일은 도메인의 루트폴더 위치에 존재해야한다.
3. User-Agent 는 아래에 적히는 설정을 적용시킬 크롤러(봇)의 이름을 기재한다. (예: Googlebot 등)
4. 모든 크롤러에 대한 설정은 User-Agent: * 처럼 적용할 수 있다.
5. 수집/접근권한을 막으려면 해당 페이지를 다음과 같이 설정한다. Disallow: /page
6. 수집/접근권한을 열려면 해당 페이지를 다음과 같이 설정한다. Allow: /page
sitemap.xml 자동생성 사이트
http://www.web-site-map.com/xml_sitemap.php
http://www.check-domains.com/sitemap/index.php
(주의 : 자동으로 만들어 주긴 하는데 느려도 너무 느립니다.)
나때는 말이야 [나때말]
웹팁,robots.txt,sitemap.xml,사이트맵,구글웹마스터도구,네이버웹마스터도구
댓글 0