SEO에는 작은 것이 없습니다. 때로는 하나의 작은 파일인 Robots.txt가 웹사이트 프로모션에 영향을 줄 수 있습니다.검색 로봇이 필요한 페이지를 우회하도록 사이트의 색인을 생성하려면 해당 페이지에 대한 권장 사항을 작성해야 합니다.
"가능한가요?", - 물어.아마도. 이렇게 하려면 사이트에 robots.txt 파일이 있어야 합니다.파일을 만드는 방법 로봇, 구성 및 사이트에 추가 - 이 기사에서 이해합니다.
robots.txt란 무엇이며 무엇을 위한 것입니까?
Robots.txt는 일반적입니다. 텍스트 파일 , 검색 로봇에 대한 권장 사항이 포함되어 있습니다. 크롤링해야 하는 페이지와 크롤링하지 않아야 하는 페이지.
중요: 파일은 UTF-8로 인코딩되어야 합니다. 그렇지 않으면 검색 로봇이 이를 수락하지 않을 수 있습니다.
이 파일이 없는 사이트가 색인에 포함됩니까?하지만 로봇은 검색 결과에서 바람직하지 않은 페이지(예: 로그인 페이지, 관리자 패널, 개인 사용자 페이지, 미러 사이트 등)를 "가져올" 수 있습니다. 이 모든 것은 "검색 쓰레기"로 간주됩니다.
검색 결과에 개인 정보가 포함되면 귀하와 사이트 모두에게 피해를 줄 수 있습니다. 또 다른 요점 - 이 파일이 없으면 사이트 색인 생성 시간이 더 오래 걸립니다.
Robots.txt 파일에서 검색 스파이더에 대한 세 가지 유형의 명령을 지정할 수 있습니다.
- 스캔은 금지되어 있습니다.
- 스캔이 허용됩니다.
- 스캔은 부분적으로 허용됩니다.
이 모든 것은 지시문을 사용하여 작성되었습니다.
웹 사이트에 대한 올바른 Robots.txt 파일을 만드는 방법
Robots.txt 파일은 기본적으로 모든 컴퓨터에서 사용할 수 있는 메모장 프로그램에서 간단하게 만들 수 있습니다. 파일을 처방하는 것은 초보자도 최대 30분의 시간이 걸립니다(명령을 알고 있는 경우).
다른 프로그램(예: 메모장)을 사용할 수도 있습니다. 파일을 자동으로 생성할 수 있는 온라인 서비스도 있습니다. 예를 들어,CYPR.com또는 미디어소바.
규칙을 설정해야 하는 검색 엔진의 사이트 주소, 메인 미러(www가 있거나 없음)만 지정하면 됩니다. 그러면 서비스가 모든 것을 스스로 할 것입니다.
개인적으로 메모장에 수동으로 파일을 등록하는 오래된 "할아버지" 방식을 선호합니다. "게으른 방법"도 있습니다 - 이것으로 개발자를 어리둥절하게 만들 수 있습니다 🙂 그러나 이 경우에도 모든 것이 올바르게 작성되었는지 확인해야 합니다. 따라서 바로 이 파일을 컴파일하는 방법과 위치를 파악해 보겠습니다.
완성된 Robots.txt 파일은 사이트의 루트 폴더에 있어야 합니다. 폴더 없이 파일만:
귀하의 사이트에 있는지 확인하고 싶으십니까? 드라이브 인 주소 표시 줄주소: site.ru/robots.txt. 다음 페이지가 표시됩니다(파일이 있는 경우):
파일은 들여쓰기로 구분된 여러 블록으로 구성됩니다. 각 블록에는 다양한 검색 엔진의 검색 로봇에 대한 권장 사항이 포함되어 있습니다. 일반적인 규칙모두를 위해) 및 사이트맵에 대한 링크가 있는 별도의 블록 - 사이트맵.
하나의 검색 로봇에 대한 규칙으로 블록 내부를 들여쓸 필요가 없습니다.
각 블록은 User-agent 지시문으로 시작합니다.
각 지시문 뒤에는 공백이 있는 ":" 기호(콜론)가 오고 그 뒤에 값이 표시됩니다(예: 인덱싱에서 닫을 페이지).
절대 주소가 아닌 상대 페이지 주소를 지정해야 합니다. 상대 - "www.site.ru"가 없습니다. 예를 들어 페이지 인덱싱을 비활성화해야 합니다.www.site.ru/shop. 따라서 콜론 뒤에 공백, 슬래시 및 "shop"을 넣습니다.
허용하지 않음: /shop.
별표(*)는 문자 집합을 나타냅니다.
달러 기호($)는 줄의 끝입니다.
아무 사이트에서나 파일을 열고 자신에게 복사할 수 있다면 왜 처음부터 파일을 작성해야 하는지 결정할 수 있습니다.
각 사이트에 대해 고유한 규칙을 규정해야 합니다. 기능을 고려해야합니다 CMS. 예를 들어 동일한 관리자 패널은 WordPress 엔진의 /wp-admin에 있으며 다른 주소에서는 다릅니다. 사이트 맵 등이 있는 개별 페이지의 주소와 동일합니다.
Robots.txt 파일 설정: 인덱싱, 메인 미러, 지시문
스크린샷에서 이미 보았듯이 User-agent 지시문이 먼저 나옵니다. 아래 규칙이 적용되는 검색 로봇을 나타냅니다.
User-agent: * - 모든 검색 로봇에 대한 규칙, 즉, 검색 엔진(구글, 얀덱스, 빙, 램블러 등).
사용자 에이전트: Googlebot - Google 검색 스파이더에 대한 규칙을 나타냅니다.
사용자 에이전트: Yandex - Yandex 검색 로봇에 대한 규칙입니다.
어떤 검색 로봇이 먼저 규칙을 규정할지에 대해서는 차이가 없습니다. 그러나 일반적으로 모든 로봇에 대한 권장 사항이 먼저 작성됩니다.
허용하지 않음: 인덱싱 금지
사이트 전체 또는 개별 페이지의 인덱싱을 비활성화하려면 Disallow 지시문을 사용합니다.
예를 들어, 인덱싱에서 사이트를 완전히 닫을 수 있습니다(리소스가 완료되고 있고 이 상태의 검색 결과에 포함되지 않도록 하려는 경우). 이렇게 하려면 다음을 작성하십시오.
사용자 에이전트: *
허용하지 않음: /
따라서 모든 검색 로봇은 사이트의 콘텐츠를 인덱싱할 수 없습니다.
색인 생성을 위해 사이트를 여는 방법은 다음과 같습니다.
사용자 에이전트: *
허용하지 않음:
따라서 사이트를 닫으려면 Disallow 지시문 뒤에 슬래시가 있는지 확인하십시오. 나중에 열려면 규칙을 제거하는 것을 잊지 마십시오(이는 종종 발생합니다).
인덱싱에서 개별 페이지를 닫으려면 해당 주소를 지정해야 합니다. 나는 이미 그것이 어떻게 이루어 졌는지 썼습니다.
사용자 에이전트: *
허용하지 않음: /wp-admin
따라서 관리자 패널은 타사 보기에서 사이트에서 닫혔습니다.
인덱싱에서 반드시 닫아야 하는 것:
- 관리 패널;
- 사용자의 개인 페이지;
- 바구니;
- 사이트 검색 결과;
- 로그인, 등록, 인증 페이지.
인덱싱 및 특정 유형의 파일에서 닫을 수 있습니다. 사이트에 색인 생성을 원하지 않는 .pdf 파일이 있다고 가정해 보겠습니다. 그리고 검색 로봇은 사이트에 업로드된 파일을 매우 쉽게 검색합니다. 다음과 같이 인덱싱에서 닫을 수 있습니다.
사용자 에이전트: *
허용하지 않음: /*. PDF$
색인 생성을 위해 사이트를 여는 방법
인덱싱에서 완전히 닫힌 사이트에서도 로봇의 특정 파일이나 페이지에 대한 경로를 열 수 있습니다. 사이트를 재설계하지만 서비스 디렉토리는 그대로 남아 있다고 가정해 보겠습니다. 검색 로봇이 해당 섹션을 계속 인덱싱하도록 할 수 있습니다. 이를 위해 Allow 지시문이 사용됩니다.
사용자 에이전트: *
허용: /services
허용하지 않음: /
메인 웹사이트 미러
2018년 3월 20일까지 Yandex 검색 로봇용 robots.txt 파일에서 Host 지시문을 통해 메인 사이트 미러를 지정해야 했습니다. 이제 당신은 이것을 할 필요가 없습니다 - 그것으로 충분합니다 페이지별 301 리디렉션 설정 .
메인 미러는 무엇입니까? 이것은 귀하의 사이트 주소가 www가 있든 없든 주요 주소입니다. 리디렉션을 설정하지 않으면 두 사이트 모두 색인이 생성됩니다. 즉, 모든 페이지가 중복됩니다.
사이트맵: robots.txt 사이트맵
로봇에 대한 모든 지시문을 작성한 후에는 Sitemap에 대한 경로를 지정해야 합니다. 사이트맵은 색인을 생성해야 하는 모든 URL이 특정 주소에 있다는 로봇을 보여줍니다. 예를 들어:
사이트맵: site.ru/sitemap.xml
로봇이 사이트를 크롤링할 때 이 파일에 변경된 사항이 표시됩니다. 결과적으로 새 페이지의 색인이 더 빨리 생성됩니다.
클린 매개변수 지침
2009년에 Yandex는 Clean-param이라는 새로운 지침을 도입했습니다. 페이지 내용에 영향을 주지 않는 동적 매개변수를 설명하는 데 사용할 수 있습니다. 대부분 이 지시문은 포럼에서 사용됩니다. 여기에는 많은 쓰레기(예: 세션 ID, 정렬 매개변수)가 있습니다. 이 지시문을 등록하면 Yandex 검색 로봇은 중복된 정보를 반복적으로 다운로드하지 않습니다.
robots.txt 파일의 아무 곳에나 이 지시문을 작성할 수 있습니다.
로봇이 고려할 필요가 없는 매개변수는 & 기호를 통해 값의 첫 번째 부분에 나열됩니다.
깨끗한 매개변수: sid&sort /forum/viewforum.php
이 지시문은 동적 URL(물음표 포함)이 있는 중복 페이지를 방지합니다.
크롤링 지연 지시문
이 지시문은 서버가 약한 사람들에게 도움이 될 것입니다.
검색 로봇의 도착은 서버에 대한 추가 부하입니다. 사이트 트래픽이 높으면 리소스가 견디지 못하고 "눕게"될 수 있습니다. 결과적으로 로봇은 5xx 오류 메시지를 받게 됩니다. 이러한 상황이 지속적으로 반복될 경우 해당 사이트는 검색 엔진에서 작동하지 않는 사이트로 인식될 수 있습니다.
당신이 일하고 있고 동시에 전화에 끊임없이 응답해야한다고 상상해보십시오. 그러면 생산성이 떨어집니다.
서버도 마찬가지입니다.
지시문으로 돌아가자. 크롤링 지연을 사용하면 서버의 부하를 줄이기 위해 웹사이트 페이지 스캔 지연을 설정할 수 있습니다. 즉, 사이트의 페이지가 로드되는 기간을 설정합니다. 이 매개변수는 정수로 초 단위로 지정됩니다.
각 블로그는 이에 대한 자체 답변을 제공합니다. 따라서 신입사원 검색 프로모션종종 다음과 같이 혼동됩니다.
어떤 종류의 로봇 ti ex ti?
파일 robots.txt또는 인덱스 파일- 평범한 텍스트 문서 UTF-8 인코딩으로 http, https 및 FTP 프로토콜에 유효합니다. 이 파일은 검색 로봇에 대한 권장 사항: 크롤링해야 하는 페이지/파일을 제공합니다.파일에 UTF-8이 아닌 다른 인코딩의 문자가 포함되어 있으면 검색 로봇이 문자를 올바르게 처리하지 못할 수 있습니다. robots.txt 파일에 나열된 규칙은 파일이 있는 호스트, 프로토콜 및 포트 번호에만 유효합니다.
파일은 루트 디렉토리에 일반 텍스트 문서로 있어야 하며 다음 위치에서 사용할 수 있습니다. https://site.com.ua/robots.txt.
다른 파일에서는 BOM(Byte Order Mark)을 표시하는 것이 관례입니다. 정보를 읽을 때 순서를 바이트 단위로 결정하는 데 사용되는 유니코드 문자입니다. 코드 기호는 U+FEFF입니다. robots.txt 파일의 시작 부분에서 바이트 시퀀스 표시는 무시됩니다.
Google은 robots.txt 파일의 크기에 대한 제한을 설정했습니다. 파일의 무게는 500KB를 넘지 않아야 합니다.
자, 기술적인 세부 사항에 관심이 있다면 robots.txt 파일은 BNF(Backus-Naur Form) 설명입니다. 이것은 RFC 822의 규칙을 사용합니다.
robots.txt 파일에서 규칙을 처리할 때 검색 로봇은 다음 세 가지 지침 중 하나를 받습니다.
- 부분 액세스: 사이트의 개별 요소를 스캔할 수 있습니다.
- 전체 액세스: 모든 것을 스캔할 수 있습니다.
- 완전한 금지: 로봇은 아무 것도 스캔할 수 없습니다.
robots.txt 파일을 스캔할 때 로봇은 다음과 같은 응답을 받습니다.
- 2xx-스캔이 성공했습니다.
- 3xx-크롤러는 다른 응답을 받을 때까지 리디렉션을 따릅니다. 대부분의 경우 로봇이 3xx 응답 이외의 응답을 받기 위해 5번 시도한 다음 404 오류가 기록됩니다.
- 4xx-검색 로봇은 사이트의 모든 콘텐츠를 크롤링할 수 있다고 생각합니다.
- 5xx-일시적인 서버 오류로 평가되면 검색이 완전히 비활성화됩니다. 로봇은 다른 응답을 받을 때까지 파일에 액세스합니다. Google 검색 로봇은 사이트의 누락된 페이지에 대한 응답을 반환하도록 올바르게 구성되었는지 또는 잘못 구성되었는지 확인할 수 있습니다. 즉, 페이지가 404 오류 대신 5xx 응답을 반환하는 경우 , 이 경우 페이지는 응답 코드 404로 처리됩니다.
robots.txt 파일이 어떻게 처리되는지는 아직 알려지지 않았으며, 인터넷 접속과 관련된 서버 문제로 인해 사용할 수 없습니다.
robots.txt 파일이 필요한 이유
예를 들어 로봇이 다음을 방문해서는 안 되는 경우가 있습니다.
- 사이트 사용자의 개인 정보가 있는 페이지
- 다양한 형태의 정보 전송 페이지;
- 미러 사이트;
- 검색 결과 페이지.
중요: 페이지가 robots.txt 파일에 있더라도 해당 링크가 사이트 내부 또는 외부 리소스의 어딘가에서 발견된 경우 검색 결과에 나타날 가능성이 있습니다.
검색 엔진 로봇이 robots.txt 파일이 있거나 없는 사이트를 보는 방법은 다음과 같습니다.
robots.txt가 없으면 엿보는 눈에 숨겨야 할 정보가 검색 결과에 들어갈 수 있으며 이로 인해 귀하와 사이트 모두 피해를 입을 수 있습니다.
검색 엔진 로봇이 robots.txt 파일을 보는 방식은 다음과 같습니다.
Google은 사이트에서 robots.txt 파일을 찾았고 사이트 페이지를 크롤링해야 하는 규칙을 찾았습니다.
robots.txt 파일을 만드는 방법
메모장, 메모장, Sublime 또는 기타 텍스트 편집기를 사용합니다.
사용자 에이전트 - 로봇용 명함
사용자 에이전트 - 로봇이 robots.txt 파일에 설명된 지침을 볼 필요가 있는 규칙입니다. 에 이 순간 302개의 검색 로봇이 알려져 있습니다.
그녀는 우리가 모든 검색 로봇에 대해 robots.txt에 규칙을 지정한다고 말합니다.
Google의 경우 주요 로봇은 Googlebot입니다. 이 항목만 고려하려면 파일의 항목은 다음과 같습니다.
이 경우 다른 모든 로봇은 명령에 따라 콘텐츠를 크롤링하여 빈 robots.txt 파일을 처리합니다.
Yandex의 경우 주요 로봇은... Yandex:
기타 특수 로봇:
- 미디어 파트너-Google- 애드센스 서비스의 경우
- AdsBot-Google— 방문 페이지의 품질을 확인하기 위해
- Yandex이미지— Yandex.Pictures 인덱서;
- 구글봇 이미지- 사진의 경우;
- YandexMetrika— Yandex.Metrica 로봇;
- 얀덱스미디어- 멀티미디어 데이터를 색인화하는 로봇;
- YaDirectFetcher— Yandex.Direct 로봇;
- 구글봇 동영상- 비디오용
- 구글봇 모바일- 모바일 버전의 경우
- YandexDirectDyn— 동적 배너 생성 로봇;
- Yandex블로그- 게시물과 댓글의 색인을 생성하는 블로그 검색 로봇
- 얀덱스마켓— Yandex.Market 로봇;
- Yandex뉴스— Yandex.News 로봇;
- YandexDirect— 관련 광고 선택에 대한 주제를 명확히 하기 위해 광고 네트워크의 파트너 사이트 콘텐츠에 대한 정보를 다운로드합니다.
- Yandex 페이지 검사기— 마이크로데이터 유효성 검사기
- Yandex캘린더— Yandex.Calendar 로봇.
허용하지 않음 - "벽돌"을 배치합니다.
사이트가 개선되는 중이고 현재 상태로 검색 결과에 나타나지 않기를 원하는 경우에 사용해야 합니다.
사이트가 사용자에게 표시될 준비가 되는 즉시 이 규칙을 제거하는 것이 중요합니다. 불행히도, 이것은 많은 웹마스터들에 의해 잊혀졌습니다.
예시. 로봇이 폴더의 내용을 보지 않도록 하는 Disallow 규칙을 작성하는 방법 /폴더/:
이 줄은 .gif 확장자를 가진 모든 파일의 인덱싱을 방지합니다.
허용 - 직접 로봇
허용은 모든 파일/지시어/페이지를 스캔할 수 있도록 합니다. 로봇이 /catalog로 시작하는 페이지만 보고 다른 모든 콘텐츠를 닫을 수 있어야 한다고 가정해 보겠습니다. 이 경우 다음 조합이 처방됩니다.
허용 및 허용 안 함 규칙은 URL 접두사 길이(가장 낮은 것부터 가장 긴 것까지)별로 정렬되고 순차적으로 적용됩니다. 둘 이상의 규칙이 페이지와 일치하는 경우 로봇은 정렬된 목록에서 마지막 규칙을 선택합니다.
호스트 - 사이트 미러 선택
호스트는 robots.txt에 대한 필수 규칙 중 하나이며, Yandex 로봇에게 인덱싱을 위해 고려해야 할 사이트 미러를 알려줍니다.
사이트 미러 - 다른 주소에서 사용할 수 있는 사이트의 정확한 사본 또는 거의 정확한 사본.
로봇은 사이트 미러를 찾을 때 혼동하지 않고 기본 미러가 robots.txt 파일에 지정되어 있음을 이해합니다. 사이트 주소는 "http://" 접두사 없이 지정되지만 사이트가 HTTPS에서 작동하는 경우 "https://" 접두사를 지정해야 합니다.
이 규칙을 작성하는 방법:
사이트가 HTTPS 프로토콜에서 작동하는 경우 robots.txt 파일의 예:
사이트맵 - 의료 사이트맵
Sitemap은 색인 생성에 필요한 모든 사이트 URL이 다음 위치에 있음을 로봇에 알립니다. http://site.ua/sitemap.xml. 크롤링할 때마다 로봇은 이 파일의 변경 사항을 확인하고 검색 엔진 데이터베이스에서 사이트에 대한 정보를 빠르게 새로 고칩니다.
크롤링 지연 - 약한 서버를 위한 스톱워치
크롤링 지연 - 사이트의 페이지가 로드되는 기간을 설정할 수 있는 매개변수입니다. 이 규칙은 서버가 약한 경우에 적합합니다. 이 경우 가능한 큰 지연검색 로봇이 사이트의 페이지에 액세스할 때. 이 매개변수는 초 단위로 측정됩니다.
Clean-param - 중복 콘텐츠 헌터
Clean-param은 get-parameters를 처리하여 다른 동적 URL(물음표 포함)에서 사용할 수 있는 중복 콘텐츠를 방지하는 데 도움이 됩니다. 사이트의 정렬, 세션 ID 등이 다른 경우 이러한 주소가 나타납니다.
다음 주소에서 페이지를 사용할 수 있다고 가정해 보겠습니다.
www.site.com/catalog/get_phone.ua?ref=page_1&phone_id=1
www.site.com/catalog/get_phone.ua?ref=page_2&phone_id=1
www.site.com/catalog/get_phone.ua?ref=page_3&phone_id=1
이 경우 robots.txt 파일은 다음과 같습니다.
여기 참조링크가 어디에서 왔는지를 나타내므로 맨 처음에 쓰여지고 나머지 주소만 표시됩니다.
그러나 참조 파일로 이동하기 전에 robots.txt 파일을 작성할 때 알아야 할 몇 가지 징후가 더 있습니다.
robots.txt의 기호
파일의 주요 문자는 "/, *, $, #"입니다.
사용하여 슬래시 "/"우리는 로봇이 감지하지 못하도록 숨기고 싶은 것을 보여줍니다. 예를 들어 허용 안 함 규칙에 슬래시가 하나 있으면 전체 사이트 크롤링이 금지됩니다. 두 개의 슬래시를 사용하여 특정 디렉토리(예: /catalog/)의 검색을 비활성화할 수 있습니다.
그러한 항목은 우리가 카탈로그 폴더의 전체 내용을 스캔하는 것을 금지하지만 /catalog를 쓰면 사이트에서 /catalog로 시작하는 모든 링크를 금지한다고 말합니다.
별표 "*"파일의 모든 문자 시퀀스를 의미합니다. 각 규칙 뒤에 배치됩니다.
이 항목은 모든 로봇이 /catalog/ 폴더에 있는 .gif 파일을 인덱싱해서는 안 된다고 말합니다.
달러 표시 «$» 별표 기호의 범위를 제한합니다. 카탈로그 폴더의 전체 내용을 허용하지 않으려고 하지만 /catalog가 포함된 URL은 허용할 수 없는 경우 색인 파일의 항목은 다음과 같습니다.
해시 "#"웹마스터가 자신이나 다른 웹마스터를 위해 남긴 댓글에 사용됩니다. 로봇은 사이트를 스캔할 때 이를 고려하지 않습니다.
예를 들어:
이상적인 robots.txt는 어떻게 생겼습니까?
파일은 인덱싱을 위해 사이트의 콘텐츠를 열고 호스트가 등록되고 사이트 맵이 지정되어 검색 엔진이 항상 인덱싱되어야 하는 주소를 볼 수 있습니다. 모든 로봇이 호스트 명령을 이해하는 것은 아니기 때문에 Yandex에 대한 규칙은 별도로 작성됩니다.
그러나 파일 내용을 자신에게 복사하려고 서두르지 마십시오. 사이트 및 CMS 유형에 따라 각 사이트마다 고유한 규칙을 작성해야 합니다. 따라서 robots.txt 파일을 작성할 때 모든 규칙을 기억하는 것이 좋습니다.
robots.txt 파일을 확인하는 방법
robots.txt 파일을 올바르게 작성했는지 알고 싶다면 웹마스터 도구에서 확인하세요. Google그리고 얀덱스. 그냥 입력 원천 robots.txt 파일을 링크로 폼에 넣고 확인할 사이트를 지정합니다.
robots.txt 파일을 작성하지 않는 방법
색인 파일을 작성할 때 종종 성가신 실수가 발생하며, 이는 일반적인 부주의 또는 조급함과 관련이 있습니다. 조금 아래는 내가 실제로 만난 오류 차트입니다.
2. 하나의 Disallow 문에 여러 폴더/디렉토리 쓰기:
이러한 항목은 검색 로봇을 혼란스럽게 할 수 있으며, 색인을 생성하지 않아야 하는 항목(첫 번째 폴더 또는 마지막 폴더)을 정확히 이해하지 못할 수 있으므로 각 규칙을 별도로 작성해야 합니다.
3. 파일 자체를 호출해야 합니다. robots.txt만, Robots.txt, ROBOTS.TXT 또는 기타가 아닙니다.
4. 사용자 에이전트 규칙을 비워 둘 수 없습니다. 파일에 지정된 규칙을 고려해야 하는 로봇을 지정해야 합니다.
5. 파일의 추가 문자(슬래시, 별표).
6. 색인에 없어야 하는 페이지를 파일에 추가합니다.
robots.txt의 비표준 사용
인덱스 파일은 직접적인 기능 외에도 창의성을 위한 플랫폼이자 새로운 직원을 찾는 방법이 될 수 있습니다.
다음은 robots.txt 자체가 작업 요소와 광고 단위가 있는 작은 사이트인 사이트입니다.
이 파일은 전문가 검색을 위한 플랫폼으로 주로 SEO 대행사에서 사용합니다. 그리고 그 존재에 대해 누가 알 수 있습니까? :)
그리고 구글은 특수 파일 인간.txt, 피부와 고기에서 전문가에 대한 차별의 생각을 허용하지 않습니다.
결론
Robots.txt의 도움으로 검색 로봇에 대한 지침을 설정하고, 자신과 브랜드를 광고하고, 전문가를 검색할 수 있습니다. 이것은 실험하기에 좋은 분야입니다. 가장 중요한 것은 파일의 올바른 채우기와 일반적인 실수에 대해 기억하는 것입니다.
규칙은 지시문이며 robots.txt 파일의 지시사항이기도 합니다.
- 사용자 에이전트 - 로봇이 robots.txt에 설명된 지침을 봐야 하는 규칙입니다.
- Disallow는 어떤 종류의 정보를 스캔하지 않아야 하는지에 대한 권장 사항을 제공합니다.
- Sitemap은 색인 생성에 필요한 모든 사이트 URL이 http://site.ua/sitemap.xml에 있음을 로봇에 알립니다.
- 호스트는 Yandex 로봇에게 인덱싱을 위해 고려해야 할 사이트 미러를 알려줍니다.
- 허용은 모든 파일/지시어/페이지를 스캔할 수 있도록 합니다.
robots.txt를 컴파일할 때의 징후:
- 달러 기호 "$"는 별표 기호의 범위를 제한합니다.
- 슬래시 "/"를 사용하여 로봇이 감지하지 못하도록 숨길 수 있음을 나타냅니다.
- 별표 "*"는 파일의 모든 문자 시퀀스를 의미합니다. 각 규칙 뒤에 배치됩니다.
- 해시 마크 "#"는 웹마스터가 자신이나 다른 웹마스터를 위해 작성하는 댓글을 나타내는 데 사용됩니다.
색인 파일을 현명하게 사용하십시오. 그러면 사이트가 항상 검색 결과에 표시됩니다.
검색 봇이 사이트에 올 때 가장 먼저 하는 일은 robots.txt 파일을 검색하고 읽는 것입니다. 이 파일은 무엇입니까? 검색 엔진에 대한 일련의 지침입니다.
사이트의 루트 디렉토리에 있는 확장자가 txt인 텍스트 파일입니다. 이 지침 세트는 색인을 생성할 페이지와 사이트 파일을 검색 로봇에 알려줍니다. 또한 사이트의 메인 미러와 사이트 맵을 찾을 위치를 나타냅니다.
robots.txt 파일은 무엇을 위한 것입니까? 사이트의 적절한 인덱싱을 위해. 검색, 다양한 서비스 페이지 및 문서에 중복 페이지가 없도록 합니다. 로봇에서 지시문을 올바르게 설정하면 인덱싱 및 사이트 미러링과 관련된 많은 문제로부터 사이트를 구할 수 있습니다.
올바른 robots.txt를 작성하는 방법
robots.txt를 컴파일하는 것은 충분히 쉽습니다. 표준 Windows 메모장에서 텍스트 문서를 만듭니다. 이 파일에 검색 엔진에 대한 지시문을 작성합니다. 그런 다음 이 파일을 "robots"라는 이름과 텍스트 확장자 "txt"로 저장합니다. 이제 모든 것을 호스팅에 업로드할 수 있습니다. 루트 폴더대지. 사이트당 하나의 로봇 문서만 만들 수 있습니다. 사이트에 이 파일이 없으면 봇은 모든 항목을 인덱싱할 수 있다고 자동으로 "결정"합니다.
하나이기 때문에 모든 검색 엔진에 대한 지침이 포함되어 있습니다. 또한 각 PS에 대한 별도의 지침과 모든 것에 대한 일반 지침을 모두 즉시 작성할 수 있습니다. 다른 검색 봇에 대한 지침의 분리는 User-agent 지시문을 통해 수행됩니다. 이에 대해서는 아래에서 더 이야기하겠습니다.
robots.txt 지시문
"로봇" 파일에는 User-agent, Disallow, Allow, Sitemap, Host, Crawl-delay, Clean-param과 같은 인덱싱 지시문이 포함될 수 있습니다. 각 지침을 자세히 살펴보겠습니다.
사용자 에이전트 지시문
사용자 에이전트 지시문- 지침이 있는 검색 엔진을 나타냅니다(더 정확하게는 특정 봇에 대해). "*"이면 모든 로봇에 대한 지침입니다. Googlebot과 같은 특정 봇이 나열되는 경우 지침은 기본 Google 색인 생성 봇에만 해당됩니다. 또한 Googlebot과 다른 모든 PS에 대한 지침이 별도로 있는 경우 Google은 자체 지침만 읽고 일반적인 지침은 무시합니다. Yandex 봇도 마찬가지입니다. 지시문 항목의 예를 살펴보겠습니다.
사용자 에이전트: YandexBot - 기본 Yandex 인덱싱 봇 전용 지침
사용자 에이전트: Yandex - 모든 Yandex 봇에 대한 지침
사용자 에이전트: * - 모든 봇에 대한 지침
지시문 금지 및 허용
지시문 금지 및 허용- 인덱싱할 항목과 그렇지 않은 항목을 명령에 지정합니다. Disallow는 사이트의 페이지 또는 전체 섹션을 인덱싱하지 않는 명령을 제공합니다. 반대로 Allow는 인덱싱해야 하는 항목을 나타냅니다.
Disallow: / - 전체 사이트의 색인 생성을 금지합니다.
허용하지 않음: /papka/ - 폴더의 전체 내용을 인덱싱하는 것을 금지합니다.
허용하지 않음: /files.php - 파일 files.php의 색인 생성을 금지합니다.
허용: /cgi-bin - cgi-bin 페이지 인덱싱 허용
Disallow 및 Allow 지시문에 특수 문자를 사용하는 것이 가능하고 종종 필요합니다. 정규식을 정의하는 데 필요합니다.
특수 문자 * - 모든 문자 시퀀스를 대체합니다. 기본적으로 각 규칙의 끝에 추가됩니다. 등록하지 않아도 PS에서 알아서 등록해줍니다. 사용 예:
허용하지 않음: /cgi-bin/*.aspx - 확장자가 .aspx인 모든 파일의 인덱싱을 금지합니다.
Disallow: /*foto - foto라는 단어가 포함된 파일 및 폴더의 색인 생성을 금지합니다.
특수 문자 $ - 규칙 끝에서 특수 문자 "*"의 효과를 취소합니다. 예를 들어:
금지: /example$ - '/example' 색인 생성을 금지하지만 '/example.html'은 금지하지 않습니다.
$ 특수 문자 없이 작성하면 명령이 다르게 작동합니다.
Disallow: /example - '/example'과 '/example.html'을 모두 허용하지 않습니다.
사이트맵 지시문
사이트맵 지시문- 호스팅에 사이트맵이 있는 위치를 검색엔진 로봇에게 알려주도록 설계되었습니다. 사이트맵 형식은 sitemaps.xml이어야 합니다. 더 빠르고 완전한 사이트 색인 생성을 위해서는 사이트맵이 필요합니다. 또한 사이트맵은 반드시 하나의 파일이 아니라 여러 개일 수 있습니다. 지시문 입력 형식:
사이트맵: http://site/sitemaps1.xml
사이트맵: http://site/sitemaps2.xml
호스트 지시문
호스트 지시문- 로봇에게 사이트의 메인 미러를 나타냅니다. 사이트의 미러 인덱스에 무엇이 있든 항상 이 지시문을 지정해야 합니다. 지정하지 않으면 Yandex 로봇은 www가 있거나 없는 사이트의 최소 두 가지 버전을 색인화합니다. 미러 로봇이 그것들을 붙일 때까지. 녹음 예:
호스트: www.site
호스트: 사이트
첫 번째 경우 로봇은 www가 있는 버전을 색인화하고 두 번째 경우에는 www가 없는 버전을 색인화합니다. robots.txt 파일에는 하나의 호스트 지시문만 허용됩니다. 여러 개를 작성하면 봇은 첫 번째 것만 처리하고 고려합니다.
유효한 호스트 지시문에는 다음 데이터가 있어야 합니다.
— 연결 프로토콜(HTTP 또는 HTTPS)을 나타냅니다.
- 올바르게 작성 도메인 이름(IP 주소를 등록할 수 없습니다);
- 필요한 경우 포트 번호(예: 호스트: site.com:8080).
잘못 작성된 지시문은 단순히 무시됩니다.
크롤링 지연 지시문
크롤링 지연 지시문서버의 부하를 줄일 수 있습니다. 귀하의 사이트가 다양한 봇의 공격을 받기 시작하는 경우에 필요합니다. Crawl-delay 지시문은 검색 봇에게 한 페이지 다운로드가 끝난 후 사이트의 다른 페이지 다운로드가 시작될 때까지 기다리라고 지시합니다. 지시문은 "Disallow" 및/또는 "Allow" 지시문 항목 바로 뒤에 와야 합니다. Yandex 검색 로봇은 분수 값을 읽을 수 있습니다. 예: 1.5(1.5초).
클린 매개변수 지침
클린 매개변수 지침페이지에 동적 매개변수가 포함된 사이트에서 필요합니다. 우리는 페이지의 내용에 영향을 미치지 않는 것에 대해 이야기하고 있습니다. 세션 식별자, 사용자, 참조자 등 다양한 서비스 정보입니다. 따라서 이러한 페이지의 중복을 피하기 위해 이 지시문이 사용됩니다. 재출근 정보를 다시 업로드하지 않도록 PS에 알려줍니다. 서버의 부하와 로봇이 사이트를 크롤링하는 데 걸리는 시간도 줄어듭니다.
깨끗한 매개변수: s /forum/showthread.php
이 항목은 s 매개변수가 /forum/showthread.php로 시작하는 모든 URL에 대해 중요하지 않은 것으로 간주될 것임을 PS에 알려줍니다. 최대 레코드 길이는 500자입니다.
지시문을 알아냈으니 로봇 설정으로 넘어갑시다.
robots.txt 설정
robots.txt 파일 설정을 직접 진행합니다. 최소한 두 개의 항목을 포함해야 합니다.
사용자 에이전트:- 아래 지침이 어떤 검색 엔진에 적용되는지 나타냅니다.
허용하지 않음:- 인덱싱되지 않을 사이트 부분을 지정합니다. 사이트의 별도 페이지와 전체 섹션을 모두 인덱싱하여 닫을 수 있습니다.
또한 이러한 지시문이 모든 검색 엔진을 대상으로 하거나 특정 검색 엔진을 대상으로 하도록 지정할 수 있습니다. 이것은 User-agent 지시문에 지정되어 있습니다. 모든 봇이 지침을 읽도록 하려면 별표를 입력하세요.
특정 로봇에 대한 지침을 작성하고 싶지만 이름을 지정해야 하는 경우.
사용자 에이전트: YandexBot
적절하게 구성된 robots 파일의 간단한 예는 다음과 같습니다.
사용자 에이전트: *
허용하지 않음: /files.php
허용하지 않음: /섹션/
호스트: 사이트
어디에, *
지침은 모든 PS를 위한 것이라고 말합니다.
허용하지 않음: /files.php- file.php 파일 색인 생성을 금지합니다.
허용하지 않음: /사진/- 모든 첨부 파일과 함께 전체 "foto" 섹션을 인덱싱하는 것을 금지합니다.
호스트: 사이트- 인덱싱할 미러를 로봇에 알려줍니다.
사이트에 색인 생성에서 닫아야 하는 페이지가 없는 경우 robots.txt 파일은 다음과 같아야 합니다.
사용자 에이전트: *
허용하지 않음:
호스트: 사이트
Yandex(Yandex)용 Robots.txt
이 지침이 Yandex 검색 엔진을 위한 것임을 나타내려면 사용자 에이전트 지시문에 Yandex를 지정해야 합니다. 또한 "Yandex"를 작성하면 모든 Yandex 로봇에 의해 사이트가 인덱싱되고 "YandexBot"을 지정하면 기본 인덱싱 로봇에 대해서만 명령이 됩니다.
사이트의 주 미러를 지정하는 "호스트" 지시문도 등록해야 합니다. 위에서 썼듯이 이것은 중복 페이지를 방지하기 위해 수행됩니다. Yandex에 대한 올바른 robots.txt는 다음과 같습니다.
대부분의 로봇은 잘 설계되었으며 사이트 소유자에게 문제를 일으키지 않습니다. 그러나 봇이 아마추어에 의해 작성되었거나 "무언가 잘못되었습니다"면 사이트에 상당한 부하를 생성하여 우회할 수 있습니다. 그건 그렇고, 스파이더는 바이러스처럼 서버에 전혀 들어가지 않습니다. 그들은 단순히 원격으로 필요한 페이지를 요청합니다(사실 이들은 브라우저와 유사하지만 페이지 브라우징 기능이 없음).
Robots.txt - 사용자 에이전트 지시문 및 검색 엔진 봇
Robots.txt는 매우 간단한 구문을 가지고 있습니다. 예를 들어 다음과 같이 자세히 설명되어 있습니다. 얀덱스를 도와주세요그리고 구글 도움말. 일반적으로 다음 지시문이 사용되는 검색 봇을 지정합니다. 봇 이름(" 사용자 에이전트"), 허용(" 허용하다") 및 금지(" 허용하지 않음") 및 "Sitemap"은 지도 파일이 있는 정확한 위치를 검색 엔진에 표시하는 데에도 적극적으로 사용됩니다.
표준은 꽤 오래전에 만들어졌고 나중에 무언가가 추가되었습니다. 특정 검색 엔진의 로봇만 이해할 수 있는 지침과 설계 규칙이 있습니다. RuNet에서는 Yandex와 Google만 관심을 갖고 있습니다. 즉, robots.txt를 컴파일하는 데 도움이 되므로 특히 자세히 숙지해야 합니다(이전 단락에서 링크 제공).
예를 들어, Yandex 검색 엔진의 경우 이전에 웹 프로젝트가 특수 "Host" 지시문에서 주요 프로젝트임을 나타내는 것이 유용했습니다. 얀덱스). 사실, 2018년 초에 Yandex는 여전히 호스트를 취소했습니다.이제 다른 검색 엔진의 기능과 마찬가지로 301 리디렉션에 의해 기능이 수행됩니다.
자원에 거울이 없더라도 주요 철자 - 를 나타내는 것이 유용할 것입니다.
이제 이 파일의 구문에 대해 조금 이야기해 보겠습니다. robots.txt의 지시문은 다음과 같습니다.
<поле>:<пробел><значение><пробел> <поле>:<пробел><значение><пробел>
올바른 코드에는 다음이 포함되어야 합니다. 하나 이상의 "Disallow" 지시문각 "사용자 에이전트" 항목 뒤에. 빈 파일은 전체 사이트를 인덱싱할 수 있는 권한을 가정합니다.
사용자 에이전트
"사용자 에이전트" 지시문검색 봇의 이름을 포함해야 합니다. 이를 통해 각 특정 검색 엔진에 대한 행동 규칙을 설정할 수 있습니다(예: Yandex에 대해서만 별도의 폴더 인덱싱 금지). 리소스에 오는 모든 봇으로 주소가 지정된 "사용자 에이전트"를 작성하는 예는 다음과 같습니다.
사용자 에이전트: *
"사용자 에이전트"를 설정하려면 특정 조건 Yandex와 같은 하나의 봇에 대해서만 다음과 같이 작성해야 합니다.
사용자 에이전트: Yandex
검색 엔진 로봇의 이름과 robots.txt 파일에서의 역할
각 검색 엔진의 봇고유한 이름이 있습니다(예: rambler의 경우 StackRambler). 여기에서 가장 유명한 것을 나열하겠습니다.
Google http://www.google.com Googlebot Yandex http://www.ya.ru Yandex Bing http://www.bing.com/ bingbot
주요 검색 엔진의 경우 때때로 주요 봇을 제외하고, 블로그, 뉴스, 이미지 등을 인덱싱하기 위한 별도의 인스턴스도 있습니다. (Yandex의 경우) 및 (Google의 경우) 봇 유형에 대한 많은 정보를 얻을 수 있습니다.
이 경우 어떻게 해야 합니까? 모든 유형의 Googlebot이 따라야 하는 색인 생성 금지 규칙을 작성해야 하는 경우 Googlebot이라는 이름을 사용하면 이 검색 엔진의 다른 모든 스파이더도 준수합니다. 그러나 예를 들어 Googlebot-Image 봇을 User-agent로 지정하여 이미지 색인 생성을 금지할 수 있습니다. 지금은 명확하지 않지만 예제를 사용하면 더 쉬울 것이라고 생각합니다.
robots.txt에서 Disallow 및 Allow 지시문 사용의 예
간단하게 몇가지 알려드릴께요 지시문 사용 예그의 행동을 설명합니다.
- 아래 코드를 사용하면 모든 봇(사용자 에이전트에서 별표로 표시)이 예외 없이 모든 콘텐츠를 인덱싱할 수 있습니다. 주어진다 빈 Disallow 지시문. 사용자 에이전트: * 허용하지 않음:
- 반대로 다음 코드는 모든 검색 엔진이 이 리소스의 페이지를 색인에 추가하는 것을 완전히 금지합니다. 값 필드에 "/"가 있는 Disallow로 설정합니다. 사용자 에이전트: * 허용하지 않음: /
- 이 경우 모든 봇은 /image/ 디렉토리의 내용을 볼 수 없습니다. (http://mysite.ru/image/는 이 디렉토리의 절대 경로입니다.) User-agent: * Disallow: /image/
- 하나의 파일을 차단하려면 해당 파일에 대한 절대 경로를 등록하는 것으로 충분합니다(읽기): User-agent: * Disallow: /katalog1//katalog2/private_file.html
조금 앞을 내다보면 전체 경로를 쓰지 않기 위해 별표(*)를 사용하는 것이 더 쉽다고 말할 것입니다.
허용하지 않음: /*private_file.html
- 아래 예에서 "이미지" 디렉토리는 물론 "이미지" 문자로 시작하는 모든 파일 및 디렉토리(예: 파일: "image.htm", "images.htm", 디렉토리: "이미지")는 금지됩니다. , " images1", "image34" 등): User-agent: * Disallow: /image 사실 별표는 기본적으로 항목 끝에 함축되어 있으며 부재를 포함하여 모든 문자를 대체합니다. 아래에서 그것에 대해 읽어보십시오.
- 사용하여 허용 지시문우리는 액세스를 허용합니다. Disallow를 잘 보완합니다. 예를 들어, 이 조건에서 Yandex 검색 로봇이 주소가 /cgi-bin으로 시작하는 웹 페이지를 제외한 모든 것을 다운로드(인덱싱)하는 것을 금지합니다: User-agent: Yandex Allow: /cgi-bin Disallow: /
글쎄, 또는 이것은 Allow 및 Disallow 번들을 사용하는 명백한 예입니다.
사용자 에이전트: * 허용 안 함: /catalog 허용: /catalog/auto
- Allow-Disallow 지시문에 대한 경로를 설명할 때 기호를 사용할 수 있습니다. "*" 및 "$", 따라서 특정 논리 표현식을 설정합니다.
- 상징 "*"(별)모든(빈 포함) 문자 시퀀스를 의미합니다. 다음 예는 모든 검색 엔진이 ".php" 확장자를 가진 파일을 인덱싱하지 못하도록 합니다. User-agent: * Disallow: *.php$
- 마지막에 왜 필요한가 $(달러) 기호? 사실 robots.txt 파일을 컴파일하는 로직에 따르면 각 디렉티브의 끝에 기본 별표가 추가됩니다(존재하지 않지만 있는 것 같습니다). 예를 들어 다음과 같이 작성합니다. Disallow: /images
다음과 같다고 가정합니다.
허용하지 않음: /이미지*
저것들. 이 규칙은 주소가 /images로 시작하고 그 뒤에 오는 모든 파일(웹 페이지, 이미지 및 기타 유형의 파일)의 인덱싱을 금지합니다(위의 예 참조). 그래서 여기있다 $ 기호끝에 있는 기본(지정되지 않은) 별표를 무시합니다. 예를 들어:
허용하지 않음: /images$
/images.html 또는 /images/primer.html이 아닌 /images 파일의 인덱싱만 비활성화합니다. 음, 첫 번째 예에서 우리는 .php로 끝나는 파일만 인덱싱하는 것을 금지했습니다(이러한 확장명을 가짐).
허용하지 않음: *.php$
물음표 뒤의 별표는 스스로를 암시하지만, 조금 더 높은 곳에서 알 수 있듯이 이미 끝에 암시되어 있습니다. 따라서 검색 로봇이 도달할 수 있는 검색 페이지 및 엔진에 의해 생성된 기타 서비스 페이지의 인덱싱을 금지합니다. 물음표는 CMS에서 세션 식별자로 가장 자주 사용되어 중복 페이지가 색인에 포함될 수 있기 때문에 불필요한 것은 아닙니다.
Robots.txt의 사이트맵 및 호스트 지시문(Yandex용)
사이트 미러의 불쾌한 문제를 방지하기 위해 이전에는 Yandex 봇이 메인 미러를 가리키도록 하는 robots.txt에 Host 지시문을 추가하는 것이 좋습니다.
호스트 지시문 - Yandex의 기본 사이트 미러를 지정합니다.
예를 들어 이전에 다음과 같은 경우 아직 보안 프로토콜로 전환하지 않았습니다., 전체 URL이 아니라 도메인 이름(http://, 즉 .ru 제외)을 호스트에 표시해야 했습니다. 이미 https로 전환했다면 전체 URL(예: https://myhost.ru)을 지정해야 합니다.
중복 콘텐츠 방지를 위한 훌륭한 도구 - 다른 URL이 Canonical에 등록된 경우 검색 엔진은 단순히 페이지를 색인화하지 않습니다. 예를 들어 내 블로그의 이러한 페이지(페이지 매김이 있는 페이지)의 경우 Canonical은 https: // 사이트를 가리키고 제목을 복제하는 데 문제가 없어야 합니다.
하지만 난 탈당...
프로젝트가 엔진을 기반으로 하는 경우 중복 콘텐츠가 발생합니다높은 확률로 robots.txt, 특히 메타 태그의 금지를 포함하여 싸워야 함을 의미합니다. 첫 번째 경우 Google은 금지를 무시할 수 있지만 더 이상 줄 수는 없기 때문입니다. 메타 태그에 대한 망할 (그런 식으로 제기).
예를 들어, 워드프레스 페이지카테고리의 콘텐츠, 태그 아카이브의 콘텐츠 및 임시 아카이브의 콘텐츠 모두에 대해 인덱싱이 허용되는 경우 매우 유사한 콘텐츠가 검색 엔진의 인덱스에 들어갈 수 있습니다. 그러나 위에서 설명한 로봇 메타 태그를 사용하여 태그 아카이브 및 임시 아카이브에 대한 금지를 생성하는 경우(태그를 남길 수 있지만 카테고리 콘텐츠의 인덱싱을 금지함) 콘텐츠 중복이 발생하지 않습니다. 이 작업을 수행하는 방법은 바로 위에 제공된 링크(OlInSeoPak 플러그인)에 설명되어 있습니다.
요약하자면, Robots 파일은 사이트의 전체 디렉토리 또는 주어진 기호(마스크에 의해). 이러한 금지를 조금 더 높게 설정한 예를 볼 수 있습니다.
이제 고려해보자 구체적인 예다양한 엔진용으로 설계된 로봇 - Joomla, WordPress 및 SMF. 당연히 서로 다른 CMS에 대해 생성된 세 가지 옵션은 모두 크게(기본적으로는 아니지만) 서로 다릅니다. 사실, 그들 모두는 하나의 공통된 순간을 가질 것이며, 이 순간은 Yandex 검색 엔진과 연결됩니다.
왜냐하면 Yandex는 Runet에서 상당히 큰 비중을 차지하므로 작업의 모든 뉘앙스를 고려해야하며 여기에서 우리는 호스트 지시문이 도움이 될 것입니다.. 이 검색 엔진에 사이트의 기본 미러를 명시적으로 나타냅니다.
그녀를 위해 Yandex(사용자 에이전트: Yandex)만을 위한 별도의 사용자 에이전트 블로그를 사용하는 것이 좋습니다. 이는 다른 검색 엔진이 호스트를 이해하지 못할 수 있기 때문에 모든 검색 엔진(사용자 에이전트: *)을 위한 사용자 에이전트 레코드에 호스트를 포함하면 부정적인 결과와 잘못된 인덱싱이 발생할 수 있습니다.
검색 알고리즘은 그 자체로 사물이기 때문에 실제로 상황이 어떻다고 말하기는 어렵습니다. 그래서 그들이 조언하는 대로 하는 것이 좋습니다. 그러나 이 경우 User-agent: Yandex 지시문에서 User-agent: * 로 설정한 모든 규칙을 복제해야 합니다. 빈 Disallow: 와 함께 User-agent: Yandex를 남겨두면 이 방법으로 Yandex가 어디로든 이동하고 모든 것을 인덱스로 끌어다 놓을 수 있습니다.
WordPress용 로봇
개발자가 권장하는 파일의 예는 제공하지 않겠습니다. 직접 시청할 수 있습니다. 많은 블로거는 WordPress 엔진의 콘텐츠를 탐색할 때 Yandex 및 Google 봇을 전혀 제한하지 않습니다. 대부분의 경우 블로그에서 플러그인으로 자동 채워진 로봇을 찾을 수 있습니다.
그러나 제 생각에는 쭉정이에서 밀을 선별하는 어려운 작업에서 수색을 도와야 합니다. 첫째, Yandex와 Google 봇이 이 쓰레기를 색인화하는 데 많은 시간이 걸리며 새 기사가 있는 웹페이지를 색인에 추가할 시간이 전혀 없을 수 있습니다. 둘째, 엔진의 정크 파일을 크롤링하는 봇은 호스트 서버에 추가 로드를 생성하는데 이는 좋지 않습니다.
이 파일의 내 버전을 직접 볼 수 있습니다. 낡았고 오랫동안 변하지 않았지만 나는 "깨지 않은 것을 고치지 말라"는 원칙을 따르려고 노력하며 결정은 당신에게 달려 있습니다. 사용, 자신 또는 다른 사람의 엿보기 . 나는 최근까지 페이지 매김으로 페이지를 인덱싱하는 것을 금지했지만(Disallow: */page/) 최근에 위에서 설명한 Canonical에 의존하여 제거했습니다.
그러나 일반적으로, 유일한 올바른 파일 WordPress의 경우 아마도 존재하지 않을 것입니다. 물론 그 안에 전제 조건을 구현하는 것이 가능하지만 누가 그것이 옳을 것이라고 말했습니다. 웹에는 이상적인 robots.txt에 대한 많은 옵션이 있습니다.
나는 두 가지 극단을 줄 것이다:
- 자세한 설명이 포함된 메가파일을 찾을 수 있습니다(# 기호는 실제 파일에서 제거하는 것이 더 나은 주석을 구분합니다): User-agent: * # 일반적인 규칙 Yandex와 Google을 제외한 로봇의 경우 # 왜냐하면 이에 대한 규칙은 다음과 같습니다. Disallow: /cgi-bin # 호스팅 폴더 Disallow: /? # 메인 페이지의 모든 쿼리 옵션 Disallow: /wp- # 모든 WP 파일: /wp-json/, /wp-includes, /wp-content/plugins Disallow: /wp/ # /wp/ 하위 디렉토리가 있는 경우 CMS가 설치되었습니다(그렇지 않은 경우 # 규칙을 제거할 수 있습니다.) Disallow: *?s= # search Disallow: *&s= # search Disallow: /search/ # search Disallow: /author/ # 작성자 아카이브 Disallow: /users/ # 작성자 아카이브 허용하지 않음: */ trackback # 트랙백, 열린 기사 링크가 나타날 때 # 주석에 알림 허용하지 않음: */feed # 모든 피드 허용하지 않음: */rss # rss 피드 허용하지 않음: */embed # 모든 포함 허용하지 않음: */wlwmanifest .xml # 매니페스트 xml 파일 Windows Live Writer(사용하지 않는 경우 # 제거 가능) Disallow: /xmlrpc.php # WordPress API 파일 Disallow: *utm= # utm 태그가 있는 링크 Disallow: *openstat= # openstat 태그가 있는 링크 허용 : */uploads # 파일 업로드가 있는 폴더 열기 User-agent: GoogleBot # Google 규칙(댓글 중복 금지) Disallow: /cgi-bin Disallow: /? Disallow: /wp- Disallow: /wp/ Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */ rss 허용하지 않음: */embed 허용하지 않음: */wlwmanifest.xml 허용하지 않음: /xmlrpc.php 허용하지 않음: *utm= 허용하지 않음: *openstat= 허용: */uploads 허용: /*/*.js # /wp 내부에서 js 스크립트 열기 - (/*/ - 우선순위) 허용: /*/*.css # /wp- 내부의 css 파일 열기 - (/*/ - 우선순위) 허용: /wp-*.png # 플러그인, 캐시 폴더 등의 사진. 허용: /wp-*.jpg # 플러그인의 이미지, 캐시 폴더 등 허용: /wp-*.jpeg # 플러그인의 이미지, 캐시 폴더 등 허용: /wp-*.gif # 플러그인의 사진, 캐시 폴더 등 허용: /wp-admin/admin-ajax.php # 플러그인에서 JS 및 CSS 차단을 방지하기 위해 사용 사용자 에이전트: Yandex # Yandex에 대한 규칙(댓글을 복제하지 마십시오) 허용하지 않음: /cgi-bin 허용하지 않음: /? Disallow: /wp- Disallow: /wp/ Disallow: *?s= Disallow: *&s= Disallow: /search/ Disallow: /author/ Disallow: /users/ Disallow: */trackback Disallow: */feed Disallow: */ rss 허용하지 않음: */embed 허용하지 않음: */wlwmanifest.xml 허용하지 않음: /xmlrpc.php 허용: */uploads 허용: /*/*.js 허용: /*/*.css 허용: /wp-*.png 허용: /wp-*.jpg 허용: /wp-*.jpeg 허용: /wp-*.gif 허용: /wp-admin/admin-ajax.php Clean-Param: utm_source&utm_medium&utm_campaign # Yandex는 색인에서 # 닫지 말고 삭제할 것을 권장합니다. 태그 매개변수, # Google은 이러한 규칙을 지원하지 않습니다. Clean-Param: openstat # 유사 # 하나 이상의 Sitemap 파일을 지정합니다(각 사용자 에이전트 #에 대해 복제할 필요가 없음). Google XML Sitemap은 아래 예와 같이 2개의 사이트맵을 생성합니다. 사이트맵: http://site.ru/sitemap.xml 사이트맵: http://site.ru/sitemap.xml.gz # 아래 예와 같이 사이트의 메인 미러를 지정합니다. HTTPS # 다음 프로토콜을 작성하고 포트를 지정해야 하는 경우 지정). 호스트 명령은 # Yandex 및 Mail.RU를 이해하지만 Google은 고려하지 않습니다. 호스트: www.site.ru
- 다음은 미니멀리즘의 예입니다. User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Host: https://site.ru Sitemap: https://site.ru/ 사이트맵.xml
진실은 아마도 그 중간 어딘가에 있을 것입니다. 또한 멋진 플러그인 - 을 사용하여 "추가" 페이지에 대한 로봇 메타 태그를 등록하는 것을 잊지 마십시오. 그는 또한 Canonical을 설정하는 데 도움을 줄 것입니다.
Joomla에 대한 올바른 robots.txt
사용자 에이전트: * 허용하지 않음: /administrator/ 허용하지 않음: /bin/ 허용하지 않음: /cache/ 허용하지 않음: /cli/ 허용하지 않음: /components/ 허용하지 않음: /includes/ 허용하지 않음: /installation/ 허용하지 않음: /language/ 허용하지 않음: /layouts/ 허용하지 않음: /libraries/ 허용하지 않음: /logs/ 허용하지 않음: /modules/ 허용하지 않음: /plugins/ 허용하지 않음: /tmp/
원칙적으로 여기에서는 거의 모든 것이 고려되며 잘 작동합니다. 유일한 것은 별도의 User-agent: Yandex 규칙을 추가하여 Yandex의 기본 미러를 정의하는 Host 지시문을 삽입하고 Sitemap 파일의 경로를 지정해야 한다는 것입니다.
따라서 최종 형태에서 Joomla의 올바른 로봇은 다음과 같아야 합니다.
사용자 에이전트: Yandex 허용하지 않음: /administrator/ 허용하지 않음: /cache/ 허용하지 않음: /includes/ 허용하지 않음: /installation/ 허용하지 않음: /language/ 허용하지 않음: /libraries/ 허용하지 않음: /modules/ 허용하지 않음: /plugins/ 허용하지 않음: /tmp/ Disallow: /layouts/ Disallow: /cli/ Disallow: /bin/ Disallow: /logs/ Disallow: /components/ Disallow: /component/ Disallow: /component/tags* Disallow: /*mailto/ Disallow: /*.pdf : /*% 불허: /index.php 호스트: vash_sait.ru (또는 www.vash_sait.ru) 사용자 에이전트: * 허용: /*.css?*$ 허용: /*.js?*$ 허용: /* .jpg?*$ 허용: /*.png?*$ 허용하지 않음: /administrator/ 허용하지 않음: /cache/ 허용하지 않음: /includes/ 허용하지 않음: /installation/ 허용하지 않음: /language/ 허용하지 않음: /libraries/ 허용하지 않음: /modules/ 허용하지 않음 : /plugins/ Disallow: /tmp/ Disallow: /layouts/ Disallow: /cli/ Disallow: /bin/ Disallow: /logs/ Disallow: /components/ Disallow: /component/ Disallow: /*mailto/ Disallow: /*. pdf 허용하지 않음: /*% 허용하지 않음: /index.php 사이트맵: http://지도 경로 XML 형식
예, 두 번째 옵션에는 지시문이 있습니다. 허용, 스타일, 스크립트 및 그림의 인덱싱 허용. 이것은 Google을 위해 특별히 작성되었습니다. Googlebot이 때때로 로봇에서 이러한 파일의 색인 생성이 금지되어 있다고 맹세하기 때문입니다(예: 테마가 사용된 폴더에서). 그는 심지어 이를 위해 순위를 낮추겠다고 위협합니다.
따라서 Allow를 사용하여 이 모든 것을 미리 인덱싱할 수 있습니다. 그건 그렇고, WordPress의 샘플 파일에서도 동일한 일이 발생했습니다.
행운을 빕니다! 블로그 페이지 사이트에서 곧 만나요
당신은 관심이있을 수 있습니다
www가 있는 도메인과 없는 도메인 - 301 리디렉션을 사용하여 도메인을 함께 연결하는 표시 기록
미러, 중복 페이지 및 URL 주소 - 사이트 감사 또는 SEO 프로모션 중 충돌의 원인이 될 수 있는 사항 초보자를 위한 SEO: 기술 웹사이트 감사를 위한 10가지 필수 요소
Bing 웹마스터 - 검색 엔진 Bing의 웹마스터를 위한 센터
Google 웹마스터 - 검색 콘솔 도구(Google 웹마스터)
웹사이트를 홍보할 때 일반적인 실수를 피하는 방법
사이트를 직접 홍보하고 내부 최적화를 개선하는 방법 키워드중복 콘텐츠 제거
Yandex 웹 마스터 - Yandex 웹 마스터의 인덱싱, 링크, 사이트 가시성, 지역 선택, 저자 및 바이러스 검사
sitemap.xml 파일과 사이트에 대한 올바른 robots.txt는 검색 로봇이 웹 리소스의 필요한 모든 페이지를 빠르고 완전하게 인덱싱하는 데 기여하는 두 가지 필수 문서입니다. Yandex와 Google의 적절한 사이트 인덱싱은 검색 엔진에서 성공적인 블로그 홍보의 열쇠입니다.
사이트맵을 만드는 방법 XML 형식내가 왜 그것을 필요로 하는지, 나는 이미 썼습니다. 이제 WordPress 사이트에 적합한 robots.txt를 만드는 방법과 이것이 필요한 이유에 대해 이야기해 보겠습니다. 자세한 정보이 파일에 대한 정보는 Yandex와 Google에서 각각 얻을 수 있습니다. 내 파일을 예로 사용하여 핵심을 만지고 WordPress의 주요 robots.txt 설정을 만질 것입니다.
사이트에 robots.txt 파일이 필요한 이유
robots.txt 표준은 1994년 1월에 도입되었습니다. 웹 리소스를 크롤링할 때 검색 로봇은 먼저 웹사이트나 블로그의 루트 폴더에 있는 robots.txt 텍스트 파일을 찾습니다. 도움을 받아 다양한 검색 엔진의 로봇에 대한 특정 규칙을 지정할 수 있으며 이에 따라 사이트를 색인화할 수 있습니다.
robots.txt를 올바르게 설정하면 다음이 허용됩니다.
- 색인에서 중복 및 다양한 가비지 페이지를 제외합니다.
- 숨기려는 페이지, 파일 및 폴더의 색인 생성을 금지합니다.
- 일반적으로 일부 검색 로봇에 대한 인덱싱을 거부합니다(예: 경쟁업체로부터 들어오는 링크에 대한 정보를 숨기기 위해 Yahoo).
- 사이트의 기본 미러를 나타냅니다(www가 있거나 www가 없음).
- sitemap.xml 사이트맵의 경로를 지정합니다.
웹사이트에 대한 올바른 robots.txt를 만드는 방법
이를 위해 특수 생성기 및 플러그인이 있지만 수동으로 수행하는 것이 더 정확합니다.
다음을 사용하여 robots.txt라는 일반 텍스트 파일을 생성하기만 하면 됩니다. 텍스트 에디터(예: 메모장 또는 메모장 ++) 블로그의 루트 폴더에 있는 호스팅에 업로드합니다. 이 파일에서 특정 지시문을 작성해야 합니다. Yandex, Google 등의 로봇에 대한 인덱싱 규칙
이것을 귀찮게 하기에는 너무 게으르다면 내 관점에서 내 블로그에서 WordPress에 대한 올바른 robots.txt의 예를 아래에 제공하겠습니다. 세 곳에서 도메인 이름을 바꿔서 사용할 수 있습니다.
Robots.txt 생성 규칙 및 지시문
성공적인 검색 엔진 최적화블로그에서 robots.txt를 만들기 위한 몇 가지 규칙을 알아야 합니다.
- robots.txt 파일이 없거나 비어 있다는 것은 검색 엔진이 웹 리소스의 모든 콘텐츠를 인덱싱할 수 있음을 의미합니다.
- robots.txt는 site.ru/robots.txt에서 열리고 로봇에 200 OK 응답 코드와 32KB 이하의 크기를 제공해야 합니다. 열 수 없거나(예: 404 오류로 인해) 더 큰 파일은 허용되는 것으로 간주됩니다.
- 파일의 지시문 수는 1024개를 초과해서는 안 됩니다. 한 줄의 길이는 1024자를 초과하지 않아야 합니다.
- 유효한 robots.txt 파일에는 여러 지침이 있을 수 있으며 각 지침은 User-agent 지시문으로 시작해야 하며 최소한 하나의 Disallow 지시문을 포함해야 합니다. 일반적으로 Google 및 기타 모든 로봇의 경우 robots.txt에 지침을 작성하고 Yandex의 경우 별도로 지침을 작성합니다.
주요 robots.txt 지시문:
사용자 에이전트 - 명령이 지정된 크롤러를 나타냅니다.
"*" 기호는 이것이 모든 로봇에 적용됨을 의미합니다. 예를 들면 다음과 같습니다.
사용자 에이전트: *
Yandex용 robots.txt에 규칙을 생성해야 하는 경우 다음과 같이 작성합니다.
사용자 에이전트: Yandex
특정 로봇에 지시문이 지정된 경우 User-agent: * 지시문은 무시됩니다.
Disallow 및 Allow - 로봇이 지정된 페이지를 인덱싱하는 것을 각각 금지하고 허용합니다. 모든 주소는 사이트 루트에서 지정해야 합니다. 세 번째 슬래시부터 시작합니다. 예를 들어:
- 모든 로봇에 대한 전체 사이트 인덱싱 금지:
사용자 에이전트: *
허용하지 않음: / - Yandex가 /wp-admin으로 시작하는 모든 페이지를 인덱싱하는 것은 금지되어 있습니다.
사용자 에이전트: Yandex
허용하지 않음: /wp-admin - 빈 Disallow 지시문은 모든 것을 인덱싱할 수 있도록 하며 Allow와 유사합니다. 예를 들어 Yandex가 전체 사이트의 색인을 생성하도록 허용합니다.
사용자 에이전트: Yandex
허용하지 않음: - 그 반대의 경우도 마찬가지입니다. 모든 검색 로봇이 모든 페이지의 색인을 생성하는 것을 금지합니다.
사용자 에이전트: *
허용하다: - 동일한 User-agent 블록의 Allow 및 Disallow 지시문은 URL 접두사 길이별로 정렬되어 순차적으로 실행됩니다. 사이트의 한 페이지에 여러 지시문이 적합하면 목록의 마지막 지시문이 실행됩니다. 이제 쓰기 순서는 로봇의 지시문 사용에 중요하지 않습니다. 지시문에 길이가 같은 접두사가 있으면 Allow가 먼저 실행됩니다. 이 규정은 2012년 3월 8일부터 시행합니다. 예를 들어 /wp-includes로 시작하는 페이지만 인덱싱할 수 있습니다.
사용자 에이전트: Yandex
허용하지 않음: /
허용: /wp-includes
사이트맵 - XML 사이트맵의 URL을 지정합니다. 하나의 사이트에는 여러 개의 사이트맵 지시문, 중첩될 수 있습니다. 사이트 색인 생성 속도를 높이려면 모든 Sitemap 파일 주소를 robots.txt에 지정해야 합니다.
사이트맵: http://site/sitemap.xml.gz
사이트맵: http://site/sitemap.xml
호스트 - 미러 로봇에게 사이트의 어느 미러가 기본 미러로 간주되는지 알려줍니다.
사이트가 여러 주소에서 사용 가능한 경우(예: www가 있고 www가 없는 경우) 필터를 사용할 수 있는 전체 중복 페이지가 생성됩니다. 또한 이 경우 메인 페이지는 인덱싱할 수 없지만, 반대로 메인 페이지는 검색 엔진 인덱스에서 제외됩니다. 이를 방지하기 위해 Yandex 전용 robots.txt 파일에서 하나일 수 있는 Host 지시문이 사용됩니다. Disallow 및 Allow 다음에 작성되며 다음과 같습니다.
호스트: 사이트
크롤링 지연 - 페이지 다운로드 사이의 지연을 초 단위로 설정합니다. 로드가 많고 서버가 요청을 처리할 시간이 없을 때 사용됩니다. 젊은 사이트에서는 Crawl-delay 지시문을 사용하지 않는 것이 좋습니다. 그녀는 다음과 같이 씁니다.
사용자 에이전트: Yandex
크롤링 지연: 4
Clean-param - Yandex에서만 지원되며 변수가 있는 중복 페이지를 제거하여 하나로 묶는 데 사용됩니다. 따라서 Yandex 로봇은 추천 링크와 관련된 페이지와 같이 유사한 페이지를 여러 번 다운로드하지 않습니다. 이 지시문은 아직 사용하지 않았지만 Yandex에 대한 robots.txt 도움말에서 기사 시작 부분의 링크에서 이 지시문을 자세히 읽을 수 있습니다.
특수 문자 * 및 $는 robots.txt에서 Disallow 및 Allow 지시문의 경로를 지정하는 데 사용됩니다.
- 특수 문자 "*"는 일련의 문자를 의미합니다. 예를 들어 Disallow: /*?*는 이 기호 앞과 뒤에 오는 문자에 관계없이 주소에 "?"가 있는 모든 페이지에 대한 금지를 의미합니다. 기본적으로 특수 문자 "*"는 특별히 작성되지 않은 경우에도 각 규칙의 끝에 추가됩니다.
- "$" 문자는 규칙 끝에서 "*"를 취소하고 엄격한 일치를 의미합니다. 예를 들어 Disallow: /*?$ 지시문은 "?"로 끝나는 페이지의 인덱싱을 금지합니다.
워드프레스 robots.txt 예시
다음은 WordPress 블로그에 대한 내 robots.txt 파일의 예입니다.
| 사용자 에이전트: * 허용하지 않음: /cgi-bin 허용하지 않음: /wp-admin 허용하지 않음: /wp-includes 허용하지 않음: /wp-content/plugins 허용하지 않음: /wp-content/cache 허용하지 않음: /wp-content/themes 허용하지 않음: / trackback 허용하지 않음: */trackback 허용하지 않음: */*/trackback 허용하지 않음: /feed/ 허용하지 않음: */*/feed/*/ 허용하지 않음: */feed 허용하지 않음: /*?* 허용하지 않음: /?s= 사용자 에이전트: Yandex 허용하지 않음: /cgi-bin 허용하지 않음: /wp-admin 허용하지 않음: /wp-includes 허용하지 않음: /wp-content/plugins 허용하지 않음: /wp-content/cache 허용하지 않음: /wp-content/themes 허용하지 않음: /trackback 허용하지 않음: */ 트랙백 허용하지 않음: */*/trackback 허용하지 않음: /feed/ 허용하지 않음: */*/feed/*/ 허용하지 않음: */feed 허용하지 않음: /*?* 허용하지 않음: /?.ru/sitemap.xml..xml |
사용자 에이전트: * 허용하지 않음: /cgi-bin 허용하지 않음: /wp-admin 허용하지 않음: /wp-includes 허용하지 않음: /wp-content/plugins 허용하지 않음: /wp-content/cache 허용하지 않음: /wp-content/themes 허용하지 않음: / trackback 허용하지 않음: */trackback 허용하지 않음: */*/trackback 허용하지 않음: /feed/ 허용하지 않음: */*/feed/*/ 허용하지 않음: */feed 허용하지 않음: /*?* 허용하지 않음: /?s= 사용자 에이전트: Yandex 허용하지 않음: /cgi-bin 허용하지 않음: /wp-admin 허용하지 않음: /wp-includes 허용하지 않음: /wp-content/plugins 허용하지 않음: /wp-content/cache 허용하지 않음: /wp-content/themes 허용하지 않음: /trackback 허용하지 않음: */ 트랙백 허용하지 않음: */*/trackback 허용하지 않음: /feed/ 허용하지 않음: */*/feed/*/ 허용하지 않음: */feed 허용하지 않음: /*?* 허용하지 않음: /?.ru/sitemap.xml..xml
WordPress에 대한 올바른 robots.txt 생성으로 자신을 속이지 않으려면 이 파일을 사용할 수 있습니다. 인덱싱에는 문제가 없습니다. 복사 방지 스크립트가 있으므로 완성된 robots.txt를 다운로드하여 호스팅에 업로드하는 것이 더 편리할 것입니다. Host 및 Sitemap 지시문에서 내 사이트 이름을 귀하의 이름으로 바꾸는 것을 잊지 마십시오.
WordPress용 robots.txt 파일을 올바르게 구성하기 위한 유용한 추가 기능
WordPress 블로그에 트리 주석이 설치되어 있으면 ?replytocom= 과 같은 중복 페이지가 생성됩니다. robots.txt에서 이러한 페이지는 Disallow: /*?* 지시문으로 닫힙니다. 그러나 이것은 탈출구가 아니며 금지 사항을 제거하는 것이 좋지만 다른 방식으로 답장을 처리하는 것이 좋습니다. 뭐, .
따라서 2014년 7월의 현재 robots.txt는 다음과 같습니다.
| 사용자 에이전트: * 허용하지 않음: /wp-includes 허용하지 않음: /wp-feed 허용하지 않음: /wp-content/plugins 허용하지 않음: /wp-content/cache 허용하지 않음: /wp-content/themes 사용자 에이전트: Yandex 허용하지 않음: /wp -includes 허용하지 않음: /wp-feed 허용하지 않음: /wp-content/plugins 허용하지 않음: /wp-content/cache 허용하지 않음: /wp-content/themes 호스트: site.ru 사용자 에이전트: Googlebot-Image 허용: /wp-content /uploads/ 사용자 에이전트: YandexImages 허용: /wp-content/uploads/ 사이트맵: http://site.ru/sitemap.xml |
사용자 에이전트: * 허용하지 않음: /wp-includes 허용하지 않음: /wp-feed 허용하지 않음: /wp-content/plugins 허용하지 않음: /wp-content/cache 허용하지 않음: /wp-content/themes 사용자 에이전트: Yandex 허용하지 않음: /wp -includes 허용하지 않음: /wp-feed 허용하지 않음: /wp-content/plugins 허용하지 않음: /wp-content/cache 허용하지 않음: /wp-content/themes 호스트: site.ru 사용자 에이전트: Googlebot-Image 허용: /wp-content /uploads/ 사용자 에이전트: YandexImages 허용: /wp-content/uploads/ 사이트맵: http://site.ru/sitemap.xml
여기에는 이미지 인덱싱 로봇에 대한 규칙이 추가로 포함되어 있습니다.
사용자 에이전트: Mediapartners-Google
허용하지 않음:
카테고리 또는 태그 페이지를 홍보할 계획이라면 로봇용으로 열어야 합니다. 예를 들어 블로그 사이트에서 섹션은 인덱싱에서 닫히지 않습니다. 왜냐하면 그들은 기사의 작은 발표만 게시하기 때문에 콘텐츠 복제 측면에서 매우 중요하지 않습니다. 그리고 고유한 공지사항으로 채워진 블로그 피드의 인용문 출력을 사용하면 중복이 전혀 발생하지 않습니다.
위 플러그인을 사용하지 않는 경우 robots.txt 파일에 태그, 카테고리 및 아카이브 색인 생성 금지를 지정할 수 있습니다. 예를 들어 다음 행을 추가하면 다음과 같습니다.
허용하지 않음: /작성자/
허용하지 않음: /태그
허용하지 않음: /category/*/*
허용하지 않음: /20*
Yandex.Webmaster 패널에서 robots.txt 파일을 확인하고 호스팅에 다시 업로드하는 것을 잊지 마십시오.
robots.txt 설정에 대한 추가 사항이 있으면 댓글에 작성하십시오. 이제 이것이 무엇인지, 사이트에 올바른 robots.txt를 생성하는 방법, robots.txt 파일에서 색인 생성을 비활성화하고 오류를 수정하는 방법에 대한 비디오를 시청하십시오.