robots.txt 파일 관리

메모

Dynamics 365 Commerce의 소매 관심 그룹이 Yammer에서 Viva Engage로 이동했습니다. 새 Viva Engage 커뮤니티에 액세스할 수 없는 경우 이 양식(https://aka.ms/JoinD365commerceVivaEngageCommunity)을 작성하여 추가하고 최신 토론에 계속 참여하세요.

이 문서에서는 Microsoft Dynamics 365 전자 상거래에서 robots.txt 파일을 관리하는 방법을 설명합니다.

메모

Dynamics 365 Commerce 버전 10.0.48 미리 보기 릴리스부터 내부 상거래 생성 도메인(.dynamics365commerce.ms)에서 제공되는 모든 HTTP 응답에는 X-Robots-Tag: noindex, nofollow 응답 헤더가 포함됩니다. 이 헤더는 검색 엔진에 내부 도메인의 페이지를 인덱싱하지 않도록 지시하고 이전의 모든 거부 robots.txt 접근 방식을 대체합니다. 이 변경 내용은 모든 테넌트에 자동으로 적용되며 버전 업그레이드가 필요하지 않습니다. 자세한 내용은 내부 도메인에 대한 XRobots-Tag 응답 헤더를 참조하세요.

로봇 제외 표준 또는 robots.txt는 웹 사이트가 웹 로봇과 통신하는 데 사용하는 표준입니다. 웹 로봇에게 방문해서는 안 되는 웹 사이트의 모든 영역에 대해 지시합니다. 로봇은 종종 검색 엔진에서 웹 사이트를 색인화하는 데 사용됩니다.

서버에서 로봇을 제외하려면 서버에 파일을 만듭니다. 이 파일에서 로봇에 대한 액세스 정책을 지정합니다. 파일은 로컬 URL /robots.txt에서 HTTP를 통해 액세스할 수 있어야 합니다. robots.txt 파일은 검색 엔진이 사이트의 콘텐츠를 색인화하는 데 도움이 됩니다.

Dynamics 365 Commerce를 사용하면 도메인에 대한 robots.txt 파일을 업로드할 수 있습니다. Commerce 환경의 각 도메인에 대해 하나의 robots.txt 파일을 업로드하여 해당 도메인과 연결할 수 있습니다.

robots.txt 파일에 대한 자세한 내용은 웹 로봇 페이지.를 방문하십시오.

robots.txt 다양한 도메인 유형에서 작동하는 방법

Robots.txt 동작은 상거래 사이트에 액세스하는 데 사용되는 도메인 유형에 따라 다릅니다.

사용자 지정 프로덕션 도메인

사용자가 www.fabrikam.com와 같은 지정 도메인에 robots.txt 파일을 업로드하면, 해당 파일은 검색 엔진이나 사용자가 /robots.txt에 접속할 때 프로덕션 사이트에서 제공됩니다. 이 방법을 사용하면 검색 엔진이 구성된 규칙에 따라 사이트를 인덱싱할 수 있습니다.

내부 상거래 생성 도메인

형식을 사용하는 .dynamics365commerce.ms 내부 도메인은 사용자 지정 프로덕션 도메인과 유사하게 업로드된 robots.txt 파일을 제공합니다. 그러나 이러한 도메인의 모든 HTTP 응답에는 이러한 페이지의 링크를 인덱싱하거나 팔로우하지 않도록 검색 엔진에 지시하는 헤더가 포함 X-Robots-Tag: noindex, nofollow 됩니다. 자세한 내용은 내부 도메인에 대한 XRobots-Tag 응답 헤더를 참조하세요.

내부 도메인에 대한 XRobots-Tag 응답 헤더

상거래 버전 10.0.48 미리 보기 릴리스부터 내부 상거래 생성 도메인(.dynamics365commerce.ms)의 모든 HTTP 응답에는 응답 헤더가 X-Robots-Tag: noindex, nofollow 포함됩니다. 이 변경 내용은 모든 테넌트에 자동으로 적용되며 버전 업그레이드가 필요하지 않습니다. 헤더는 검색 엔진에 페이지를 인덱싱하지 않고 페이지의 링크를 따르지 않도록 지시합니다. 또한 검색 엔진 크롤러가 페이지를 다시 크롤링하고 noindex 지시문을 발견하여, 이 지시문을 통해 이전에 인덱싱된 콘텐츠를 검색 결과에서 제거하는 데 도움이 됩니다.

메모

헤더는 X-Robots-Tag 내부 상거래 생성 도메인의 응답에만 적용됩니다. 사용자 지정 프로덕션 도메인에는 영향을 주지 않습니다.

특정 도메인의 robots.txt를 테스트하기

내부 상거래 생성 도메인에서 액세스할 때 특정 사용자 지정 도메인에 대해 robots.txt 파일이 표시되는 방식을 미리 보려면 쿼리 매개 변수를 robots.txt URL에 추가 ?domain= 합니다.

예를 들어 내부 도메인이 https://<e-commerce-tenant-name>.dynamics365commerce.ms 사용자 지정 도메인인 <your-custom-domain>경우 다음 URL을 사용합니다.

https://<e-commerce-tenant-name>.dynamics365commerce.ms/robots.txt?domain=<your-custom-domain>

이 방법을 사용하면 프로덕션 도메인을 라이브로 전환하기 전에 지원되는 호스트 이름에 대한 robots.txt 구성을 확인할 수 있습니다. 상거래에서 생성된 URL에 대한 자세한 내용은 상거래에서 생성된 URL을 참조하세요. 사용자 지정 도메인을 구성하는 방법에 대한 자세한 내용은 도메인 이름 구성을 참조하세요.

robots.txt 파일 업로드

로봇 제외 표준에 따라 robots.txt 파일을 만들고 편집한 후 상거래 작성 도구를 사용하는 컴퓨터의 파일에 액세스할 수 있는지 확인합니다. 파일 이름은 robots.txt이어야 합니다. 최상의 결과를 위해 표준에 명시된 형식을 사용합니다. 각 Commerce 고객은 robots.txt 파일의 내용을 확인하고 유지 관리할 책임이 있습니다. robots.txt 파일을 업로드하려면 Commerce에 시스템 관리자로 로그인합니다.

상거래에서 robots.txt 파일을 업로드하려면 다음 단계를 수행합니다.

  1. Commerce에 시스템 관리자로 로그인합니다.
  2. 왼쪽 탐색 창에서 테넌트 설정(기어 기호 옆)을 선택하여 확장합니다.
  3. 테넌트 설정에서 Robots.txt를 선택합니다. 환경과 연결된 모든 도메인 목록이 창의 주요 부분에 나타납니다.
  4. 관리를 선택하여 환경의 도메인에 대한 robots.txt 파일을 업로드합니다.
  5. 오른쪽 메뉴에서 robots.txt 파일과 연결된 도메인 옆에 있는 업로드 버튼(위쪽을 가리키는 화살표)을 선택합니다. 파일 브라우저 대화 상자가 나타납니다.
  6. 대화 상자에서 연결된 도메인에 대해 업로드할 robots.txt 파일을 찾아 선택한 다음 열기를 선택하여 업로드를 완료합니다.

메모

  • 업로드하는 동안 Commerce는 파일이 텍스트 파일인지 확인하지만 파일 내용의 유효성은 검사하지 않습니다.

  • 업로드된 robots.txt 파일은 사용자 지정 프로덕션 도메인과 내부 상거래 생성 도메인 모두에서 제공됩니다. 그러나 내부 도메인에는 검색 엔진 인덱싱을 X-Robots-Tag: noindex, nofollow 방지하기 위해 모든 HTTP 응답에 응답 헤더도 포함됩니다. 자세한 내용은 내부 도메인에 대한 XRobots-Tag 응답 헤더를 참조하세요.

robots.txt 파일 다운로드

상거래에서 robots.txt 파일을 다운로드하려면 다음 단계를 수행합니다.

  1. Commerce에 시스템 관리자로 로그인합니다.
  2. 왼쪽 탐색 창에서 테넌트 설정(기어 기호 옆)을 선택하여 확장합니다.
  3. 테넌트 설정에서 Robots.txt를 선택합니다. 환경과 연결된 모든 도메인 목록이 창의 주요 부분에 나타납니다.
  4. 관리를 선택하여 환경의 도메인에 대한 robots.txt 파일을 다운로드합니다.
  5. 오른쪽 메뉴에서 robots.txt 파일과 연결된 도메인 옆에 있는 다운로드 버튼(아래쪽을 가리키는 화살표)을 선택합니다. 파일 브라우저 대화 상자가 나타납니다.
  6. 대화 상자에서 로컬 드라이브의 원하는 위치로 이동하여 파일 이름을 확인하거나 입력한 다음 저장을 선택하여 다운로드를 완료합니다.

메모

이 절차를 사용하여 상거래 작성 도구를 통해 이전에 업로드한 robots.txt 파일만 다운로드할 수 있습니다.

robots.txt 파일 삭제

상거래에서 robots.txt 파일을 삭제하려면 다음 단계를 수행합니다.

  1. Commerce에 시스템 관리자로 로그인합니다.
  2. 왼쪽 탐색 창에서 테넌트 설정(기어 기호 옆)을 선택하여 확장합니다.
  3. 테넌트 설정에서 Robots.txt를 선택합니다. 환경과 연결된 모든 도메인 목록이 창의 주요 부분에 나타납니다.
  4. 관리를 선택하여 환경의 도메인에 대한 robots.txt 파일을 삭제합니다.
  5. 오른쪽 메뉴에서 robots.txt 파일과 연결된 도메인 옆에 있는 삭제 버튼(휴지통 모양)을 선택합니다. 파일 브라우저 창이 나타납니다.
  6. 파일 브라우저 창에서 해당 도메인에 대해 삭제하려는 robots.txt 파일을 찾아 선택한 다음 열기를 선택합니다. 경고 메시지 상자가 나타납니다.
  7. 메시지 상자에서 삭제를 선택하여 robots.txt 파일 삭제를 확인합니다.

메모

이 절차를 사용하여 상거래 작성 도구를 통해 이전에 업로드한 robots.txt 파일만 삭제할 수 있습니다.

추가 리소스