[티스토리] 색인 생성 범위 문제 발견

안녕하세요, 달님입니다.

 

어느 날부터 인지는 모르겠는데 구글 광고 노출이 안되더라구요. 

뭐지 싶어서 확인도 해볼겸 구글 애드센스 사이트에 들어갔더니, 이런 알람이 와있더라구요. 

 

[구글 애드센스]

 

 

[자세히 알아보기]를 클릭해서 넘어가니.. 더 알아볼수 없는 말들이 잔뜩 있더라고요. (머라는거야아....)

 

[동공지진]

 

보다보니 [Google Search Console]에서 확인 및 처리해야 하는 것으로 파악되었습니다.

고로.... 해당 사이트 [Google Search Console]로 접속했습니다. 

 

 

 

Google Search Console 사이트

 

들어가서 보니, 문제가 발견되었다고 알람이 와있었어요.

"사이트에서 새로운 색인 생성 범위 문제가 발견됨"

파란색 버튼 [색인 생성 범위 문제 해결하기]를 클릭합니다. 

 

[색인 생성 범위 문제]

 

 

파란색 버튼 클릭!!!

[색인 생성 범위 해결하러 가즈아]

 

 

그러면 하단과 같은 화면으로 이동하는데요, 

"색인 생성 범위 > 색인이 생성되었으나 robots.txt에 의해 차단됨" 이라고 상단에 표기가 되어있었어요. 

 

[색인 생성 범위 - 차단 오류]

 

 

ROBOTS.TXT란?

robots.txt에는 블로그 자료 수집을 어디서부터 어디까지 허용하는지를 정하는 명령어가 적혀있는데요. 검색 수집 로봇이 블로그에 접근 시에 가장 먼저 robots.txt을 확인합니다. 

 

고로, 저 말의 의미는..

구글 검색 엔진에서 티스토리 블로그가 검색 될 수 있도록 색인이 생성(다른 이용자가 검색하면 블로그 자료를 검색 결과에 올려줄 색인은 생성 되었음)되었는데, 검색에서는 노출이 되지만 검색 수집 로봇(robots.txt 명령어 따름)에 의해 차단이 되어 다른 이용자가 볼 수 없게 되었다는 것인데요. 

제 블로그에서는 영향을 받은 페이지 1건이 확인 되었습니다. 

 

[영향받은 페이지 1건 검출]

 

 

하단의 "https://ydmny.tistory/com/search/{search_term_string}"이라고 적힌 구문을 클릭하면 아래 이미지처럼 화면 오른쪽에 새 창이 뜨고, "URL 검사", "ROBOTS.TXT 차단 테스트" 이렇게 2가지 목록이 보여집니다.

 

[오른쪽에 나타나는 창]

 

 

- URL 검사

URL 검사를 클릭해보면 아래와 같은 화면이 표시됩니다.

[URL이 구글에 등록되어 있지만 문제가 있다!]

 

 

- ROBOTS.TXT 차단 테스트

ROBOTS.TXT 차단 테스트를 클릭해보면 아래와 같은 화면이 표시됩니다.

[ROBOTS.TXT 테스터]

robots.txt 테스터의 [Disallow : /search] 에 빨간색으로 표시된거 보이시나요? ㅎㅎ

 

User-agent:*  - 모든 검색 로봇에 대해서 (*: All이라는 의미)

Allow:/ - 허용한다.

Disallow:/ - 허용하지 않는다.

 

즉, 모든 검색 로봇에게 허락하되, /search 이하의 URL은 검색 로봇에게 노출(허용) 시키지 않겠다 입니다. 

 

구글링해서 찾아보니, 티스토리나 네이버 블로그 같은 경우, /manage의 하위 카테고리는 검색 로봇을 제한하도록 되어 있나보더라고요. 관리자 페이지를 일반 사용자가 검색하면 안되니 그런 제한 사항을 둔 것 같더라고요. 

(티스토리의 관리자 페이지 경로는 /manage 입니다.)

 

구글링을 좀 더 해보니 /search 는 정상적으로 실행되는 주소라 /search로 오류가 발생했다면 수정불가능하다고 합니다. 

 

 

결론 : 티스토리에서 /manage 그리고 /search 관련 색인 오류는 무시하고 넘어가면 된다.