[Tistory] 티스토리 구글서치콘솔 '제외됨', '현재 색인이 생성되지 않음' 해결

색인(Index)이란 검색을 빠르게 하기 위한 데이터 저장 장소라고 할 수 있습니다.
만약 색인이 생성되어 있지 않다면 정성스럽게 포스팅한 글이 구글에 노출되지 않게 되고
전체 조회수에도 영향을 주게 되겠죠?

🚀 이번 포스팅은 색인 등록이 누락된 포스팅이 제대로 검색에 반영되도록 구글 서치 콘솔을 통해 해결하는 방법에 대해 알려드리겠습니다.

블로그를 운영 중인 분들 중에
"검색로봇이 크롤링하는데 시간이 좀 필요하니 기다릴 수는 있어. 어? 근데 이 글은 올해 초에 작성한 글인데 아직도?"
"시간 꽤 지났는데 (비공개 처리도 안 했는데) 누적 조회수 통계가 왜 이러지...?"
"검색창에 블로그 이름까지 달아가면서 검색해도 안 나오네.."
와 같은 문제를 겪으시는 분들도 많으실 것 같습니다. (이 글을 클릭해주신 분들 또한 같은 이유겠죠?)
현재 저의 블로그 공개 글은 659개이며 '제외됨' 페이지의 개수가 약 2500개 되는 것을 보고 분석을 해봤습니다.
제 관심사는 시간이 꽤 지났음에도 불구하고 누적 조회수가 0 또는 1인 게시물들이 검색에 노출되게 하는 것이며,
'현재 색인이 생성되지 않음'으로 제외된 페이지에 주목을 했습니다.

🔎 원인

적절한 표준 태그가 포함된 대체 페이지 (1776건 발견)

Google에서 표준으로 인식하는 페이지의 중복 페이지입니다.
이 페이지는 표준 페이지로 올바르게 연결되므로 별도의 조치는 필요 없습니다.

리디렉션이 포함된 페이지 (571건 발견 발견)

꽤나 많은 페이지들이 이 상태로 제외되었는데 페이지들은 분석해보니 신경 안 써도 되는 부분인 것 같습니다.

리디렉션 뜻이 해당 URL에 접속하면 자동으로 특정 페이지로 이동하는 것을 뜻하는데, 리디렉션이 있는 것 자체가 이미 해당 URL의 색인이 생성되었다는 의미이므로 리디렉션이 포함된 페이지들은 색인에서 제외된 것입니다.

찾을 수 없음(404) (99건 발견)

페이지들을 들어가 보니 예전에 삭제했던 포스팅이나 카테고리들의 흔적으로 남아있는 것으로 보입니다.
어차피 존재하지 않는 URL 경로이니 신경 안 써도 될 것 같습니다.

크롤링됨 - 현재 색인이 생성되지 않음 (68건 발견)

구글에서 이 페이지를 발견하고 크롤링하였지만 아직 색인이 생성되지 않은 경우입니다.
이후에 색인이 생성될지, 되지 않을지는 미지수이며 크롤링을 위해 다시 URL을 제출해도 결과는 동일하다고 합니다.
이유는 구글봇이 색인까지 생성하면서 구글 서버에 저장할만한 URL이 아니라고 판단한 것이라고 합니다.

색인이 생성될지는 잘 모르겠지만, 중요한 URL들이 좀 있어서 색인 요청해보고 후기 알려드리겠습니다. (2021.10.15)

+ 색인 요청 후 색인이 등록된 것인지 시간이 지나서 정상적으로 등록된 것인지는 모르겠지만 대부분 색인이 생성된 것으로 확인되었습니다
(2021.12.16)

⭐️ 발견됨 - 현재 색인이 생성되지 않음 (37건 발견)

구글에서 이 페이지를 발견했지만 아직 크롤링이 되지 않은 경우입니다.
사이트 과부하로 인해 구글에서 크롤링 일정을 변경했기 때문입니다.
언젠가는 구글 봇이 크롤링해가겠지만
"빨리 내 글이 구글에 노출되게 하고 싶어!"
"이글 아직도 색인 생성 안됐어?"
의미 있거나 중요한 URL인 경우 구글 서치 콘솔 URL 검사 탭에서 "색인 요청"을 통해 색인 생성을 요청할 수 있습니다.

600번대 글은 최근에 작성한 글들이라 나중에 생성되겠거니 기다리면 되지만, 140번과 151번 글은 좀 오래돼서 무슨 글인지 확인해봤습니다. 확인해보니 별로 중요한 글이 아니라서 냅뒀고, 이것들 중에서 중요한 URL들은 색인 요청을 하였습니다.

사용자가 선택한 표준이 없는 중복 페이지 (3건 발견)

이 페이지에 중복 페이지는 있는데 표준으로 표시된 페이지가 없는 경우입니다.
해당 페이지가 중요한 포스팅이라면 "이 URL 검사"를 통해 구글에서 선택한 표준 URL이 될 수 있습니다.

robots.txt에 의해 차단됨 (3건 발견)

색인 생성을 위해 이 페이지를 제출했지만 사이트의 robots.txt 파일에 의해 페이지가 차단된 경우입니다.
페이지들은 확인해보니 하나는 관리자 페이지이고, 하나는 모바일 검색창, 또 하나는 존재하지 않는 페이지였습니다.
관리자 페이지의 경우 다른 사람이 관리자 페이지를 열면 안 되니 당연한 것이고 별 문제없습니다.

중복 페이지, 제출된 URL이 표준으로 선택되지 않음 (2건 발견)

구글에서 표준으로 인식하는 페이지의 중복 페이지이므로 별다른 조치가 필요하지 않습니다.

다른 4xx 문제로 인해 차단됨 (1건 발견)

4xx 오류는 클라이언트 오류입니다.
정상적인 포스팅이 있는지 확인해보시고 없다면 별 조치를 취하지 않으셔도 됩니다.

이외의 색인 생성 범위 문제

색인 생성 범위 보고서 - Search Console 고객센터

✔️ 색인 생성 요청 방법

구글 서치 콘솔 주소

Google Search Console

1. 구글 서치 콘솔 접속 후 URL 검사 클릭

2. 검사할 URL를 상단에 붙여 넣기

3. 색인 생성 요청

4. 색인 요청 완료

추후에 URL 색인이 정상적으로 생성되면 아래와 같이 표시되게 됩니다!

아 그리고 1일당 검색할 수 있는 URL수가 제한되어있으니 참고바랍니다!

구글링해도 일일 제한 횟수가 얼마인지 못찾았는데 저같은 경우에는 15개 요청하고 할당량 초과라고 떴습니다.....
다른 블로그에서 보니 어떤분은 60개까지 하셨다던데 이부분은 잘모르겠네요,,,,,

✏️ 결론적으로 제외된 이유를 하나하나 찾아가며 제외된 페이지들을 살펴본 결과 각자 다 그럴만한 이유가 있는 것을 알게 되었습니다. 좀... 어차피 시간지나면 대부분 색인이 생성되고 노출될거라는 느낌이랄까요. 하지만 그중에서도 정성스럽게 시간을 쏟아가며 포스팅했고, 시간도 몇개월 지났는데 검색창에 노출이 안되면 아주 속상할 것 같습니다. 제외된 페이지들 중에서 정상적으로 포스팅 했고 시간이 좀 지난 게시물들을 찾아내서 다시 색인 요청을 해주는 것이 아주 중요하다고 생각됩니다.