구글 크롤링 오류, 사이트맵 재생성

구글 서치콘솔 URL 테스트 색인생성 오류

 

가끔 구글 서치콘솔이 크롤링을 못하고 URL을 누락시키는 경우가 있습니다. 어떤 때는 시간이 좀 지난 후에도 색인이 제대로 생성되지 않아서 URL이 구글에 등록되어 있지 않음이라고 나오는데요. 

 

이럴 때 "색인 생성 요청"을 누르면 요청이 반영되지만 한참 후에 다시 보면 오히려 이번엔 색인 생성 오류가 뜨기도 합니다.

 

 

이런 경우 실제 URL 테스트 후 색인 생성 요청을 다시 하면 제대로 처리가 되는 경우도 있지만 여전히 크롤링 오류, 색인 생성 오류가 나오기도 합니다. 관련 정보를 찾아보려고 검색을 해봐도 정확한 답변을 얻을 수가 없습니다.

반복해서 색인 생성 요청을 해봐도 해결이 안되어 사이트맵을 새로 생성해봅니다. 

 

사이트맵 생성

Sitemap.xml을 사이트맵 xml 파일을 만들어 주는 웹사이트에서 만들면 시간이 오래 걸리기 때문에 기존에 생성되어 있던 사이트맵을 수정해보기로 했습니다. 

 

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">	

<url>
   <loc>https://creavart.tistory.com/</loc>
</url>
</urlset>

여러 곳을 살펴보니 sitemap.xml은 last modified도 필요 없고,  Priority도 필요 없고 단순하게 위와 같이 생성을 해도 된다고 하더군요. 그래서 간단히 위와 같은 형식으로 현재 등록한 url들과 카테고리를 추가해서 사이트맵을 업데이트하고 새로 제출해봤습니다.

그랬더니 이번엔 "가져올 수 없음"이라고 나오네요. 사이트맵이 뭔가 잘 못된 것인지, 일시적인 현상인지 모르겠습니다.

혹시나 해서 사이트맵을 올려둔 게시물을 비공개에서 공개로 전환해봤지만 마찬가지였습니다.

홈페이지를 만들 때는 사이트맵을 아주 간단히 만들어서 위에 올려놓은 코드처럼 심플하게 해도 문제가 없었습니다. 이상하게 티스토리는 가져올 수 없다는 오류가 자주나는 것 같아요. 저만 그렇거나 일시적인 오류일 수 있는데, 원인을 정확히 모르니 어쩔 수 없이 사이트맵을 다시 생성해보기로 했습니다.

 

http://www.check-domains.com/sitemap/

XML Sitemap Generator - Free Unlimited Pages.

저는 사이트맵 생성은 항상 여기서 합니다. 생성 속도가 느리지만 사이트맵을 만들 때 조건을 지정해줄 수 있어서 check-domains.com/sitemap에서 생성을 하는데요.

위와같이 Frequency 는 Always, Priority는 0.9로 그 아래 Automatic priority는  체크 해제했습니다.  자동에 체크가 되어 있으면 priority가 변경되면서 생성되더라구요. 사실 구글에서 요즘은 이 부분을 체크하지 않는다고 하는데 그래서 굳이 자동생성으로 다양하게 나오는게 싫었습니다.

 

두번째는 Exclude URLs 입니다. 이부분에 제외할 것을 넣지 않으면 나중에 robots.txt - 티스토리는 블로그 주인이 접근할 수 없는 부분- 에서 차단했다면서 색인생성 범위에 오류가 계속 뜹니다. 그래서 이부분에 허용하지 않는 부분들을 등록시켜줍니다.

아래 항목들을 등록해주면 되는 것 같습니다. 저는 oldadmin이나 like는 등록을 안했었는데, 이번엔 제외항목으로 추가해봤습니다.

 

Disallow: /owner
Disallow: /manage
Disallow: /admin
Disallow: /oldadmin
Disallow: /m/admin
Disallow: /m/search
Disallow: /like

 

이렇게 하고 Create Sitemap를 하면 이미 알고 계신 것처럼 사이트맵 파일 생성을 시작하는데, 게시물이 많을 수록 시간이 많이 걸립니다. 전에 30개정도 게시물이 있을 때는 20분안에 되었던 것 같은데 이번엔 30분은 걸린 것 같네요.

새로 생성한 sitemap.xml을 기존에 이미 올려두었던 게시물 첨부파일을 대신하여 다시 올립니다.

올리고 주소를 다시 구글서치콘솔에 등록합니다.

앞서 등록했던 심플한 사이트맵이 문제가 있던 것은 아닐 것 같지만, 이상하게도 등록이 안됐는데, 사이트에서 새로 생성한 것은 "성공"으로 등록이 되네요. 

 

이렇게 해서 기다려보고 나중에 다시 크롤링 오류가 났던 URL 들을 다시 테스트 해봐야겠습니다.

 

혹시 새로 글을 작성해서 올렸는데도 구글에서 유입이 시원치 않다면 체크를 해보세요. 저처럼 크롤링 오류가 있을지도 모릅니다.

 

감사합니다.

 

* 참, 가끔 네이버도 요청을 했음데도 수집을 제대로 하지 못하고 수집보류로 나오는 경우가 있으니 가끔씩 체크를 해보세요. 다시 요청하면 '수집성공'으로 바뀌곤 합니다.