워드프레스에 robots.txt를 잘 설정하면 검색엔진이 쓸데 없는 폴더를 검색할 필요가 없게 되어 크롤링 속도가 빨라집니다. 대부분 robots.txt 파일은 사이트나 블로그의 Root 폴더에 만들어 놓거나 플러그인을 통해서 생성되는데요. 검색을 해보면 나오지만 실제로 해당 폴더에 파일이 없는 경우도 있습니다. 랭크매스(Rankmath) 같은 SEO 플러그인으로 robots.txt를 생성한 경우도 루트폴더에 robots.txt가 보이지 않는데요. Rankmath에서 가상의 robots.txt를 만들어서 관리하도록 되어 있기 때문에 Rankmath에서 수정을 해야 합니다. 그러나 Rankmath에서 수정하려고 해도 아래와 같이 robots.txt file is not writable이라고 나오면서 편집이 불가능한 경우도 있습니다. 이럴 때 해결방법을 알려드립니다.
Rankmath Robots.txt 파일
랭크매쓰는 Yoast SEO나 All in ONE SEO Pack 과 같은 SEO 플러그인입니다. 저는 다른 워드프레스에서는 Yoast를 써봤는데 최근에 만든 워드프레스에서는 Rankmath를 사용하고 있습니다. 그동안엔 robots.txt는 직접 만들어서 루트폴더에 넣었었는데요. 이번엔 랭크매쓰로 Robots.txt 를 관리를 하고 있습니다. SEO도구에서 직접 Robots.txt나 Sitemap.xml을 관리할 수 있는 점은 익숙해지면 편리합니다. Rankmath에서 Robots.txt를 편집하려면 워드프레스 관리자 페이지 > 왼쪽메뉴(Rank Math) > General Settings > Edit robots.txt를 선택하면 편집화면으로 이동할 수 있습니다.
Robots.txt 파일 설정하는 방법
robots.txt는 검색엔진의 접근을 허용하거나 금지하는 기능, 특정 폴더의 접근을 허용하거나 접근을 금지하는 기능이 기본적인 역할입니다. 네이버 웹마스터 도구(네이버서치어드바이저)에서도 robots.txt 를 설정하는 방법이 잘 나와 있으니 참고하시면 되고 잘 모르면 그대로 내려받아서 사용하셔도 문제가 없습니다.
robots.txt 파일 안에는 검색엔진이 접근하도록 허용하거나 금지하는 명령어를 넣어주면 되는데요. 워드프레스에서 기본적으로 아래와 같이 써 있으면 됩니다.
User-agent:*
Disallow: /wp-admin/
Disallow는 허용하지 않는다는 뜻이므로 /wp-admin 폴더는 검색을 허용하지 않는다는 의미가 됩니다.
검색엔진에 해당하는 User-agent:*는 모든 검색엔진이 검색하는 것을 허용한다는 뜻이구요.
만약 모든 폴더를 검색허용하려면
Disallow 대신 Allow:/ 라고 하면 모두 허용하게 됩니다.
필요한 경우 특정 폴더에 허용/금지를 설정하면 검색엔진이 불필요한 폴더에 접근하는 것을 막아서 검색이 좀 더 원활해지는 효과가 있으니 꼭 사용하시기 바랍니다. 또한 다음 웹마스터 도구는 robots.txt 에 특정 코드를 넣어야 다음 웹마스터 도구를 사용할 수 있으니 참고하시기 바랍니다.
Rankmath robots.txt 파일 수정이 안될 때
랭크매쓰로 robots.txt 파일을 수정하려고 할 때 앞서 말씀드린 것처럼 쓰기가 불가능하다(robots.txt file is not writable)는 메시지가 나오는 경우가 있는데요. 랭크매쓰로 만든 robots.txt 는 filezilla 등 FTP 프로그램으로 직접 확인해도 파일이 보이지 않기 때문에 rankmath에서 수정할 수 밖에 없는데, 쓰기가 불가능하다며 비활성화되어 있으면 난감할 수 있습니다. 이것은 rankmath에서 robots.txt 파일을 함부로 고칠 수 없도록 일종의 보안처리가 되어 있기 때문입니다. 수정을 하려면 몇가지 과정을 거쳐야 합니다.
- FTP로 wp-config.php 다운로드
- wp-config.php 파일을 메모장이나 편집기로 열기
- wp-config.php에서 DISSALOW_FILE_EDIT 찾기
제 경우는 아래와 같이 define('DISALLOW_FILE_EDIT',true); 라는 부분이 보입니다. 파일 수정을 허용하지 않는다는 부분이 true로 되어 있는데 이걸 false 로 변경해주면 됩니다.
wp-config.php파일을 수정하고 다시 해당 폴더에 파일을 덮어 씌워준 다음 다시 rank math > general > edit robots.txt 페이지를 확인하면 편집이 가능해집니다.
참고로 wp-config.php 파일은 매우 중요한 파일이고 파일 수정을 허용하는 것 역시 보안상 위험할 수 있으니 수정 후에는 다시 파일 수정을 허용하지 않는 것으로 변경해 놓는 것이 좋습니다. 편집할 때도 주의하시기 바랍니다.
마치며,
Rank Math로 만든 robots.txt파일이 편집 불가능할 때 가능하게 하는 방법과 robots.txt파일의 기능을 간단히 살펴봤습니다. 혹시라도 저와 같은 문제를 겪은 분들에게 도움이 되기를 바랍니다.
감사합니다.
'IT > Dev' 카테고리의 다른 글
Asana 아사나 협업 도구로 괜찮은 선택 가격 노션 슬랙 간단 비교 (2) | 2023.01.25 |
---|---|
Chat GPT로 만든 HTML 계산기 / 프로그래머 안심해요 (0) | 2023.01.08 |
네이버블로그 이미지 숨기는법 이미지로 인한 누락 방지하기 (3) | 2022.11.21 |
아이폰에서 누끼따기 포토샵 없이 가능 (ios 16.1) (0) | 2022.11.03 |
워드프레스 테마 애드센스하려면 최대한 빠른 것으로 하세요 (3) | 2022.10.24 |