구글 크롤러 및 유저-트리거 페처 문서 업데이트: 이해하기
여러분, 구글이 최근 크롤러와 유저-트리거 페처에 대한 문서를 업데이트했습니다! 이 업데이트는 단순히 기존 콘텐츠를 여러 페이지로 나누는 것이 아니라, 각 크롤러가 어떤 제품에 영향을 미치는지 명확히 설명하고, 구체적인 robots.txt 예제를 추가한 점에서 의미가 큽니다.
Google의 발표 내용
구글은 이번 업데이트에 대해 다음과 같이 설명했습니다:
"구글의 크롤러 및 유저-트리거 페처에 대한 문서를 재구성했습니다. 또한 각 크롤러가 어떤 제품에 영향을 미치는지 명시하는 노트를 추가하였고, 각 크롤러에 대한 예시 robots.txt 스니펫을 추가했습니다. 콘텐츠 자체에는 의미 있는 변화가 없었습니다."
주요 변경 사항
이번 변경 사항의 핵심은 크게 두 가지입니다:
- 문서 재구성: 기존의 단일 페이지 문서를 여러 페이지로 분리하여 내용의 확장을 용이하게 했습니다.
- 영향 받는 제품과 robots.txt 예제 추가: 각 크롤러가 어떤 제품에 영향을 미치는지, 그리고 해당 크롤러에 맞는 robots.txt 예제를 추가하여 개발자들이 더 쉽게 이해하고 사용할 수 있도록 했습니다.
각 크롤러가 영향을 미치는 제품
구글은 다양한 크롤러를 운영하며, 각 크롤러가 영향을 미치는 제품은 다릅니다. 아래는 각 크롤러와 그에 영향을 받는 제품 목록입니다:
- Googlebot: 구글 검색(디스커버 포함) 및 구글 이미지, 구글 비디오, 구글 뉴스 등.
- Googlebot Image: 구글 이미지, 디스커버, 구글 비디오 등.
- Googlebot Video: 비디오 관련 구글 검색 기능.
- Googlebot News: 구글 뉴스 전체.
- Google StoreBot: 구글 쇼핑.
- Google-InspectionTool: 검색 테스트 도구(Rich Result Test, URL 검사 등).
- GoogleOther: 특정 제품과 관련 없음, 내부 연구 및 개발을 위한 일반적 크롤러.
- GoogleOther-Image: 구글Other의 이미지 URL 크롤링 최적화 버전.
- GoogleOther-Video: 구글Other의 비디오 URL 크롤링 최적화 버전.
- Google-CloudVertexBot: Vertex AI Agent 생성을 위한 크롤러.
- Google-Extended: Gemini Apps와 Vertex AI 생성 API의 개선을 위한 크롤러.
- APIs-Google: 푸시 알림 메시지 전달과 관련.
- AdsBot Mobile Web: 구글 광고의 웹 페이지 광고 품질 체크.
- AdsBot: 구글 광고의 웹 페이지 광고 품질 체크.
- AdSense: 구글 AdSense의 관련 광고 제공 크롤러.
- Google-Safety: 악성 코드 발견 등 남용 관련 크롤러.
- Feedfetcher: RSS 또는 Atom 피드를 크롤링하는 크롤러.
- Google Publisher Center: 구글 뉴스 랜딩 페이지용 피드를 처리하는 크롤러.
- Google Read Aloud: 텍스트-스피치(TTS)를 이용한 웹 페이지 읽기.
- Google Site Verifier: 검색 콘솔 검증 토큰을 가져오는 크롤러.
왜 중요한가?
이러한 업데이트는 각 크롤러가 구글의 어떤 제품에 영향을 미치는지 더 잘 이해하는 데 큰 도움이 됩니다. 또한 새로운 robots.txt 예제는 개발자들이 각 크롤러에 맞는 설정을 더 쉽게 할 수 있도록 도와줍니다.
마무리
구글의 이번 크롤러 문서 재구성은 개발자와 SEO 전문가들에게 매우 유용한 자료를 제공합니다. 각 크롤러의 기능과 영향을 명확히 이해하고, 이를 기반으로 웹사이트를 최적화하면 더 나은 검색 결과를 얻을 수 있을 것입니다. 이번 기회를 통해 자신의 사이트가 구글 크롤러에 최적화되어 있는지 확인해 보세요!
이제 여러분도 최신 업데이트 내용을 숙지하고, 각 크롤러의 특성을 고려해 사이트를 최적화해보세요. 구글의 공식 문서를 참고하면 더 많은 정보를 얻을 수 있습니다.