آموزش سئو در مشهد

۳. مدیر Crawl Budget
هرچه تعداد صفحه ها سایت شما بیشتر باشد، ربات‌های موتور کاوش فرصت بیشتری برای خزیدن و ایندکس کردن صفحه ها نیاز دارااست. همین فرصت وقتگیر، روی درجه وبسایت‌تان در نتیجه ها کاوش، اثر منفی خواهد گذاشت.

آموزش سئو مشهد

چرا؟ ربات خزنده موتور جستجوی گوگل (به عبارتی Googlebot خودمان!) دارنده خصوصیت به اسم Crawl Budget میباشد.

Crawl Budget در واقعیت تعداد صفحاتی از سایت‎تان میباشد که ربات گوگل در یک روز آنان‌را خزیده و نظارت می‌نماید. میزان دارایی شما، یا این که به عبارتی تعداد صفحاتی که به وسیله Googlebot مشاهده می گردند، بر طبق وسعت اینترنت‌تارنما شما (تعداد صفحه ها)، سالم آن (عدم بروز نادرست) و تعداد بک‌پیوند‌های وب سایت‌تان گزینش میشود.

Crawl Budget به دو قسمت تقسیم می گردد. اولی قسمت، Crawl Rate Limit (حد نرخ خزیدن) میباشد آموزش سئو در مشهد و دو‌مین Crawl Demand. خب ببینیم مفهوم هریک چیست و چه تاثیری دارا هستند.

Crawl Rate Limit
ربات گوگل (Googlebot)، به شکلی پیاده سازی گردیده است تا شهروند خیر برای دنیای وب باشد. خزیدن، حق تقدم مهم این ربات میباشد پس طوری پیاده سازی گردیده که تا بر تجارب کاربری بازدیدکنندگان وب سایت تاثیری نگذارد. این باصرفه‌سازی Crawl Rate Limit اسم داراست که برای ارائه تجارب کاربری خوب، تعداد صفحه های قابل Crawl در یک روز را محصور می‌نماید.

به صورت خلاصه، Crawl Rate Limit نشانگر دفعات رابطه هم‌زمان ربات گوگل با یک وب سایت در کنار دفعات توقف این ربات در عملیات خزش یا این که Crawling اینترنت‌تارنما میباشد. نرخ خزش (Crawl Rate) میتواند مبنی بر چندین ادله تغییر‌و تحول نماید:

تندرست خزش (Crawl Health): در حالتی که اینترنت‌وبسایت سریع باشد و بتواند سیگنال‌ها را با‌گاز جواب دهد، مطمئناً Crawl Rate بالا می‌رود، ولی در شرایطی که اینترنت‌وبسایت شما نماید باشد یا این که در طول Crawl خطاهای سروری به وجود بیاید، نرخ خزش ربات گوگل کاهش مییابد.
گزینش محدودیت در Google Search Console: صاحبات اینترنت‌تارنما‌ها میتوانند ترازو خزش اینترنت‌وب سایت‌شان را کاهش دهند.
خب، هنوز Crawl Budget را به حافظه دارید؟ قسمت دوم آن، Crawl Demand اسم دارااست. گوگل Crawl Demand را این چنین توضیح می دهد:

Crawl Demand
حتی در حالتی که ربات گوگل به حد Crawl Rate رقم خورده نرسد، در صورتیکه که تقاضایی برای ایندکس شدن وجود نداشته باشد، شما شاهد شغل یه خرده از سوی ربات گوگل خواهید بود. دو فاکتوری که نقش مهمی در انتخاب Crawl Demand (تقاضای خزش) دارا هستند، عبارتند از:

محبوبیت: یعنی نشانی‌هایی که در وب دوست داستنی‌خیس می باشند، بیشتر از سایر نشانی‌ها خزیده می شوند تا در ایندکس گوگل نو‌خیس باشند.
بیات شدن! (Staleness): گوگل طوری نشانی‌ها را ذخیره می‌نماید که از دیرین شدن آن‌ها پرهیز نماید.
به علاوه، اتفاقاتی که بر مجموع تارنما اثر می گذارند مانند جا‌به‌جایی اینترنت‌تارنما، ممکن میباشد واحد سنجش Crawl Demand را جهت ایندکس مجدد اینترنت‌وبسایت بر روی نشانی نو، ارتقا دهند.

در غایت، ما با تحقیق Crawl Rate و Crawl Demand، مقدار Crawl Budget یک اینترنت‌وبسایت را تعریف و تمجید می کنیم. در واقع Crawl Budget، تعداد URLهایی میباشد که ربات گوگل می خواهد و قادر است ایندکس نماید.

خب، بیایید تعریف‌و‌تمجید گوگل از Crawl Budget را یکبار دیگر بخوانیم:

Crawl Budget، تعداد URLهایی میباشد که ربات گوگل میخواهد و می تواند ایندکس نماید

مطمئناً شما هم می خواهید ربات گوگل Crawl Budget تارنما‌تان را به شایسته ترین صورت ممکن مصرف نماید. به عبارت دیگر، ربات گوگل می بایست ارزشمندترین و مهمترین صفحه های شما‌را خوب و بیشتر تحقیق کند.

اما گوگل میگوید که عامل ها و فاکتورهایی وجود دارا‌هستند که روی عملیات خزش و ایندکس شدن وبسایت، اثر منفی می گذارند:

محتوای تکراری در تارنما
وجود صفحه ها نادرست
استعمال از Session Identifier
وجود ناوبری ضعیف در وب سایت
صفحه ها هک گردیده در اینترنت‌وبسایت
محتوای بی‌بها و اسپم
هدر دادن منابع سرور برای این صفحه ها، سبب ساز از در میان رفتن Crawl Budget شما میشود. بنابراین صفحه ها باارزش و مهمی که حقیقتاً نیاز به ایندکس شدن دارا‌هستند خیلی دیرتر به حاصل کاوش روش پیدا می‌نمایند.

خب، بیایید به مورد اساسی خودمان یعنی پوشه robots.txt برگردیم.

در‌صورتی‌که بتوانید پوشه robots.txt خیر و خوبی ساخت و ساز نمائید، میتوانید به موتورهای کاوش (به خصوص Googlebot) بگویید که کدام صفحه های را مشاهده نکند. در واقع با این شغل به ربات‌ها می گویید کدام شیت‌ها به هیچ عنوانً در حق تقدم شما نیستند. قطعاً شما هم نمی خواهید که ربات خزنده‌ گوگل برای مشاهده و ایندکس محتوای تکراری و نادر بها، سرورهای شما‌را اشغال نماید.

با به کارگیری صحیح از فولدر robots.txt می‌توانید به ربات‌های کاوش بگویید که Crawl Budget وب سایت‌تان را به صدق مصرف نمایند. همین امکان میباشد که التفات فولدر robots.txt را در بهینه سازی دوچندان می‌نماید.

دقت نمایید که چنانچه وبسایت شما فولدر Robots.txt نداشته باشد هم ربات‌های گوگل شغل خودشان را می‌نمایند. هنگامی ربات می خواهد وبسایتی را تحقیق کند. در حالتی که اینگونه فایلی وجود نداشته باشد، ربات فارغ از هیچ محدودیتی به تک تک نصیب‌های در دسترس راز میزند.

به ندرت برویم ببینیم که چطور بایستی از پوشه Robots به کار گیری کنیم. ولی قبلش از محدودیت‌ها بگوییم که سپس نگویید چرا از اولیه نگفتی!

۳. مدیر Crawl Budget
هرچه تعداد صفحه ها سایت شما بیشتر باشد، ربات‌های موتور کاوش فرصت بیشتری برای خزیدن و ایندکس کردن صفحه ها نیاز دارااست. همین فرصت وقتگیر، روی درجه وبسایت‌تان در نتیجه ها کاوش، اثر منفی خواهد گذاشت.

آموزش سئو مشهد

چرا؟ ربات خزنده موتور جستجوی گوگل (به عبارتی Googlebot خودمان!) دارنده خصوصیت به اسم Crawl Budget میباشد.

Crawl Budget در واقعیت تعداد صفحاتی از سایت‎تان میباشد که ربات گوگل در یک روز آنان‌را خزیده و نظارت می‌نماید. میزان دارایی شما، یا این که به عبارتی تعداد صفحاتی که به وسیله Googlebot مشاهده می گردند، بر طبق وسعت اینترنت‌تارنما شما (تعداد صفحه ها)، سالم آن (عدم بروز نادرست) و تعداد بک‌پیوند‌های وب سایت‌تان گزینش میشود.

Crawl Budget به دو قسمت تقسیم می گردد. اولی قسمت، Crawl Rate Limit (حد نرخ خزیدن) میباشد آموزش سئو در مشهد و دو‌مین Crawl Demand. خب ببینیم مفهوم هریک چیست و چه تاثیری دارا هستند.

Crawl Rate Limit
ربات گوگل (Googlebot)، به شکلی پیاده سازی گردیده است تا شهروند خیر برای دنیای وب باشد. خزیدن، حق تقدم مهم این ربات میباشد پس طوری پیاده سازی گردیده که تا بر تجارب کاربری بازدیدکنندگان وب سایت تاثیری نگذارد. این باصرفه‌سازی Crawl Rate Limit اسم داراست که برای ارائه تجارب کاربری خوب، تعداد صفحه های قابل Crawl در یک روز را محصور می‌نماید.

به صورت خلاصه، Crawl Rate Limit نشانگر دفعات رابطه هم‌زمان ربات گوگل با یک وب سایت در کنار دفعات توقف این ربات در عملیات خزش یا این که Crawling اینترنت‌تارنما میباشد. نرخ خزش (Crawl Rate) میتواند مبنی بر چندین ادله تغییر‌و تحول نماید:

تندرست خزش (Crawl Health): در حالتی که اینترنت‌وبسایت سریع باشد و بتواند سیگنال‌ها را با‌گاز جواب دهد، مطمئناً Crawl Rate بالا می‌رود، ولی در شرایطی که اینترنت‌وبسایت شما نماید باشد یا این که در طول Crawl خطاهای سروری به وجود بیاید، نرخ خزش ربات گوگل کاهش مییابد.
گزینش محدودیت در Google Search Console: صاحبات اینترنت‌تارنما‌ها میتوانند ترازو خزش اینترنت‌وب سایت‌شان را کاهش دهند.
خب، هنوز Crawl Budget را به حافظه دارید؟ قسمت دوم آن، Crawl Demand اسم دارااست. گوگل Crawl Demand را این چنین توضیح می دهد:

Crawl Demand
حتی در حالتی که ربات گوگل به حد Crawl Rate رقم خورده نرسد، در صورتیکه که تقاضایی برای ایندکس شدن وجود نداشته باشد، شما شاهد شغل یه خرده از سوی ربات گوگل خواهید بود. دو فاکتوری که نقش مهمی در انتخاب Crawl Demand (تقاضای خزش) دارا هستند، عبارتند از:

محبوبیت: یعنی نشانی‌هایی که در وب دوست داستنی‌خیس می باشند، بیشتر از سایر نشانی‌ها خزیده می شوند تا در ایندکس گوگل نو‌خیس باشند.
بیات شدن! (Staleness): گوگل طوری نشانی‌ها را ذخیره می‌نماید که از دیرین شدن آن‌ها پرهیز نماید.
به علاوه، اتفاقاتی که بر مجموع تارنما اثر می گذارند مانند جا‌به‌جایی اینترنت‌تارنما، ممکن میباشد واحد سنجش Crawl Demand را جهت ایندکس مجدد اینترنت‌وبسایت بر روی نشانی نو، ارتقا دهند.

در غایت، ما با تحقیق Crawl Rate و Crawl Demand، مقدار Crawl Budget یک اینترنت‌وبسایت را تعریف و تمجید می کنیم. در واقع Crawl Budget، تعداد URLهایی میباشد که ربات گوگل می خواهد و قادر است ایندکس نماید.

خب، بیایید تعریف‌و‌تمجید گوگل از Crawl Budget را یکبار دیگر بخوانیم:

Crawl Budget، تعداد URLهایی میباشد که ربات گوگل میخواهد و می تواند ایندکس نماید

مطمئناً شما هم می خواهید ربات گوگل Crawl Budget تارنما‌تان را به شایسته ترین صورت ممکن مصرف نماید. به عبارت دیگر، ربات گوگل می بایست ارزشمندترین و مهمترین صفحه های شما‌را خوب و بیشتر تحقیق کند.

اما گوگل میگوید که عامل ها و فاکتورهایی وجود دارا‌هستند که روی عملیات خزش و ایندکس شدن وبسایت، اثر منفی می گذارند:

محتوای تکراری در تارنما
وجود صفحه ها نادرست
استعمال از Session Identifier
وجود ناوبری ضعیف در وب سایت
صفحه ها هک گردیده در اینترنت‌وبسایت
محتوای بی‌بها و اسپم
هدر دادن منابع سرور برای این صفحه ها، سبب ساز از در میان رفتن Crawl Budget شما میشود. بنابراین صفحه ها باارزش و مهمی که حقیقتاً نیاز به ایندکس شدن دارا‌هستند خیلی دیرتر به حاصل کاوش روش پیدا می‌نمایند.

خب، بیایید به مورد اساسی خودمان یعنی پوشه robots.txt برگردیم.

در‌صورتی‌که بتوانید پوشه robots.txt خیر و خوبی ساخت و ساز نمائید، میتوانید به موتورهای کاوش (به خصوص Googlebot) بگویید که کدام صفحه های را مشاهده نکند. در واقع با این شغل به ربات‌ها می گویید کدام شیت‌ها به هیچ عنوانً در حق تقدم شما نیستند. قطعاً شما هم نمی خواهید که ربات خزنده‌ گوگل برای مشاهده و ایندکس محتوای تکراری و نادر بها، سرورهای شما‌را اشغال نماید.

با به کارگیری صحیح از فولدر robots.txt می‌توانید به ربات‌های کاوش بگویید که Crawl Budget وب سایت‌تان را به صدق مصرف نمایند. همین امکان میباشد که التفات فولدر robots.txt را در بهینه سازی دوچندان می‌نماید.

دقت نمایید که چنانچه وبسایت شما فولدر Robots.txt نداشته باشد هم ربات‌های گوگل شغل خودشان را می‌نمایند. هنگامی ربات می خواهد وبسایتی را تحقیق کند. در حالتی که اینگونه فایلی وجود نداشته باشد، ربات فارغ از هیچ محدودیتی به تک تک نصیب‌های در دسترس راز میزند.

به ندرت برویم ببینیم که چطور بایستی از پوشه Robots به کار گیری کنیم. ولی قبلش از محدودیت‌ها بگوییم که سپس نگویید چرا از اولیه نگفتی!