بودجه خزش ( Crawl Budget ) در بهینه سازی چه مفهومی دارد؟

به عبارتی‌طور که گفتیم میزان دارایی خزش تعداد صفحاتی می‌باشد که گوگل تصمیم میگیرد در یک مجال مشخص و معلوم وب سایت شمارا مرور می نماید که‌این واحد سنجش قادر است، گوناگون باشد البته به صورت کلی یک مقدار استوار می باشد.

تعداد صفحاتی که گوگل آن‌ها‌را مرور می نماید محدودیتی ندارد یعنی ممکن است 6 ورقه از وبسایت در روز مرور خواهد شد یا این که 400,000 . پس جمعاًًَ با دقت به معیارهایی این معیار تعیین می شود که بعدا راجب آن صحبت می کنیم.

چرا موتورهای کاوش میزان دارایی خزش را برای تارنما ها در حیث گرفتند
با اعتنا به اینکه میلیون‌ها برگه نو روزمره به وبسایت ها اضافه می‌گردد و تعداد آن ها محدودیتی ندارند. براین اساس ایندکس صفحه های نیاز به حق اولویت‌بندی داراست تا ربات های گوگل بتوانند این فعالیت را جاری ساختن دهند.

معیار دارایی خزش برای سایت چطور انتخاب می شود
دو استدلال وجود دارااست تا دارایی خزش صفحه ها گزینش شوند، محدودیت خزش  (Crawl Limit ) و تقاضای خزیدن ( Crawl Demand ) ، که در بخش تحت به تشریح هریک میپردازیم.

محدودیت خزش بر پایه ی منابع سرور (Crawl Limit / Host Load )
حد خزیدن قسمت مهمی از بودجه خزش محسوب می‌شود. به همین خواسته ربات های گوگل به نحوی پیاده سازی شدند تا از اضافه توشه سرور غربت نمایند و با احتیاط بیشتری صفحات اینترنت را مرورکنند.

فعلا عامل ها مختلفی روی حد خزیدن مفید هست از جملهً در حالتی‌که سایت شما با چند سایت دیگر روی یک سرور مشترک اعمال گردیده باشد و شما یک وب سایت گران قدر در اختیار داشته باشید، خزش در تارنما بسیار محصور جاری ساختن میگردد. در‌این‌حالت‌‌ خوب هست از یک هاست منحصربه‌فرد به کار گیری نمایید تا احتمال اینگونه محدودیتی برای وبسایت شما اتفاق نیفتد.

استدلال دیگری که بر ترازو خزش اثر می گذارد، تعداد سایت های فعالی میباشد که بر روی یک هاست دارید. در این حالت‌ وصل شدن به سرور سخت می گردد و قابلیت خطای رجوع از سرور را خواهیم داشت.

در موقعیت کلی بایستی در نظر بگیرید که سرور شما چقدر می تواند تعداد درخواست های فرستاده گردیده سمت سرور را جواب گو باشد و چقدر تحمل میزان خزش را دارااست.

تقاضای خزیدن  ( Crawl Demand / Crawl Scheduling )
تقاضای خزیدن یا این که طراحی برنامه خزیدن بر اساس بها URL می باشد که میتواند عوامل اکثری را در خویش وارد نماید از جمله :

محبوبیت : ترازو لینک های داخلی و فرنگی که در صفحات خویش قرار می دهید، همینطور واحد سنجش کاوش برای مرتبه بندی اثر متعددی داراست.
نوع برگه : صفحه های یک وبسایت قادر است در مجموعه بندی تولید ها، برگه ضوابط ومقررات ، تماس با ما و غیره باشد. پس مطابق نوع شیت واهمیت آنها، حق اولویت خزیدن باید صورت پذیرد.
تازگی ( ساخت و ساز مورد ها جدیدتر) : به‌روزرسانی ، تشکیل داد محتوای جدید هم در تقاضای خزش تأثیر متعددی دارا هستند.
برای مثالً وبسایت هایی که هر روز محتوای نو در تارنما خویش قرار میدهند، نسبت به تارنما های خبری که هر تعدادی ساعت یک توشه محتوا ایجاد کرد می نمایند تعداد خزش کمتری به نسبت انتشار محتوا دارا هستند.

چرا می بایست به میزان دارایی خزش سایت خویش اهمیت بدهیم
ما به‌دنبال این هستیم که موتورهای کاوش بیشترین صفحات ما‌را ایندکس و مرور نمایند و البته در اسرع وقت این فعالیت را انجام بدهند. التفات میزان دارایی خزش وقتی اصلی می گردد که می بایست صفحه ها تازه تارنما شما سریع خیس به وسیله موتورهای کاوش مرور شوند.

فعلا در حیث بگیرید که بودجه خزش خویش را از دست دادید و موتورهای کاوش نتوانستند قسمت های اصلی سایت را کشف نمایند. با مجموع سعی هایی که برای سایت خویش انجام دادید نتوانستید رتبه خیر در نتایج گوگل بگیرید.

در‌این‌حالت‌ بایستی برای موتورهای کاوش تعیین کنید که کدام صفحه های مداقه بیشتری دارا هستند بخصوص اگر صفحات وب سایت بیشتراز 10,000 ورقه هست.

چطور میزان دارایی خزش وبسایت خودم را پیدا کنم
در صورتیکه برای تارنما خویش حساب کنسول گوگل دارید میتوانید به نصیب Crawl بروید وبر Crawl Stats کلیک نمائید. در آنجا تعداد صفحاتی که گوگل آن‌ها را هر روز مرور می نماید را مشاهده کنییید

به منابع سرور خویش مراجعه‌نمایید
مطالعه گزارش های سرور میتواند داده های جالب را آماده نماید و تعداد خزنده های گوگل که سایت شمارا مرور می نمایند را علامت دهد.

که اما می توانید این اطلاعات را با داده هایی که از کنسول گوگل خویش بدست آوردید مقایسه کنید و به حساب آوردن های بیشتری را برای یافتن شایسته ترین چاره استحصال رتبه ای فراتر را داشته باشید.

بهینه سازی دارایی خزش را چطور ایفا دهیم
سئو میزان دارایی خزش شیوه های متعددی داراست اما در اینجا 8 آیتم مهم را عده کردیم که بایستی به آنان اعتنا فرمائید و موارد نام برده را رفع فرمائید.

1. پارامترهای غربال محصول ها در URL
URL های با پارامتر نباید برای موتورهای کاوش قابل دسترس باشند زیرا می‌توانند تعداد نامحدودی URL تشکیل داد نمایند. این نشانی ها معمولاً هنگام به کار گیری از غربال های کالا در فروشگاه آنلاین استفاده می شوند  برای مثال https://www.example.com/cars/bmw?color=white در اینجا بایدمطمئن گردید در دسترس موتور های گوگل نباشد.

برای جاری ساختن این کار می بایست در سرچ کنسول گوگل یا این که ابزار اینترنت مستر بینگ به کارگیری نمایید ، تگ Nofollow  به پیوند های غربال اضافه نمایید یا این که در Robots.txt فرمان عدم دسترسی به این نشانی را بدهید.

2. محتوای تکراری
شیوه های متعددی برای دوری از محتوای تکراری است، برای مثالً هنگامی که میخواهیم نشانی شیت ای را وارد کنیم به HTTP ، HTTPS وWWW پیوند ها دقت کنیم. صفحات نتایج کاوش داخلی در Robot.txt غیر قابل دسترسی کنیم و مورد ها دیگر که می تواند میزان دارایی خزش را بهینه سازی می نماید باید انجام شود.

3. محتوا کیفیت بالا پایین
عالی میباشد تلاش کنیم محتوایی کیفیت بالا پایین را به دستکم برسانیم یا این که در شکل قابلیت اینگونه محتوایی تشکیل داد نکنیم. این صفحه ها برای موتورهای کاوش اصلا جالب وجود ندارد، به احتمال بالایی مرور نمیشود.

4. لینک های شکسته 404 و ریدایرکت زمان بر
لینک های شکسته 404 و ریدایرکت وقتگیر باعث میشوند که ربات های کاوش کرول خویش را مستقل نمایند. گوگل مانند مرورگرها حداکثر تا 5 تغییر مسیر را در یک خزیدن دنبال می نمایند که البته ممکن میباشد مجدد خزیدن را جاری ساختن دهند.

با این موقتی توصیه می کنیم از تغییر و تحول مسیر های زنجیره ای تماما پرهیز کنید و استعمال از ریدارکت ها را به دست کم برسانید.

5. نشانی URL های غلط را در فایل نقشه سایت  خویش قرار ندهید
همه نشانی هایی که در پوشه XML تارنما قرار می دهید می بایست فهرست بندی باشند، در واقعیت موتورهای کاوش به شدت به نقشه های XML توکل می نمایند تا تک تک صفحه ها شما‌را پیدا نمایند.

در حالتی که نقشه وبسایت مشتمل بر صفحاتی که وجود ندارند یا این که ریدایرکت باشد، دارایی خزش شما هدر می رود بایستی نشانی های ایندکس نشده خویش را استیناف نمایید.

چه‌طور گزارش های نقشه وبسایت را در سرچ کنسول پیدا کنیم؟

وارد حساب سرچ کنسول گوگل گردید
روی زبانه Crawl کلیک کنید
در نقطه پايان روی زبانه Sitemaps کلیک فرمائید

یکی از شیوه های دیگر که میتوانید بودجه خزش خویش را سئو فرمائید تقسیم نقشه تارنما XML میباشد. مثلا می‌توانید برای هرمورد از قسمت های تارنما، نقشه XML مستقل ساخت فرمائید.

با این فعالیت در شرایطی‌که بخش A سایت 500 لینک و پیوند داشته باشد و 480 ایندکس گردیده میتوانید مطمئن باشید که موتورهای کاوش به نه وب سایت شما را مرور می نمایند. در صورتی‌که در نصیب  B تارنما از میان این 500 لینک و پیوند تنها 120 آنان ایندکس گردد می بایست بدین مسئله دقت فرمائید چه پیوند هایی درین نصیب وجود دارد و چقدر در سئو وب سایت مداقه دارد.

درصورتی که که عنایت چندانی ندارد به بهینه سازی بودجه خزش قسمت های دیگر بپردازید.

6. صفحات با سرعت بارگذاری ذیل
هنگامی که صفحات توشه زیاد دارند یا این که در حین وقتگیر لود می گردند، موتورهای کاوش کمتر میتوانند این صفحه ها را مرور نمایند. پس اگر فرصت بارگذاری وبسایت فراتر از 2 ثانیه است بایستی به کمک ابزار هایی مثل Pingdom ، WebPageTest یا این که GTmetrix استیناف شوند.

یک سایت باید مرتباً سرعت خویش را تحقیق کند تا سرعت نادر صفحات بازدارنده استحصال‌وکار آنلاین نشود.

7. تعداد صفحه ها ایندکس نشده را کاهش دهید
در‌صورتی‌که سایت تعداد متعددی کاغذ ایندکس نشده در دسترس موتورهای کاوش داشته باشد،سئو در مشهد  بایستی آن ها را پیدا فرمائید و استدلال ایندکس نشدن صفحه ها را رفع کنید. صفحات غیر قابل ایندکس گونه های ذیل را دارا هستند:

ریدایرکت ( 3xx )
صفحه ها ناموجود ( 4xx )
صفحاتی که خطای سرور دارا‌هستند ( 5xx )
نشانی هایی که ایندکس نمی‌شوند ( تگ Noindex یا این که URL کنونیکال دارا‌هستند )
8. تغییر و تحول ساختار لینک داخلی بد
کیفیت پیوند هایی که به صفحات خویش می دهید نقش متعددی را در seo بودجه خزش دارد، به نحوی که بایستی ساختار پیوند داخلی را در یک قاعده ای رعایت کنید. مثلاً تعداد دو یا این که سه لینک و پیوند داخلی به صفحات دیگر بدهید و بک لینک های خویش را بهبود دهید.

از ساختار پیوند داخلی سلسله مراتبی اجتناب فرمائید، زیرا در اکثر اوقات موردها مرور نمیشوند. رایا پارس ( بخصوص صفحه ها انتهای سلسله مراتب )

از جمله در صورتی‌که نوشته ی علمی ای که 3 سال قبلی آن را در تارنما خویش قرار دادید که ترافیک ارگانیک بالایی دارد. بایستی در محتوای تازه آن را لینک و پیوند دهید. ولی شما می توانید برای بهبود لینک های داخلی سایت نوشته ی علمی لینک و پیوند داخلی چه تاثیری در بهینه سازی سایت دارد در وبلاگ آی وحید را رسیدگی نمایید و از عنایت و نحوه ساخت لینک و پیوند های داخلی اگاهی پیدا فرمایید.