وقتی یک محتوا در وب سایت ثبت می شود گوگل یا هر موتور جستجو دیگری باید بتواند محتوا را پردازش کند. برای این که بتوانیم به موتور های جستجو ماهیت محتوا را نشان بدهیم باید از ابزار ها و تکنیک های مختلفی استفاده کنیم. اولین گام این است که به ربات گوگل یا گوگل بات اجازه دهیم محتوا را پردازش کند. تا شرایط برای حضور صفحه ما در SERP فراهم شود تا سئو شکل بگیرد. در این مقاله ما انواع گوگل بات ها را همراه با کاربردشان تجزیه و تحلیل می کنیم و مشخص می کنیم که محتوا چگونه نوشته شود تا بهترین عملکرد و رتبه در سئو را داشته باشد.
بات گوگل – Google Bot چیست؟
ربات های گوگل در واقع خزنده وب یا به زبان انگلیسی کراولر هستند که مسئولیت جمع آوری اطلاعات از وب سایت ها را بر عهده دارند آنها مانند یک هیولا تمام اطلاعاتی که به آن ها می دهید را پردازش می کنند و داده ها را طبقه بندی می کنند. تا سئو سایت و شانس شما در نتایج گوگل را افزایش دهند. گوگل بات ها انواع مختلفی دارند این خزنده ها بر اساس موبایل و دسکتاب و نوع محتوا طبقه بندی می شوند .بیایید با معروف ترین آنها آشنا شویم.
کراولر Googlebot desktop: بررسی و ایندکس نسخه دسکتاپ سایت.
کراولر Googlebot mobile: بررسی و ایندکس نسخه موبایل سایت.
کراولر Googlebot Video: بررسی ویدئوهای موجود در سایت.
کراولر Googlebot Images: بررسی و ایندکس تصاویر موجود در سایت.
کراولر Googlebot News: بات مخصوص سایت های خبری و محتوای News.
کراولر Google Bot Ads: نظارت بر کیفیت تبلیغات موجود در سایت.
این گوگل بات ها معروف ترین خزنده ها گوگل هستند . اما از کجا می شود فهمید در وب سایت ما خزنده ای آمده و کاری را انجام دادده است. شما می توانید هنگامی که وارد گوگل آنالیز خود می شوید از شناسه USER AGENT استفاده کنید و خزنده ها را شناسایی کنید.
آیا گوگل بات باعث کاهش سرعت سایت می شود؟
خیر گوگل با استفاده از هزاران دستگاهی که در سراسر جهان برای این امر تهیه کرده است فرآیند خزش را به نحوی انجام می دهد که بر روی بارگذاری سایت شما تاثیر نگذارد.
گوگل بات چگونه یک سایت را خزش و ایندکس می کند؟
گوگل بر اساس دسترسی هایی که شما از طریق نقشه سایت فید های RSS , همچنین ادرس هایی که در کنسول گوگل ثبت می کنید سایت شما را پردازش و اولویت بندی می کند. هر چه لینک داخلی در هر محتوا بیشتر باشد خزنده عمق بیشتری از وب سایت را کاوش می کند و این یعنی شانس بیشتر برای رسیدن به رتبه اول گوگل و بهبود سئو سایت شما.
وقتی خزش رخ می دهد گوگل بات تجربه کاربری را به همراه کد های بارگذاری شده ثبت و ارزیابی می کند و آنها را به سرویس مادر ارسال می کند. گوگل بات این قابلیت را دارد که جزئیات دقیقی از وب سایت را پیدا کند نظیر کد های تبلیغات , عناصر پنهان در سایت و عناصر کلیدی داده که نقش بسزایی در درک محتوا برای گوگل دارد.
وقتی رندر کردن محتوا آغاز می شود گوگل بات نحوه ارتباط انسان با داده های داخل متن را شناسایی می کند و صفحه را بر اساس اولویت بندی که پیدا کرده است به موتور جستجو میدهد و موتور جستجو می فهد هر یک از اطلاعات در کجا و به چه شکلی ارائه شده است در نتیجه وقتی یک مشتری به دنبال اطلاعاتی است که شما آن را در محتوا خود ثبت کرده اید موتور آن را به سرعت در احختیار وی قرار می دهد. به همین دلیل هر چقدر به گوگل بات کمک کنیم که داده های داخل متن را بهتر بفهمد شانس دیده شدن ما بیشتر می شود.
روش کار گوگل بات چگونه است؟
برخی از کاربران فکر می کنند که نقشه سایت و ثبت آن در کنسول جستجو یعنی پایان کار و موتور جستجو حالا می تواند به ما رتبه دهد در حالی که این یک اشتباه فاحش است . چرا ؟ چون تنها کاری که کرده اید این است که فرآیند دسترسی به محتوا را برای خزنده یا گوگل بات راحت تر کرده اید و شانس ایندکس شدن را افزایش داده اید.
گوگل برای ایندکس صفحات می تواند از نقشه سایت کمک بگیرد اما برای اینکه ایندکس شدن صفحات سایت تسریع پیدا کند باید به لینک سازی داخلی و لینک سازی خارجی روی بیاورید. چون شانس اینکه محتوا بیشتری شناسایی و ثبت شود بیشتر می شود.
برای اینکه سایت مپ خوبی داشته باشید بهتر است از افزونه های مخصوص این کار نظیر رنک مث سئو و یوست استفاده کنید. همچنین تعریف و جایگذاری ROBOT.TXT در سایت قدم کوچک اما ضروری است که باید به درستی توسط شما انجام گیرد.
به بیان ساده نقشه سایت استراتژی محتوایی شما را برای گوگل بیان می کند.
شناسایی صفحات توسط گوگل بات ها چگونه است؟
هنگامی که شما نقشه سایت را آماده کردید باید به کنسول جستجو گوگل وارد شوید و آدرس نقشه سایت را در این کنسول ثبت و بر روی دکمه FETCH کلیک کنید بعد از ان بات ها شروع به تجزیه و تحلیل می کنند و تمام مشکلات و پیوند ها را برای شما در یک داشبورد به نمایش در می اورند .
حالا نوبت شماست به مشکلات رسیدگی کنید اگر لینکی شکسته است آن را اصلاح کنید و اگر پلاگینی محدودیتی برای ثبت محتوا یا پیوند ها ایجاد کرده از سر راه گوگل بات بردارید.
فاکتور و الگوریتم های زیادی بر فرایند گوگل بات یا خزنده نظارت دارند. و این فاکتور ها را برای ایندکس شدن صفحه مد نظر قرار می دهند. پس اگر در حین خزش کد های داخلی دچار مشکل شوند یا تصاویر صفحه پرحجم یا ادرس ناقص داشته باشند در نتیجه امتیاز منفی دریافت می کنید و احتمال اینکه محتوا از دید مخاطب پنهان شود بیشتر است.
مهمترین نکته این است که سرعت سایت را افزایش دهید تا بخش بزرگی از مشکلات رفع شود و امتیاز قابل قبولی دریافت کنید. حتما المان های مخرب و حجم تصاویر را بهبود دهید و به لینک سازی داخلی اهمیت بیشتری بدهید. گوگل عاشقتان خواهد شد.
کنترل خزش بات های گوگل
شما قادر هستید به گوگل اجازه دهید که چه مقدار از صفحات را خزش کند. شما می توانید توسط robot.txt مشخص کنید حتی یک دسته یا پوشه خاص توسط بات خزش نشود. تا کنترل بهتری برای بودجه خزش داشته باشید.
تگ های nofollow و follow
این تگ ها که به منزله اجازه دادن به گوگل بات است که کدام محتوا و پیوند خزش شود. تگ نوفالو یعنی لینک نباید خزش شود و تگ فالو یعنی پیوند باید خزش شود و گوگل بات اجازه دارد وارد لینک شود.
تعیین نرخ خزش
در کنسول جستجو گوگل شما قادر هستید تعیین کنید که نرخ خزش و چه تعداد لینک در روز توسط گوگل بات خزش شود. اگر دانش بیشتری دارید این تنظیمات را بکارببرید تا نتایج بهتری دریافت کنید.
بهترین ابزار برای کنترل ایندکس صفحات سایت چیست؟
بهترین ابزار نوایندکس کردن محتوا است اگر از افزونه سئو استفاده کنید این کار تنها با یک کلیک انجام می گیرد. راه های دیگری مثل حذف محتوا , رمز عبور برای محتوا یا محدود کردن دسترسی به محتوا از طریق اشتراک می تواند گزینه های بعدی باشد. کنسول جستجو هم ابزاری دارد که می توانید با حذف پیوند ان صفحه را از لیست ایندکس حذف کنید و از خزش مجدد و پیگیری آن توسط گوگل بات جلوگیری کنید.
بات های گوگل واقعی یا بات های مخرب
امروزه شرکت های مختلف و حتی رقبا شما با استفاده از بات های غیر واقعی تلاش می کنند تا رتبه سایت شما کاهش پیدا کند و شانس دیده شدن شما به طور محسوسی کم شود.
در گذشته بات ها بر اساس جستجو dns به سایت ها مراجعه می کردند که همین امر هم باعث حملات بات ها می شد اما امروزه گوگل ip های عمومی خود را منتشر کرده و در دسترس قرار داده است و شما می توانید برای آنها دسترسی مجاز قرار دهید و از حضور سایر بات ها جلوگیری کنید. راه حل ساده تر نیست؟
چرا هست شما می توانید به CDN یا توزیع محتوا خود بروید و دکمه مدیریت بات را فعال کنید . خود CDN بات های مزاحم را حذف می کند.
طراحی سایت و تولید محتوا برای گوگل یا برای کاربر؟
این سوالی است که همه تولید کنندگان محتوا و وبمستر (صاحبان سایت ها) دارند. و پاسخ به این سوال ساده است. شما باید ابتدا به تجربه کاربر توجه کنید و سپس برای موتور گوگل محتوا را بنویسید.
فرض کنید محتوا طولانی می نویسید و کلمات کلیدی را بسیار پرتکرار انجام می دهید و گوگل عاشق محتوا های طولانی است چون احساس می کند که برای موضوع وقت گذاشته اید اما مشتری وقتی با محتوا مواجه می شود بلافاصله صفحه را می بندد. گوگل متوجه می شود این محتوا مناسب نیست و در نتیجه امتیاز منفی می گیرید.
و اگر این روال ادامه داشته باشد به سرعت به قعر اقیانوس سقوط می کنید. سوال اینجاست که باید چکار کنید؟
باید در محتوا انگیزه لازم برای ادامه دادن متن را برای مخاطب به ارمغان بیاورید و دسترسی به بخش های محتوا را برای وی آسان کنید. مثل ان چیزی که در ماهان مشاهده می کنید.
هر چند محتوا غنی برای گوگل بات و موتور جستجو اهمیت دارد اما تعامل مشتری و سرعت سایت و نمایش ان در موبایل می تواند نقش بیشتری در دریافت امتیاز و کسب رتبه اول گوگل برای شما به همراه داشته باشد.
خصوصیات عنوان و متای نوشته شده برای موتور جستجو، نه برای کاربر
مخاطب با شک و تردید به صفحه مراجعه می کند
بر روی صفحه پیمایش نا منظم دارد
اغلب با مطالعه بخشی از محتوا، تصمیم میگیرد از صفحه خارج شود
در بخش نظرات تعاملی ندارند و فیدبکی از آنها دریافت نمی شود
نظرات و کامنت ها همگی توسط وب مستر نوشته شده، نه سایر کاربران
بعضی جملات و عبارات معنی و مفهوم خاصی ندارند
عنوان و شرح متا با محتوای داخل صفحه ارتباط مستقیم ندارد
مخاطب احساس می کند که محتوای پیش رو برای شخصی ثالث است
خصوصیات عنوان و متای نوشته شده برای کاربر انسانی، نه موتور جستجو
خواندن عنوان برای مخاطب راحت و روان است
بر روی صفحه با انگیزه و حس ماجراجویی پیمایش می کند
با مطالعه بخشی از محتوا، برای ادامه آن باز مراجه می کند
در بخش نظرات می خواهد با سایرین تعامل داشته باشد و سوالات اش را بپرسد
عنوان و شرح متای صفحه با محتوای داخل صفحه ارتباط کامل دارد
مخاطب با مطالعه محتوا علاقه مند می شود بیشتر بداند
شرح متا بصورت خلاصه و منحصر بفرد بوده، اغلب نیازی به استفاده از واژه کلیدی نمی باشد