نحوه عملکرد موتور های جستجو

از نگاه کاربران وب، موتورهای جستجو  مثل یه معجزه در دنیای وب هستند. شما یه مطلب رو در باکس جستجو تایپ می کنید و در کمتر از ثانیه پاسخ‌های مرتب و دسته بندی شده رو تحویل میگیرید. اما عملکرد موتور جستجو به چه شکل است ؟ و انقدر دقیق پاسخ مرتبط با سوال شما رو نمایش میدهد؟
موتورهای جستجوی معروف مثل Google حتی در نتایج جستجو مستقیماً به همون سوالی که شما پرسیدید جواب میدهند که این کار باعث صرفه جویی در زمان کاربر است.

اما خب باز هم این سوال پیش میاد که نحوه عملکرد موتور جستجو چگونه است و اصلاً چرا باید به عنوان یه تولید کننده محتوا به همچین چیزی اهمیت بدهیم؟

در حالت کلی ، موتور های جستجو(Search Engine ) مانند گوگل ، 3 گام اصلی دارند :

  1. کرال یا خزیدن (crawling) : در این مرحله که می توان گفت مهم ترین گام برای موتورهای جستجو است ، ربات هایی که به ان ها کرالر یا اسپایدر نامیده می شوند ، صفحه سایت شما را بررسی می کنند یا در اصطلاح در ان خزش می کنند.کرالر ها  اینترنت رو به منظور پیدا کردن محتوا جستجو میکنند.
  2. ایندکس (indexing) : در گام بعدی زمانی که ربات های خزنده گوگل ، محتوا و صفحه سایت شما را بررسی کردند ، موتور جست وجو ان ها را دسته بندی  می کنند و در دیتابیس خود ذخیره می کنند تا هنگامی که کاربر سوالی مربوط به ان اطلاعات داشت ،محتوا را به کاربر نمایش دهند.
  3. رتبه بندی (ranking) : در گام اخر موتور جستجو ، بهترین و مناسب ترین پاسخ را به کاربر از اطلاعاتی که آن ها را ایندکس کرده است ، نشان می دهد. این مرحله به شما نشان می دهد ، بهترین محتوا برای نیار کاربر ، یکی از اصلی ترین معیار ها برای رتبه بندی ، صفحه سایت است.

1. موتور های جستجو در خزیدن یا کرال

در گام اول، موتورهای جستجو( search engine) تعداد زیادی از ربات ها را برای یافتن مطالب آپدیت شده و جدید ارسال می کنند. این ربات ها وظیفه دارند کدها و محتوای موجود در آن صفحه را بررسی و تفسیر   کنند این محتوا می تواند می تواند به فرمت هایی مثل ، محتوای گرافیکی، عکس، ویدئو یا صوت را شناسایی کنید.

بنابراین ربات های گوگل حتی در صورتی که قصد بهینه سازی سایت نداشته باشید نیز محتوای های شما را پیدا می کنند.

ربات های گوگل هنگامی که در صفحه شما خزش می کنند تا اطلاعات شما را پردازش کنند ، ممکن است به لینک هایی نیز روبه رو شوند. این لینک ها که می تواند به صورت داخلی یا خارجی باشد ، هرکدام را با دستور العمل های متفاوت پردازش می کنند.

سیستم موتور های جستجو در برخورد با لینک به این شکل است که ، ان ها محتوایات لینک را بررسی می کنند ، سپس به دیتا و مخزن اطلاعات خود منتقل می کنند. نکته ای که باید به آن توجه داشته باشید این است که در این نوع از پردازش اطلاعات ، محتوایی که از لینک صفحه شما پیدا شده است به صورت مستقیم وارد دیتابیس یا ایندکس گوگل نمی شود.

درواقع این محتوا ها در یک مخزن جدا گانه به نام کافئین ذخیره می شوند. این اطلاعات هنگامی بازیابی می شوند که کاربری موضوعی مرتبط با آن را جستجو کند.

بنابراین می توان گفت ، ربات های گوگل پایگاه داده ای از لینک های کشف شده دارند که به آن کافئین نامیده شده اند.

2. ایندکس گوگل ( Google Index)

ايندکس Index به‌معنی اطلاعات ثبت شده و فهرست شده می باشد.

ایندکس گوگل درواقع همان دیتابیس یا پایگاه داده ای است که محتوا ها را ذخیره می کند تا با استفاده از الگوریتم ها ان ها را پردازش کند.

زمانی محتوا در ایندکس گوگل قرار خواهد گرفت که ربات های خزنده ، به محتوای شما دسترسی داشته باشند و مانور کرال در صفحه محتوای شما انجام شود.

بنابر این تاکنون متوجه شده اید که چرا اولین قدم از هرم مازلو سئو ، قابلیت کرال سایت توسط موتوری های جستجو است.

البته لارم به ذکر است شما می توانید از موتور های جستجو بخواهید محتوای صفحه شما را ایندکس نکنند. ممکن است تعجب کنید اما این یک استراتژی سئو برای وبسایت های نوپایی که هنوز محتوایی در سایت قرار نداده اند ، محسوب می شود.

3. رتبه بندی وبسایت ها در صفحه نتایج

زمانی که کاربران یک محتوا را جستجو می کند ، موتور های جستجو مانند گوگل در کسری از ثاینه مرتبط ترین موضوعاتی که در ایندکس خود ذخیره کرده اند را به کاربر نمایش می دهند.

درواقع اصلی ترین معیار رتبه بندی سایت ، بیشترین ارتباط با کوئری سرچ شده توسط کاربر است. هرچه این ارتباط بیشتر باشد ، رتبه بندی نیز بهتر است.

سئو برای موتور های جستجو غیر از گوگل

بسیار از وب مستران، سئو ( بهینه سازی سایت )را فقط برای گوگل می دانند. حقیقت امر این است که در جهان غیر از گوگل حدود 30 موتور جستجو دیگر وجود دارد که از مهم ترین آن ها می توان به bing،Wiki.com وboardreader اشاره نمود.

این موتور های جستجو نیز سازو کاری شبیه به الگوریتم های گوگل دارند اما به دلیل اینکه حدود 90 درصد جستجو از طریق موتور گوگل انجام می شود ، سئوکاران نیز اهمیت بهیه سازی را برای این موتور می دانند.

چگونه متوجه شویم موتور های جستجو صفحات مارا دیده اند؟

واقف بودن به این مسئله می تواند اساسی ترین بخش سئو باشد. فرض کنید تمامی قسمت های سئو را برای وبسایت خود انجام داده اید اما هیچکدام از صفحات شما در نتایج گوگل ظاهر نمی شود! بنابراین مهم است قبل از اینکه سایر قسمت های بهینه سازی را شروع کنید ، از ایندکس شدن محتوا ها و صفحاتتان اطمینان حاصل کنید.

برای اینکار می توانید از این روش ساده استفاده کنید :

عبارت “ site:” yordomain را در قسمت سرچ گوگل جستجو کنید. این درواقع یکی از سرچ های پیشرفته گوگل به شمار می آید که در ان مقدار نتیجه برابر است با تعداد صفحات ایندکس شده سایت است.

برای اینکه بهتر این مورد را متوجه شوید ، ما برای وبسایت سئوکار این کار را انجام داده ایم. نتیجه را در تصویر زیر مشاهده کنید:

لازم به ذکر است این روش که پیش پا افتاده ترین روش برای آنالیز رقیبان است زیاد دقیق نیست. برای اینکه از صفحات ایندکس شده سایتتان اطلاع داشته باشید لازم است تادر ابزار رایگان سرچ کنسول ثبت نام کنید. این ابزار رایگان و قدرتمند ، طراحی شده توسط خود گوگل می باشد.

برای اینکه از صفحات ایندکس شده سایتتان از طریق سرچ کنسول ، مطلع شوید ، به قسمت index coverage مراجعه کنید.

اگر هیچکدام از صفحات سایت شما ایندکس نشده باشد ، می تواند دلایل همچون این موارد داشته باشد :

  • سایت شما بسیار نوپاست و هنوز کرالر ها به سراغ محتوا های شما نیامده اند.
  • هیچ وبسایت خارجی به شما لینک نداده است
  • سایت شما حاوی کد متا با اتریبیوت نو ایندکس است
  • سایت شما به هر دلیل توسط گوگل جریمه شده است

فایل Robots.txt چیست؟

فایل Robots.txt یک فایل متنی کاملا ساده است؛ همانطور که از نام این فایل پیداست، فرمت txt. دارد و در دایرکتوری سایتتان قرار  می گیرد. شما با کمک این فایل می توانید به ربات های گوگل و کراولر ها دستورات دلخواه خود را بدهید.

برای مثال می توانید به ربات های گوگل بگویید که کدام صفحات سایت شما را ایندکس کنند و در نتایج گوگل نمایش دهند و کدام صفحات را در نتایج گوگل نمایش ندهند و ایندکس نکنند.

نحوه رفتار کرالر های گوگل در برخورد با فایل robot.txt

عملکرد ربات های گوگل با فایل robot.txt:

حالت اول : اگر این فایل برای سایت وجود نداشته باشد ، گوگل به خزش در کل سایت می پردازد.

حالت دوم : اگر ربات گوگل robot.txt را در سایت مشاهده کند ، مطابق با آن عمل خواهد کرد.

حالت سوم : اگر در ه عملکردنگام پردازش فایل robot.txt مشکلی یا خطایی رخ دهد ، ربات ها گوگل سایت ها خزش نمی کنند.

مزایای فایل Robots.txt برای رتبه بندی موتور های جستجو:

مدیریت لینک ها و آدرس ها (URL) با Robots.txt

مدیریت دسترسی موتور های جستجوی گوگل

بهینه سازی سایت بوسیله Robots.txt

به حداکثر رساندن بودجه خزش

جمع بندی و نتیجه گیری از موتور جستجو گوگل

همانطور که خواندید موتور های جستجو 3 مرحله اساسی دارند. این 3 مرحله عبارتند از : کرال ، ایندکس ، رنکینگ که برای رتبه بندی وبسایت ها از آن استفاده می شود. علاوه بر این گفتیم برای انکه برخی صفحات غیر ضروری در نتایج گوگل ظاهر نشوند ، لازم است آن ها را در فایلی به نام robots.txt قرار دهیم.

5/5

نظر دهید

نشانی ایمیل شما منتشر نخواهد شد.