موتورهای جستجو چگونه کار می کنند ؟

  1. خانه
  2. chevron_right
  3. مقالات
  4. chevron_right
  5. موتورهای جستجو چگونه کار می کنند ؟

موتورهای جستجو دستگاه های پاسخگویی هستند که آن ها برای کشف ، درک و سازماندهی محتوای اینترنت به منظور ارائه نتایج مناسب به سؤالاتی که جستجوگرها از آنها درخواست می کنند به وجود آمده اند.

برای نشان دادن نتایج جستجو ، ابتدا باید محتوای شما برای موتورهای جستجو قابل مشاهده باشد . احتمالاً مهمترین قطعه معمای SEO است: اگر سایت شما یافت نشود به هیچ وجه امکان حضور در SERPs (صفحه نتایج موتورهای جستجو) وجود ندارد.

عملکرد موتورهای جستجو

موتورهای جستجو سه عملکرد اصلی دارند :

Crawl

Crawl به معنای خزیدن است و سرتاسر اینترنت را مورد خزش قرار می دهد .

Index

مطالب موجود در طی فرایند خزیدن را ذخیره و سازماندهی می کند . هنگامی که یک صفحه در ایندکس در حال اجرا است که در نتیجه نمایش داده شدگان مربوطه نمایش داده شود .

Rank

مطالب ارائه شده به بهترین وجه را در پاسخ به سؤال جستجوگر ارائه می دهد ، به این معنی که نتایج توسط بیشترین ارتباط نمایش داده می شوند .

خزنده موتور جستجو چیست ؟

خزیدن نوعی فرایند کشف است که در آن موتورهای جستجو تیمی از روبات ها (معروف به خزنده یا عنکبوت) را برای یافتن محتوای جدید و به روز ارسال می کنند . محتوا می تواند متفاوت باشد ، می تواند یک صفحه وب ، یک تصویر ، یک فیلم ، یک PDF و غیره باشد . اما صرف نظر از قالب ، محتوای توسط پیوندها کشف می شود .

روبات های موتور جستجو ، که به آن عنکبوت نیز گفته می شود ، برای یافتن محتوای جدید و به روز از صفحه به صفحه دیگر می چرخند.

Googlebot با واکشی چند صفحه وب شروع به کار می کند و سپس پیوندها را در این صفحات وب دنبال می کند تا URL های جدید پیدا کند . با جست و خیز در این مسیر از پیوندها ، خزنده قادر است محتوای جدیدی پیدا کند و آن را به فهرست خود به نام Caffeine – پایگاه داده گسترده ای از URL های کشف شده اضافه کند – بعداً وقتی جستجوگر در جستجوی اطلاعاتی باشد که محتوا در آن URL باشد بازیابی می شود .

ایندکس موتور جستجو چیست ؟

موتورهای جستجو اطلاعاتی را که در یک فهرست دارند پیدا می کنند و پایگاه داده عظیمی از تمام مطالبی را که کشف کرده اند پردازش و ذخیره می کنند و به اندازه کافی مناسب برای جستجوگرها هستند .

رتبه بندی موتور جستجو

رتبه بندی موتور جستجو

هنگامی که شخصی یک جستجو را انجام می دهد ، موتورهای جستجو شاخص خود را برای مطالب بسیار مناسب پاک می کنند و سپس به امید حل جستجوی جستجوگر ، آن مطالب را سفارش می دهند . این ترتیب نتایج جستجو بر اساس اهمیت ، به عنوان رتبه بندی شناخته می شود . به طور کلی ، می توانید فرض کنید هرچه وب سایت رتبه بالاتری داشته باشد ، موتور جستجو معتقد تر است که سایت به پرس و جو باشد .

می توان خزنده های موتور جستجو را از بخشی یا تمام سایت خود مسدود کرد یا به موتورهای جستجو دستور داد که از ذخیره صفحات خاصی در فهرست آن ها جلوگیری کنند . در حالی که می توانید دلایلی برای انجام این کار وجود داشته باشد ، اگر می خواهید محتوای شما توسط جستجوگرها پیدا شود ، ابتدا باید اطمینان حاصل کنید که برای خزندگان قابل دسترسی است و قابل نمایه بودن است. در غیر این صورت ، به همان اندازه نامرئی است .

در سئو ، همه موتورهای جستجو برابر نیستند .

بسیاری از مبتدیان از اهمیت نسبی موتورهای جستجوگر خاص تعجب می کنند . بیشتر مردم می دانند که گوگل بیشترین سهم بازار را دارد ، اما نمی دانند که بهینه سازی بینگ ، یاهو و غیره چقدر مهم است . حقیقت این است که علی رغم وجود بیش از 30 موتور جستجوگر بزرگ وب ، انجمن SEO تنها واقعاً به گوگل توجه می کند. چرا؟ پاسخ کوتاه این است که گوگل جایی است که اکثریت قریب به اتفاق افراد سوال هایشان را آنجا جستجو می کنند .

آیا موتورهای جستجو می توانند صفحات شما را پیدا کنند؟

همانطور که در ابتدا گفته شد ، اطمینان از اینکه سایت شما خزیده و نمایه می شود پیش شرط لازم برای نمایش در SERP ها است . اگر از قبل وب سایت دارید ، شاید با دیدن تعداد بسیاری از صفحات شما در این فهرست شروع به کار کنید . این بینش بسیار خوبی در مورد اینکه آیا Google در حال خزیدن و یافتن تمام صفحاتی است که شما می خواهید ، پیدا می شود و هیچ یک از آن ها که نمی خواهید .

یکی از راه های بررسی صفحات فهرست بندی شده شما “site: yourdomain.com” ، یک اپراتور جستجوی پیشرفته است . به Google بروید و عبارت ” site:yourdomain.com” را در نوار جستجو تایپ کنید .

تعداد نتایج نمایش داده شده در گوگل (بالا به “نتایج XX” مراجعه کنید) دقیق نیست ، اما این ایده را به شما می دهد که صفحات در سایت شما نمایه می شوند یا خیر و چگونه در حال حاضر در نتایج جستجو نشان داده می شوند .

برای نتایج دقیق تر ، گزارش Index Coverage را در سرچ کنسول Google موجود و می توانید از آن استفاده کنید . اگر در حال حاضر آن را ندارید می توانید یک حساب سرچ کنسول Google ایجاد کنید . با استفاده از این ابزار ، می توانید نقشه سایت را برای سایت خود ارسال کنید و نظارت کنید که تعداد صفحات ارائه شده در واقع به فهرست Google اضافه شده اساند یا خیر .

اگر در هیچ کجای نتایج جستجو نشان داده نشده اید ، چند دلیل ممکن وجود دارد :

  1. سایت شما کاملاً جدید است و هنوز crawl نشده است .
  2. سایت شما با هیچ وب سایت خارجی مرتبط نیست .
  3. پیمایش سایت شما باعث می شود که یک ربات نتواند آنرا به راحتی پیدا کند .
  4. سایت شما حاوی چند کد اساسی به نام بخشنامه خزنده است که موتورهای جستجو را مسدود می کند .
  5. سایت شما توسط Google به دلیل تاکتیک های هرزنامه مجازات شده است .

به موتورهای جستجو بگویید چگونه سایت را مورد خزش قرار دهند

search engine

اگر از سرچ کنسول Google یا اپراتور جستجوی پیشرفته “site: domain.com” استفاده کرده اید و متوجه شده اید که برخی از صفحات مهم شما از ایندکس حذف نشده اند و یا برخی از صفحات بی اهمیت شما به طور اشتباه به ایندکس شده اند ، برخی از بهینه سازی ها وجود دارد ، آن ها را پیاده سازی کنید تا Googlebot را بهتر راهنمایی کنید که چگونه می خواهید محتوای وب شما خزیده شود . گفتن به موتورهای جستجو در مورد خزیدن سایت شما می تواند کنترل بهتری را در فهرست خود به دست آورید .

اکثر مردم فکر می کنند که Google می تواند صفحات مهم را پیدا کند ، اما فراموش کردن اینکه صفحاتی که شما نمی خواهید Googlebot آن ها را پیدا کند ، آسان است . این موارد ممکن است شامل مواردی مانند URL های قدیمی باشد که دارای محتوای ضعیف ، نشانی اینترنتی های تکراری (مانند پارامترهای مرتب سازی و فیلتر برای تجارت الکترونیکی) ، صفحات ویژه تبلیغی ، صفحات مرحله بندی یا تستی و غیره هستند.

برای هدایت Googlebot از صفحات و بخش های خاص سایت خود ، از robots.txt استفاده کنید .

Robots.txt

پرونده های Robots.txt در فهرست اصلی وب سایت ها قرار دارند (مانند yourdomain.com/robots.txt) و نشان می دهند که کدام قسمت از موتورهای جستجوگر سایت شما باید و نباید ببینند ، همچنین سرعت که سایت شما را مورد خزش قرار می دهند ، از طریق بخشنامه های ویژه robots.txt تعیین می شود .

سایت را برای خزیدن بهینه سازی کنید!

بودجه خزیدن میانگین تعداد URL هایی است که Googlebot قبل از ترک شدن در سایت شما خزیده می شود ، بنابراین بهینه سازی بودجه خزیدن اطمینان حاصل می کند که Googlebot در حال خزیدن وقت در خزیدن از طریق صفحات بی اهمیت خود نیست و در معرض خطر نادیده گرفتن صفحات مهم شما است . بودجه خزیدن در سایت های بسیار بزرگ با ده ها هزار URL مهم است ، اما این هرگز بد نیست که دسترسی خزندگان به محتوا را که قطعاً به آنها اهمیت نمی دهید مسدود کنید . فقط اطمینان حاصل کنید که دسترسی یک خزنده به صفحاتی که به آنها بخشنامه های دیگری اضافه شده اید ، مانند برچسب های متعارف یا noindex ، مسدود نمی شود . اگر Googlebot از یک صفحه مسدود شده باشد ، نمی توانید دستورالعمل های موجود در آن صفحه را مشاهده کنید .

االبته باید به این نکته نیز توجه کرد که همه ربات های وب از robots.txt پیروی نمی کنند . افراد با نیت بد ( به عنوان مثال ، اسکرابرهای آدرس ایمیل ) ربات هایی را ایجاد می کنند که از این پروتکل پیروی نمی کنند . در حقیقت ، برخی بازیگران بد از پرونده های robots.txt استفاده می کنند تا محتوای خصوصی خود را در کجا قرار دهید . اگرچه ممکن است مسدود کردن خزنده ها از صفحات خصوصی مانند ورود به سایت و صفحه های مدیریت منطقی به نظر برسد ، زیرا در این فهرست قرار نمی گیرند ، قرار دادن محل آن URL ها در یک پرونده قابل دسترسی عمومی robots.txt همچنین به معنای این است که افرادی با قصد مخرب راحت تر می توانید آن ها را پیدا کنند بهتر است Noindex این صفحات را بچرخانید و آن ها را در پشت فرم ورود به سیستم قرار دهید تا آن ها را در پرونده robots.txt خود قرار دهید .

آیا خزندگان (crawller) می توانند محتوای مهم شما را پیدا کنند؟

اکنون که می دانید برخی از راهکارها برای اطمینان از خزنده موتورهای جستجو از محتوای بی اهمیت شما دور است ، اجازه دهید در مورد بهینه سازی هایی که می تواند به Googlebot کمک کند صفحات مهم شما را بیاموزد ، آموزش دهیم .

گاهی اوقات یک موتور جستجو می تواند با خزیدن قسمت هایی از سایت شما را پیدا کند ، اما صفحات یا بخش های دیگر ممکن است به دلایلی پنهان شوند . این مهم است که مطمئن شوید موتورهای جستجو قادر به کشف تمام مطالب مورد نظر شما هستند و نه فقط صفحه اصلی شما .

درباره نقشه های XML بیشتر بدانید

اگر سایت شما هیچ سایت دیگری به آن پیوند ندارد ، هنوز هم می توانید با ارائه نقشه سایت XML خود در کنسول جستجوی Google ، این فهرست را نمایه کنید . هیچ ضمانتی وجود ندارد که یک URL ارسالی را در فهرست خود وارد کنید ، اما ارزش امتحان کردن را دارد!

آیا خزندگان هنگام تلاش برای دسترسی به آدرس های اینترنتی شما دچار خطا می شوند؟

در فرآیند خزیدن URL های سایت شما ، یک خزنده ممکن است با خطا روبرو شود . برای تشخیص URL هایی که ممکن است در آن اتفاق بیفتد می توانید به گزارش “خطاهای خزیدن” سرچ کنسول Google بروید . این گزارش خطاهای سرور را به شما نشان می دهد . همچنین پرونده های ورود به سیستم سرور می توانند این ویژگی را به شما نشان دهند ، همچنین یک گنج اطلاعاتی دیگر مانند فرکانس خزیدن ، اما از آنجا که دسترسی و جدا کردن پرونده های ورود به سیستم سرور یک تاکتیک پیشرفته تر است ، ما در راهنمای مبتدی این موضوع را به طور طولانی بحث نمی کنیم .

قبل از اینکه بتوانید با گزارش خطای خزیدن ، کار مفیدی انجام دهید ، درک خطاهای سرور و خطاهای “یافت نشدن” مهم است .

کدهای 4xx : هنگامی که خزندگان موتور جستجو به دلیل خطایی نمی توانند به محتوای شما دسترسی پیدا کنند ، منجر به بروز کدهای xx4 می شوند .

خطاهای 4xx خطاهای مشتری هستند ، به این معنی که URL درخواست شده دارای شکلی بد است . یكی از رایج ترین خطاهای 4xx خطای “404 – not found” است . این موارد ممکن است به دلیل یک تایپ URL ، صفحه حذف شده یا تغییر مسیر تغییر یافته رخ دهد . وقتی موتورهای جستجوگر به 404 رسیدند ، آن ها نمی توانند به URL دسترسی پیدا کنند . هنگامی که کاربران به 404 برخوردند ، می توانند ناامید شده و ترک کنند .

موتورهای جستجو چگونه صفحات شما را تفسیر و ذخیره می کنند ؟

هنگامی که اطمینان حاصل کردید که سایت شما خزیده شده است ، مورد بعدی برای کسب و کارتان اطمینان از نمایه شدن این فهرست است . فقط به این دلیل که سایت شما توسط موتور جستجو می تواند کشف و خزیده شود ، لزوماً به معنای ذخیره آن در فهرست آنها نیست . در بخش قبلی در مورد خزیدن ، ما در مورد چگونگی کشف موتورهای جستجو صفحات وب شما صحبت کردیم . این فهرست جایی است که صفحات کشف شده شما ذخیره می شوند . بعد از اینکه یک خزنده یک صفحه پیدا کرد ، موتور جستجو دقیقاً مانند مرورگر ، آن را ارائه می دهد . در فرآیند انجام این کار ، موتور جستجو محتوای آن صفحه را تحلیل می کند . تمام این اطلاعات در فهرست آن ذخیره می شود .

آیا می توانم ببینم چگونه یک خزنده گوگل بات صفحات مرا مشاهده می کند؟

crawller google

بله ، نسخه ذخیره شده صفحه شما نشانگر عکس آخرین باری است که Googlebot آن را مورد خزش قرار داده است .

Google صفحات وب را در فرکانس های مختلف خزیده و ذخیره می کند . سایت های شناخته شده تری که اغلب مانند https://www.nytimes.com پست می کنند ، بیشتر از وب سایت بسیار مشهور برای عجله سمت راجر موزبوت ، http://www.rogerlovescupcakes.com بارگیری می شود .

با کلیک روی پیکان کشویی کنار URL در صفحه نتایج جستجو((SERP و انتخاب “ذخیره شده” می توانید نسخه cached خود را در صفحه مشاهده کنید .

همچنین می توانید نسخه فقط متن سایت خود را مشاهده کنید تا تعیین کنید که آیا محتوای مهم شما در حال خزیدن و ذخیره سازی موثر است یا خیر .

موتورهای جستجو چه می خواهند ؟

موتورهای جستجو همیشه برای کمک به سؤالات جستجوگر با مفیدترین پاسخ های ممکن آن ها را راهنمایی می کنند .

هنگامی که موتورهای جستجو تازه شروع به یادگیری زبان ما کردند ، بازی کردن سیستم با استفاده از ترفندها و تاکتیک هایی که در واقع خلاف دستورالعمل های کیفیت هستند ، بسیار ساده تر بود . به عنوان مثال ، چاشنی کلمات کلیدی را در نظر بگیرید . اگر می خواهید یک کلمه کلیدی خاص مانند “جوک های خنده دار” را رتبه بندی کنید ، ممکن است بارها و بارها کلمات “جوک های خنده دار” را به صفحه خود اضافه کنید ، به این امید که بتوانید رتبه خود را برای آن اصطلاح بالا ببرید .

این تاکتیک برای کاربران تجربه های وحشتناکی را ایجاد کرد و به جای خندیدن به شوخی های خنده دار ، مردم توسط متن آزار دهنده و خواندن سخت بمباران می شوند . ممکن است در گذشته این مورد جواب داده باشد ، اما این چیزی نبود که موتورهای جستجو می خواستند .

مقالات پیشنهادی کاربران
Robots.txt چیست و چرا مهم است ؟

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

این فیلد را پر کنید
این فیلد را پر کنید
لطفاً یک نشانی ایمیل معتبر بنویسید.

فهرست