مطمئنا تاکنون بارها مطالب مختلفی در گوگل جست و جو کرده‌اید؛ اما تا‌به‌حال پیش آمده است که به این موضوع فکر کنید «گوگل چگونه میداند باید کجا را جست و جو کند؟» پاسخ این پرسش web crawlers (خزنده های وب) است. آن ها میتوانند در وب جست و جو و آن را فهرست بندی کنند تا بتوانید موارد مختلف را به راحتی بیابید. در ادامه این موضوع را کاملا توضیح میدهیم.
موتور های جست و جو و خزنده ها
هنگامی که با استفاده از کلمه ی کلیدی در موتور جست و جوی گوگل یا بینگ جست و جو میکنید، این وب سایت تریلیون ها صفحه را بررسی میکند تا فهرستی از نتایج مربوط به آن عبارت ایجاد کند. در اینجا، سؤال هایی در ذهن کاربران شکل میگیرد: این موتور های جست و جو دقیقا چگونه به همه ی این صفحات دسترسی دارند؟ چگونه شیوه ی جست و جوی آن ها را میدانند و این نتایج را در چند ثانیه تولید میکنند و به کاربر نشان میدهند؟
پاسخ این پرسش web crawlers (خزنده های وب) است که به عنوان عنکبوت نیز شناخته میشوند. آنها برنامه های خودکاری موسوم به ربات یا بات هستند که سراسر وب میخزند تا بتوانند به موتورهای جست و جو اضافه شوند. این ربات ها وب سایت های مختلف را پیدا میکنند تا فهرستی از صفحاتی که نهایتا در نتایج جست و جو ظاهر میشوند، تولید کنند.
همچنین، خزنده ها کپی هایی از این صفحات را در پایگاه داده ی موتور ایجاد و ذخیره میکنند که به شما امکان میدهد به سرعت موارد مختلف را جست و جو کنید. به همین دلیل، موتورهای جست و جو اغلب نسخه های کش شده ی سایت ها را در پایگاه داده هایشان قرار میدهند.
نقشه های وب سایت و انتخاب
خزنده ها چگونه وب سایت هایی را برای خزیدن انتخاب میکنند؟ باید بگوییم رایج ترین سناریو این است که صاحبان وب سایت ها میخواهند موتورهای جست و جو در سایت هایشان بخزند. آن ها میتوانند با درخواست از گوگل، بینگ، یاهو یا موتور جست و جوی دیگر برای فهرست کردن صفحاتشان به این هدف دست یابند. این فرایند از موتوری به موتور دیگر متفاوت است. همچنین، موتورهای جست و جو اغلب با ردیابی تعداد دفعاتی که یک URL در سایر وب سایت های عمومی پیوند داده میشود، وب سایت های محبوب و مناسب را برای خزیدن انتخاب میکنند.
صاحبان وب سایت ها میتوانند از فرآیند های خاصی برای کمک به موتورهای جست و جو به منظور فهرست بندی وب سایت های خود استفاده کنند؛ مانند بارگذاری نقشه ی وب سایت. این فایل حاوی تمامی لینک ها و صفحاتی است که بخشی از وب سایت شما هستند. همچنین، از فایل مذکور معمولا برای نشان دادن اینکه چه صفحاتی قرار است ایندکس شوند، استفاده میشود.
هنگامی که موتورهای جست و جو قبلا در وب سایتی خزیده باشند، به‌طور خودکار دوباره آن وب سایت را برای چنین کاری انتخاب میکنند. تعداد دفعات انجام آن براساس میزان محبوبیت وب سایت و سایر معیارها متفاوت خواهد بود؛ بنابراین، صاحبان وب سایت اغلب نقشه های سایت خود را به روز میکنند.
پنهان کردن صفحات از دید خزنده ها
اگر وب سایتی نمیخواهد برخی یا همه ی صفحات آن در موتور جست و جو ظاهر شوند، چه باید کرد؟ به عنوان مثال، ممکن است نخواهید افراد بتوانند صفحه ای که تنها برای اعضا است، جست و جو کنند یا صفحه ی خطای ۴۰۴ سایت شما را ببینند. اینجا است که فهرست محرومیت خزنده موسوم به robots.txt وارد عمل خواهد شد. این گزینه فایل متنی ساده ای است که به خزنده ها می گوید کدام صفحات وب را از فهرست بندی حذف کنند.
دلیل دیگر اهمیت robots.txt این است که خزنده های وب میتوانند تأثیر درخور توجهی بر عملکرد وب سایت بگذارند. از آنجا که خزنده ها اساسا تمام صفحات وب سایت شما را دانلود میکنند، میتوانند باعث کاهش سرعت شوند. همچنین، کار آن ها زمان قابل پیش بینی ندارد و بدون تأیید وارد میشوند. اگر به ایندکس شدن مکرر صفحات خود نیازی ندارید، متوقف کردن خزنده ها ممکن است به کاهش مقداری از بار وب سایت شما کمک کند. خوشبختانه اکثر خزنده ها خزیدن در برخی صفحات را براساس قوانین مالک سایت متوقف میکنند.
جادوی فراداده
در زیر URL و عنوان هر نتیجه ی جست و جو در گوگل، توضیح کوتاهی از صفحه پیدا خواهید کرد. به این توضیحات «اسنیپت» میگویند. ممکن است متوجه شده باشید اسنیپت صفحه ها در گوگل همیشه با محتوای واقعی وب سایت ها مطابقت ندارد. این امر بدین دلیل است که بسیاری از وب سایت ها چیزی به نام «متا تگ» دارند. متا تگ توضیحات سفارشی است که صاحبان وب سایت به صفحاتشان اضافه میکنند.
صاحبان سایت ها اغلب توضیحات فراداده فریبنده ای ارائه میدهند که شما را به کلیک روی وب سایت وادار میکند. همچنین، گوگل سایر فراداده ها مانند قیمت ها و موجودی سهام را فهرست میکند. این امر به ویژه برای کسانی مفید است که وب سایت هایی در حوزه ی تجارت الکترونیک دارند.
جست و جوی شما
جست و جوی وب بخش ضروری استفاده از اینترنت است. جست و جو در وب راهی عالی برای کشف وب سایت ها، فروشگاه ها، جوامع و علایق جدید است. هر روز خزنده های وب از میلیون ها صفحه بازدید و آن ها را به موتور های جست و جو اضافه میکنند. در پایان، باید بگوییم که خزنده ها معایبی نیز دارند؛ اما آن ها برای صاحبان وب سایت و بازدید کنندگان بسیار ارزشمند هستند.
