موتور جستجوگر و اهمیت آن

موتور جستجو چیست؟
دنیای وب منبع عظیمی از اطلاعات است که روزبه‌روز برحجم آن افزوده می‌شود. در حال حاضر میلیاردها صفحه که اطلاعات فراوانی از موضوعات مختلف را در بر دارند، بر روی سرورهای مختلف جا خوش کرده اند. این در حالیست که تولد سایتهای جدید و گسترش سایتهای موجود نیز به طور فزاینده ای به این حجم اطلاعات می افزاید.

نرخ رشد اطلاعات تا بدانجاست که امروزه مشکل دسترسی به اطلاعات جدی تر از نبود اطلاعات است. امروزه چالش عمده اکثر کاربران دستیابی به اطلاعات است. به عبارت دیگر اگر کاربری دنبال موضوعی خاص باشد، کدام صفحه را باید بخواند؟ از میان این تعداد عظیم صفحات موجود، کدام صفحه نیاز او را برآورده می کند؟
اگر سایتی باشد که به کاربران در یافتن اطلاعات کمک کند، قطعا مورد توجه خواهد بود. خوشبختانه چنین سایتی وجود دارد و ما آنرا با نام موتور جستجوگر می شناسیم.
موتورجستجوگرسایتی است که برای کمک به کاربران دریافتن اطلاعات موجوددرسایتهای دیگر طراحی شده است. موتور جستجوگر سایتی است که با گرفتن عبارتی مختصر، کاربر را با لیستی از سایت ها روبرو می‌کند که به موضوع مورد علاقه او مرتبط می‌باشند.
آمارها نشان می دهند که افراد بسیاری سفر در دنیای وب را با موتورهای جستجوگر آغاز می‌کنند و مراجعه به موتورهای جستجوگر چنان عادی شده است که جستجو کردن وکارباموتورهای جستجوگر،دومین فعالیت عمده کاربران دردنیای وب(بعد از ارسال و دریافت نامه های الکترونیکی)، محسوب می شود.
هرچه برمحبوبیت وب افزوده می گردد،نیاز به بایگانی کردن اطلاعات آن نیز بیشتر می‌شود؛ موتور جستجوگر نیز در واقع این اطلاعات رابایگانی کرده،در زمان موردنیازوبه سرعت دراختیارکاربران قرار می‌دهد. بدون موتور جستجوگر، وب تنها به بخش کوچکی از موفقیت امروزین خوددست می‌یافت زیراموتورجستجوگر،اینترنت رابه رسانه‌ای قابل استفاده برای همه کرده است (از هیچ کس توقع نمی‌رود تعداد زیادی از آدرس های وب را به یاد داشته باشد).
آن چه که موتورهای جستجوگر انجام می دهند- با درجات متفاوتی از موفقیت- فراهم کردن یک وسیله جستجوی ساده است. وقتی یک کاربر وب عبارتی را جستجو می‌کند، موتور جستجوگر لیستی از سایت‌ ها را ارائه می‌کند که تعداد آنها از چند صد مورد تا چند میلیون متغیر می‌باشد.
سایت هایی که موتور جستجوگر به عنوان نتایج جستجویش ارایه می‌کند، بر حسب میزان ارتباط با عبارت جستجو شده به ترتیب نزولی لیست می‌شوند. به عبارت دیگر سایتی که به عنوان اولین سایت در نتایج جستجو معرفی شده است، مرتبط ترین سایت با عبارت جستجو شده از دید آن موتور جستجوگر بوده است.
دقت در ارایه نتایج جستجو چیزیست که کاربران وب همواره از موتورهای جستجوگر می خواهند. هر چه نتایج جستجوی یک موتور جستجوگر دقیق تر و مرتبط تر باشد، محبوب تر خواهد بود و کاربران بیشتری بدان مراجعه خواهند کرد.
اگر عبارت یکسانی در تمام موتورهای جستجوگر، جستجو شود هیچ کدام از آنها نتایج یکسانی را ارائه نمی‌دهند و با نتایج کاملا متفاوتی روبرومی‌شویم.تفاوت درارائه نتایج جستجو در موتورهای جستجوگر از تفاوت آنها در الگوریتم (سیستم رتبه بندی) و بایگانی داده‌شان ناشی می‌شود.حتی اگرهمه آنها ازبایگانی داده یکسانی نیز استفاده کنند، بازهم نتایج جستجویشان متفاوت خواهد بود. موتورجستجوگربرای رده‌بندی صفحات وب ازالگوریتم خاصی استفاده می‌کندکه فوق‌العاده محرمانه می‌باشد.الگوریتم نیزمجموعه ای از دستورالعمل ها است که موتور جستجوگر به کمک آن تصمیم می‌گیرد که سایت ها را چگونه در خروجی‌اش مرتب کند.
برای اینکه سایت ها با هم مقایسه شوند و بر حسب میزان ارتباط با موضوع جستجو شده، مرتب شوند، موتور جستجوگر، الگوریتم رابرمجموعه‌ای ازپارامترها اعمال می‌کند. پارامترهای مورد توجه موتور جستجوگر نیز همانند الگوریتم آن ها ناشناخته می‌باشد و این ناشناخته ها جذابیت دنیای موتورهای جستجوگر را دوچندان می‌کنند.
به اهمیت موتورهای جستجوگر از دیدگاه کاربران وب و جستجوکنندگان اطلاعات اشاره شد. آیا موتورهای جستجوگر از دیدگاه تجاری و دیدگاه یک مدیر سایت نیز مهم می باشند؟
اهمیت تجاری موتورهای جستجوگر
فعالان عرصه تجارت الکترونیک، آوردن بیننده به سایت را برای موفقیت در دنیای وب و تجارت آنلاین ضروری می دانند. فرقی نمی‌کند که سایت چه می‌فروشدوچه خدماتی ارایه می دهد:اگر سایتی به دنبال فروش کالا یا خدمات و کسب درآمد یا محبوبیت است، باید بیننده داشته باشد.
تعدادبینندگان یک سایت، برگ برنده آن برای کسب موفقیت در دنیای وب می‌باشد. سایتی که بیننده ندارد، بدون شک مرگی آنلاین را تجربه می‌کند و چه بسیارند سایتهایی که هر روزه از چرخه زندگی در وب خارج می شوند!
مدیران وطراحان خبره وب به خوبی میدانند که فقط طراحی یک وب سایت تضمینی برای آمدن بیننده به آن نیست بلکه باید بینندگان رابه طریقی به سایت جذب کرد. بینندگان تنها به دنبال رفع نیازهای اطلاعاتی خود می باشند و وظیفه ندارند به هر قیمتی که شده سایت شما را بیابند.
برای دعوت بینندگان به وب سایتتان چه تدابیری اندیشیده اید؟چگونه دیگران بدانندکه شماسایت پر محتوا و جذابی دارید؟ خود شما چگونه سایتهای دیگر را می یابید؟
بدون هیچگونه تردیدی بایدگفت که ما در اغلب موارد به کمک موتورهای جستجوگر به آنچه که می خواهیم، دست می یابیم.
اگرمااینکاررا انجام می دهیم،دیگران نیز دقیقا همین کار را می کنند: جستجوی چند عبارت در یکی از موتورهای جستجوگر و مراجعه به یکی از وب سایتها. ببینیم آمارها چه می گویند:
• 82 درصد کاربران اینترنت، موتورهای جستجوگر را ابزار اصلی خود برای یافتن وب سایتها عنوان کرده اند.
• 57 درصد از کاربران اینترنت، هر روز جستجو می‌کنند و 46 درصد این جستجوها برای کالا یا خدمات است. (منبع: SRI )
• 85 درصد ترافیک هدفمند در اینترنت را موتورهای جستجوگر باعث می‌شوند.

همان گونه که آمارها نشان می‌دهند موتورهای جستجوگر ابزار مناسبی هستند که خریداران به کمک آنها، کالا یا خدمات مورد نیاز خودرا می‌یابند. البته تنها رده‌های بالای نتایج جستجو هستند که مورد توجه کاربران قرار می گیرند و آنها به سایت‌های لیست شده در این رتبه‌ها مراجعه می کنند.
بسیاری ازکاربران دریافته اندکه در اغلب موارد 10 رتبه اول نتایج جستجو می تواند خواسته آنها را برآورده کند و هنوز هم علاقه دارند که تنها 10 سایت اول در نتایج جستجو را مرور کنند. اما آمارها چه می گویند:
• 70 درصد از کاربران به هنگام جستجو حتما یکی از سه سایت ابتدای نتایج جستجو را کلیک می کنند.
• تنها 7 درصد از آنها سایتهای قرار گرفته در رتبه های بیستم به بعد را کلیک می کنند.
• 85درصدازآنهااگر جوابی برای جستجوی خود در بیست نتیجه اول نتایج جستجو نیابند، موتور جستجوگر مورد استفاده خود را عوض می کنند.
• 33درصدکاربران وب فکرمی کنندسایتی که در ابتدای نتایج جستجو قرار دارد، در موضوع جستجو شده سرآمدتر از رقبای خود است و در آن موضوع پیشرو می باشد.
با دقت در این آمارها، اهمیت کسب رتبه‌های بالا در موتورهای جستجوگر روشن تر می‌شود. نکته مهم دیگر این است که بینندگانی که موتورهای جستجوگر روانه سایت‌ها می‌کنند، به احتمال زیاد مخاطبان اصلی سایت مورد نظر می‌باشند و این در حالی است که هزینه چندانی نیز صرف آوردن آنان به سایت نشده است.
آمارهای ارایه شده ازرفتار کاربران وب پیام بسیار واضحی دارد: سایتهایی ‌که در رتبه‌های بالا قرار نمی‌گیرند، بخش مهمی از کاربران مخاطب خود را از دست می دهند.
یک سایت ممکن است هزاران بیننده داشته باشداما تعداد بینندگان گروه مخاطب آن است که موفقیت سایت را رقم می زند. زیرا در اغلب موارد این بینندگان مخاطب سایت هستند که از سایت چیزی بیشتر از اطلاعات رایگان ارایه شده می خواهند.
امروزه تجارت الکترونیک خودرابامسئله رتبه بندی درموتورهای جستجوگرهماهنگ کرده است زیرا رتبه های بالاتر مستقیما به فروش بیشتر،تعبیرمی شوند.طبق آمارهای ارایه شده در ابتدای سال جدید میلادی(2003)نزدیک به 93 درصد بینندگان سایت های فعال در زمینه ارایه هدایای کریسمس را موتورهای جستجوگر فراهم کرده اند که در این بین گوگل با 27 درصد در صدر ایستاده است و پس از آن یاهو با 25 درصد در رده دوم قرار گرفته است.
شم بازاریابی حکم می کندکه همواره درجایی حضورداشته باشیم که مشتری ما آنجاست. اگر ما آنجا نباشیم، رقیب ما آنجا خواهد بود. به عبارت دیگر کسیکه قرار است از ما خرید کند، از رقیب ما خرید می کند:
رقیب ما هر روز چاق تر و چاق تر می شود و ما نحیف و نحیف تر.
بازاریابی با موتورهای جستجوگر (Search Engine Marketing) نیز دو هدف عمده زیر را دنبال می کند:
1. حضور در جاهایی که خریداران ما آنجا هستند.
2. بالاتر بودن از رقبا ( کسب وضعیت بهتر نسبت به رقبا)
اینگونه ازبازاریابی شامل فعالیتهای مختلفی می باشد که از مهمترین فعالیتهای آن ، بهینه سازی سایت    (Search Engine Optimization)می باشد.درحقیقت موتورهای جستجوگرازمهمترین بینندگان هر سایتی هستند. اگر سایت شما تنها برای مرورگرها، بهینه سازی شده است،کمی تامل کنید:سایت شما باید برای موتورهای جستجوگر هم بهینه سازی گردد. به عنوان مثال مرورگرها می توانندصفحات راباوجودبعضی ازخطاها در کدهای آنها، به کاربران نمایش دهند اما موتورهای جستجوگر تا این حد مهربان نیستند. خوشبختانه توجه به موتورهای جستجوگر در طراحی سایت، آنرا برای کاربران سایت هم قابل استفاده تر می کند.
بهینه سازی سایت به معنای به کارگیری ترفندهای پیچیده نیست بلکه دراغلب موارد به کارگیری و اعمال تغییرات کوچک و ساده در سایت است که معمولا تاثیر فوق العاده ای در بالا بردن ضریب نفوذ سایت شما در موتورهای جستجوگر دارند.
ضریب نفوذ مناسب به معنای حضور در موتورهای جستجوگر مهم و عمده، بایگانی شدن هر چه بیشتر صفحات سایت در پایگاه داده آنها و قرار گرفتن در صفحه های اول تا پنجم نتایج جستجوی آنهاست.
متخصصین بسیاری در تلاش‌اند تا الگوریتم و پارامترهای مورد توجه موتورهای جستجوگر را شناسایی کنند تا بتوانند به کمک آنها به رتبه‌های بالاتری دست یابند و شانس خود را در کسب درآمد بیشتر، افزایش دهند.
البته به موازات آنها، موتورهای جستجوگر نیز روز به‌ روز الگوریتم های خود را هوشمندتر کرده و بر اقدامات امنیتی برای حفاظت از الگوریتم‌هایشان می‌افزایند.
چیزی که امروزه این متخصصان باتاکیدبرآنهاقصدبهبودی رتبه های سایت های خود را دارند، تنها تجربه است و نه یافته های علمی ثابت شده از اسرار بسیار موتورهای جستجوگر.
خلاصه:
• موتور جستجوگر ابزاری است که کاربران اینترنت به کمک آنها سایت ها را می یابند.
• نتایج جستجوی تمام موتورهای جستجوگر دقیق نیست.
• بسیاری از کاربران دریافته اند که در اغلب موارد 10 رتبه اول نتایج جستجوی موتورهای جستجوگر می تواند خواسته آنها را برآورده کند.
• راههای بسیاری برای دسترسی به سایتها وجود دارد اما موتورهای جستجوگر همواره راهکار اساسی بوده اند.
• تجارت الکترونیک به شدت خود را با مسئله رتبه بندی در موتورهای جستجوگر هماهنگ کرده است و همه سایت ها برای کسب رتبه های بالا تلاش می کنند.
• اجرای یک برنامه موفق بازاریابی با موتورهای جستجوگر، بدون یک ساختار و زیربنای مستحکم در خود سایت اصولا با شکست همراه می باشد.

مفاهیم و اصطلاحات دنیای جستجو و موتورهای جستجوگر

قبل از شروع گفتگو درباره هر موضوعی نیاز به آن است که مفاهیم اولیه و اصطلاحات رایج در آن موضوع، بیان شود تا طرفین گفتگو راحت تر به منظور یکدیگر پی ببرند. برخی از مفاهیم و اصطلاحات حوزه SEO در این مقاله شــرح داده شده است. Spider, Crawler, Robot نرم افزاری است که کار جمع آوری اطلاعات از صفحات سایتهای مختلف را بر عهده دارد. Directory فهرست. نوعی از موتورهای جستجوگر که پایگاه داده آن توسط ویراستاران تکمیل می گردد. در آنها سایتها در گروههایی موضوعی دسته بندی می شوند. Keyword بــه واژه ها ی مهم (کلیدی) هر صفحه گفته می شود. اما غالبا" منظور کلماتی است که دوست داریم با آنها رتبه های مناسبی کسب کنیم. Keyword Density چگالی کلمه، منظور تعداد دفعات تکرار واژه های کلیدی در مقایسه با سایر کلمات متن است. Keyword Staffing تکرار یک کلمه به دفعات و پشت سر هم به منظور بالا بردن چگالی کلمه. این کار تقلب محسوب می شود. Tinny Text نوشتن متن با اندازه های بسیار کوچک و ریز به گونه ای که کلمات بسیاری بدین ترتیب در یک خط قرار داده می شود و به سختی نیز در صفحه قابل رویت هستند. نوشتن مطالب به این صورت، تقلب محسوب است. Invisible Text متن نامرئی. منظور استفاده از متن های همرنگ با پس زمینه صفحه است. متن هایی که از دید کاربران مخفی می ماند. به عنوان مثال اگر پس زمینه یک صفحه سیاه است، متن صفحه نیز با رنگ سیاه نوشته می شود تا دیده نشود . این نوع متن ها از مصادیق تقلب می باشند. Spam تقلب، به تمام تلاش هایی گفته می شود که به کمک آن سعی می شود از راه های غیر معمول، رتبه های بالایی کسب شود. یا در اختیار گذاردن اطلاعاتی که موتورهای جستجوگر آنرا دوست ندارند (اطلاعات ناخواسته) مانند تکرار یک کلمه به دفعات و پشت سر هم، استفاده از متن های هم رنگ زمینه و ... ALT tag محتوای این شناسه، متنی است که یک عکس را توضیح می دهد. Deep Crawl به معنای این است که موتور جستجوگر، می تواندصفحات زیادی از یک سایت را در پایگاه داده اش قرار دهد. موتور جستجوگر هرچه پایگاه داده اش بزرگتر باشد، صفحات بیشتری از یک سایت را می تواند در پایگاه داده اش قرار دهد. همه موتورهای جستجوگر دارای این ویژگی نمی باشند. Robots.txt با این فایل متنی و ساده، میزان دسترسی موتور جستجوگر به محتوای یک "سایت" را می توان کنترل کرد. META robots tag به کمک این شناسه میزان دسترسی موتور جستجوگر به محتوای یک "صفحه" را می توان کنترل کرد. Link پیوند. در واقع پلی بین دو صفحه است. به کمک آن می توان از یک صفحه به صفحه دیگر رفت. Link Popularity مقصود این است که چه تعداد از سایت های دیگر به سایتی مشخص لینک کرده اند یا اینکه از چند سایت دیگر می توان به کمک پیوندها به سایتی مشخص رفت. Link Reputation اشاره به این دارد که سایر سایتها درباره سایتی که بدان لینک داده اند، چه می گویند. عموما در این موارد عنوان، متن لینک و کلمات اطراف لینک در سایت مقصد، بررسی می شوند. Learn Frequency بعضی از موتورهای جستجوگر می توانند تشخیص دهند که محتوای صفحات پس از چه مدتی تغییر می کند (به روز می گردد) و بعد از آن مدت به آن صفحات مراجعه می کنند. URL-Uniform Resource Locator به آدرس منحصر به فرد هر منبع موجود در اینترنت گفته می شود. این منبع می تواند یک صفحه وب، یک فایل متنی و... باشد Stop Word به کلماتی گفته می شود که در کل اینترنت از آنها بسیار استفاده شده است. کلماتی نظیرthe, a, an, web www, home page, و ... Meta tags به کمک این شناسه ها، اطلاعاتی از صفحه در اختیار بینندگان (موتور جستجوگر، مرورگرها و ...) قرار داده می شود. META Keywords به کمک آن، کلمات کلیدی صفحه در اختیار موتورهای جستجوگر قرار داده می شود. META Description به کمک آن، توضیحی مختصر از صفحه در اختیار موتورهای جستجوگر قرار داده می شود. Stemming به معنای این است که موتور جستجوگر می تواند صورت های مختلف یک کلمه را جستجو کند. به عنوان مثال با جستجوی swim موتور جستجوگر به دنبال swimmer ، swimming نیز می گردد. همه موتورهای جستجوگر دارای این ویژگی نمی باشند. Rank رتبه یک صفحه در نتایج جستجو است زمانی که جستجویی مرتبط با محتوای آن صفحه انجام می شود. Spamdexing مختصر شده spam indexing است. منظور طراحی و معرفی صفحاتی به موتورهای جستجوگر است که کیفیت نتایج جستجو را پایین می آورند. موتورهای جستجوگر تمایل دارند که کاربران بارها و بارها به آنها مراجعه کنند و کیفیت بالای نتایج می تواند این روند را تضمین کند. لذا آنها هرکدام به نوعی سعی در تشخیص صفحاتی دارند که کیفیت نتایج جستجو را پایین می آورد. برخی از این موارد عبارتند از: ساختن صفحاتی که همگی دارای محتوای یکسانی اند، تکرار یک کلمه بیش از حد و ... Comment توضیحاتی است که طراحان سایت در لا به لای کدهای HTML می گنجانند تا برای فهمیدن وظیفه بخش های متفاوت کدهای HTML در مراجعات آتی نیازی به صرف وقت بسیار نداشته باشند.

موتور جستجو چگونه کار می کند؟

وقتی جستجویی در یک موتور جستجوگر انجام و نتایج جستجو ارایه می شود، کاربران در واقع نتیجه کار بخش های متفاوت موتور جستجوگر را می بینند. موتور جستجوگر قبلا" پایگاه داده اش را آماده کرده است و این گونه نیست که درست در همان لحظه جستجو، تمام وب را بگردد. بسیاری از خود می پرسند که چگونه ممکن است گوگل در کمتر از یک ثانیه تمام سایت های وب را بگردد و میلیون ها صفحه را در نتایج جستجوی خود ارایه کند؟
گوگل و هیچ موتور جستجوگر دیگری توانایی انجام این کار را ندارند. همه آنها در زمان پاسخ گویی به جستجوهای کاربران، تنها در پایگاه داده ای که در اختیار دارند به جستجو می پردازند و نه در وب! موتور جستجوگر به کمک بخش های متفاوت خود، اطلاعات مورد نیاز را قبلا" جمع آوری، تجزیه و تحلیل می کند، آنرا در پایگاه داده اش ذخیره می نماید و به هنگام جستجوی کاربر تنها در همین پایگاه داده می گردد.
بخش های مجزای یک موتور جستجوگر عبارتند از:
• Spider یا عنکبوت
• Crawler یا خزنده
• Indexer یا بایگانی کننده
• Database یا پایگاه داده
• Ranker یا سیستم رتبه بندی

الف Spider- (عنکبوت)
اسپایدر یا روبوت (Robot)، نرم افزاری است که کار جمع آوری اطلاعات مورد نیاز یک موتور جستجوگر را بر عهده دارد. اسپایدر به صفحات مختلف سر می زند، محتوای آنها را می خواند، لینکها را دنبال می کند، اطلاعات مورد نیاز را جمع آوری می کند و آنرا در اختیار سایر بخش های موتور جستجوگر قرار می دهد. کار یک اسپایدر، بسیار شبیه کار کاربران وب است. همانطور که کاربران، صفحات مختلف را بازدید می کنند، اسپایدر هم درست این کار را انجام می دهد با این تفاوت که اسپایدر کدهای HTML صفحات را می بیند اما کاربران نتیجه حاصل از کنار هم قرار گرفتن این کدها را. index.html صفحه ای است که کاربران آنرا به صورت شکل (1) می بینند:

شکل 1- نمونه ای از صفحات وب که توسط مرورگرها نشان داده می شود.
اما یک اسپایدر آنرا چگونه می بیند؟
برای این که شما هم بتوانید دنیای وب را از دیدگاه یک اسپایدر ببینید، کافی است که کدهای HTML صفحات را مشاهده کنید. برای این کار در مرورگر مورد استفاده خود، مسیر نشان داده شده در شکل (2) دنبال کنید.

شکل 2- روش مشاهده کدهای HTML یک صفحه وب
با انجام این کار فایل متنی شکل (3) به شما نشان داده می شود:

شکل 3- کدهای HTML سازنده یک صفحه وب
آیا این دنیای متنی برای شما جذاب است؟
اسپایدر، به هنگام مشاهده صفحات، بر روی سرورها رد پا برجای می گذارد. شما اگر اجازه دسترسی به آمار دید و بازدیدهای صورت گرفته از یک سایت و اتفاقات انجام شده در آن را داشته باشید، می توانید مشخص کنید که اسپایدر کدام یک از موتورهای جستجوگر صفحات سایت را مورد بازدید قرار داده است. یکی از فعالیتهای اصلی که در SEM انجام می شود تحلیل آمار همین دید و بازدیدها است.
اسپایدرها کاربردهای دیگری نیز دارند، به عنوان مثال عده ای از آنها به سایت های مختلف مراجعه می کنند و فقط به بررسی فعال بودن لینک های آنها می پردازند و یا به دنبال آدرس ایمیل (Email) می گردند.
ب- Crawler (خزنده)
کراولر، نرم افزاری است که به عنوان یک فرمانده برای اسپایدر عمل می کند. آن مشخص می کند که اسپایدر کدام صفحات را مورد بازدید قرار دهد. در واقع کراولر تصمیم می گیرد که کدام یک از لینک های صفحه ای که اسپایدر در حال حاضر در آن قرار دارد، دنبال شود. ممکن است همه آنها را دنبال کند، بعضی ها را دنبال کند و یا هیچ کدام را دنبال نکند.
کراولر، ممکن است قبلا" برنامه ریزی شده باشد که آدرس های خاصی را طبق برنامه، در اختیار اسپایدر قرار دهد تا از آنها دیدن کند. دنبال کردن لینک های یک صفحه به این بستگی دارد که موتور جستجوگر چه حجمی از اطلاعات یک سایت را می تواند (می خواهد) در پایگاه داده اش ذخیره کند. همچنین ممکن است اجازه دسترسی به بعضی از صفحات به موتورهای جستجوگر داده نشده باشد.
شما به عنوان دارنده سایت، همان طور که دوست دارید موتورهای جستجوگر اطلاعات سایت شما را با خود ببرند، می توانید آنها را از بعضی صفحات سایت تان دور کنید و اجازه دسترسی به محتوای آن صفحات را به آنها ندهید. موتور جستجو اگر مودب باشد قبل از ورود به هر سایتی ابتدا قوانین دسترسی به محتوای سایت را (در صورت وجود) در فایلی خاص بررسی می کند و از حقوق دسترسی خود اطلاع می یابد. تنظیم میزان دسترسی موتورهای جستجوگر به محتوای یک سایت توسط پروتکل Robots انجام می شود. به عمل کراولر ، خزش (Crawling) می گویند.
ج- Indexer (بایگانی کننده)
تمام اطلاعات جمع آوری شده توسط اسپایدر در اختیار ایندکسر قرار می گیرد. در این بخش اطلاعات ارسالی مورد تجزیه و تحلیل قرار می گیرند و به بخش های متفاوتی تقسیم می شوند. تجزیه و تحلیل بدین معنی است که مشخص می شود اطلاعات از کدام صفحه ارسال شده است، چه حجمی دارد، کلمات موجود در آن کدامند، کلمات چندبار تکرار شده اند، کلمات در کجای صفحه قرار دارند و ... .
در حقیقت ایندکسر، صفحه را به پارامترهای آن خرد می کند و تمام این پارامترها را به یک مقیاس عددی تبدیل می کند تا سیستم رتبه بندی بتواند پارامترهای صفحات مختلف را با هم مقایسه کند. در زمان تجزیه و تحلیل اطلاعات، ایندکسر برای کاهش حجم داده ها از بعضی کلمات که بسیار رایج هستند صرفنظر می کند. کلماتی نظیر a ، an ، the ، www ، is و ... . از این گونه کلمات هستند.
د - DataBase (پایگاه داده)
تمام داده های تجزیه و تحلیل شده در ایندکسر، به پایگاه داده ارسال می گردد. در این بخش داده ها گروه بندی، کدگذاری و ذخیره می شود. همچنین داده ها قبل از آنکه ذخیره شوند، طبق تکنیکهای خاصی فشرده می شوند تا حجم کمی از پایگاه داده را اشغال کنند. یک موتور جستجوگر باید پایگاده داده عظیمی داشته باشد و به طور مداوم حجم محتوای آنرا گسترش دهد و البته اطلاعات قدیمی را هم به روز رسانی نماید. بزرگی و به روز بودن پایگاه داده یک موتور جستجوگر برای آن امتیاز محسوب می گردد. یکی از تفاوتهای اصلی موتورهای جستجوگر در حجم پایگاه داده آنها و همچنین روش ذخیره سازی داده ها در پایگاه داده است.
و- Ranker (سیستم رتبه بندی)
بعد از آنکه تمام مراحل قبل انجام شد، موتور جستجوگر آماده پاسخ گویی به سوالات کاربران است. کاربران چند کلمه را در جعبه جستجوی (Search Box) آن وارد می کنند و سپس با فشردن Enter منتظر پــاسخ می مانند. برای پاسخگویی به درخواست کاربر، ابتدا تمام صفحات موجود در پایگاه داده که به موضوع جستجو شده، مرتبط هستند، مشخص می شوند. پس از آن سیستم رتبه بندی وارد عمل شده، آنها را از بیشترین ارتباط تا کمترین ارتباط مرتب می کند و به عنوان نتایج جستجو به کاربر نمایش می دهد.
حتی اگر موتور جستجوگر بهترین و کامل ترین پایگاه داده را داشته باشد اما نتواند پاسخ های مرتبطی را ارایه کند، یک موتور جستجوگر ضعیف خواهد بود. در حقیقت سیستم رتبه بندی قلب تپنده یک موتور جستجوگر است و تفاوت اصلی موتورهای جستجوگر در این بخش قرار دارد. سیستم رتبه بندی برای پاسخ گویی به سوالات کاربران، پارامترهای بسیاری را در نظر می گیرد تا بتواند بهترین پاسخ ها را در اختیار آنها قرار دارد.
حرفه ای های دنیای SEM به طور خلاصه از آن به Algo ( الگوریتم) یاد می کنند. الگوریتم، مجموعه ای از دستورالعمل ها است که موتور جستجوگر با اعمال آنها بر پارامترهای صفحات موجود در پایگاه داده اش، تصمیم می گیرد که صفحات مرتبط را چگونه در نتایج جستجو مرتب کند. در حال حاضر قدرتمندترین سیستم رتبه بندی را گوگل در اختیار دارد.
می توان با ادغام کردن اسپایدر با کراولر و همچنین ایندکسر با پایگاه داده، موتور جستجوگر را شامل سه بخش زیر دانست که این گونه تقسیم بندی هم درست می باشد:
• کراولر
• بایگانی
• سیستم رتبه بندی
تذکر- برای سهولت در بیان مطالب بعدی هر گاه صحبت از بایگانی کردن (شدن) به میان می آید، مقصود این است که صفحه تجزیه و تحلیل شده و به پایگاه داده موتور جستجوگر وارد می شود.
برای آنکه تصور درستی از نحوه کار یک موتور جستجوگر داشته باشید داستان نامتعارف زیر را با هم بررسی می کنیم. داستان ما یک شکارچی دارد. او تصمیم به شکار می گیرد:
- کار کراولر:
او قصد دارد برای شکار به منطقه حفاظت شده ابیورد، واقع در شهرستان درگز (شمالی ترین شهر خراسان بزرگ) برود.
- پروتکل Robots :
ابتدا تمام محدودیت های موجود برای شکار در این منطقه را بررسی می کند:
• آیا در این منطقه می توان به شکار پرداخت؟
• کدام حیوانات را می توان شکار کرد؟
• حداکثر تعداد شکار چه میزانی است؟
• و ... .
فرض می کنیم او مجوز شکار یک اوریال (نوعی آهو) را از شکاربانی منطقه دریافت می کند.
- کار اسپایدر
او اوریالی رعنا را شکار می کند و سپس آنرا با خود به منزل می برد.
- کار ایندکسر
شکار را تکه تکه کرده، گوشت، استخوان، دل و قلوه، کله پاچه و ... آنرا بسته بندی می کند و بخش های زاید شکار را دور می ریزد.
-کار پایگاه داده
بسته های حاصل را درون فریزر قرار داده، ذخیره می کند.
- کار سیستم رتبه بندی
مهمانان سراغ او می آیند و همسرش بسته به ذائقه مهمانان برای آنها غذا طبخ می کند. ممکن است عده ای کله پاچه، عده ای آبگوشت، عده ای ... دوست داشته باشند. پخت غذا طبق سلیقه مهمانان کار سختی است. ممکن است همه آنها آبگوشت بخواهند اما آنها مسلما" بامزه ترین آبگوشت را می خواهند!
نکته ها:
• شکارچی می توانست برای شکار کبک یا اوریال و یا هر دو به آن منطقه برود همانطور که موتور جستجوگر می تواند از سرور سایت شما انواع فایل (عکس، فایل متنی، فایل اجرایی و ...) درخواست کند.
• شکارچی می تواند شب به شکار برود یا روز. موتور جستجوگر هم ممکن است شب به سایت شما مراجعه کند یا روز. بنابراین همواره مطمئن باشید که سایت شما آپ است و موتور جستجوگر می تواند در آن به شکار فایلها بپردازد.
• غذای خوشمزه را می توانید با نتایج جستجوی دقیق و مرتبط مقایسه کنید. اگر شکارچی بهترین شکار را با خود به منزل ببرد اما غذایی خوشمزه و مطابق سلیقه مهمانان طبخ نگردد، تمام زحمات هدر رفته است.
• به عنوان آخرین نکته این بخش یاد آوری می کنم که به شکار اوریالی رعنا آن هم در منطقه حفاظت شده ابیورد (پارک ملی تندوره) اصلا فکر نکنید. اما توصیه می شود که حتما از طبیعت بکر آن دیدن فرمایید (بدون اسلحه!).

بهینه سازی موتورهای جوستجو
بهینه سازی موتورهای جستجو روشی است برای بالا بردن تعداد و کیفیت بازدیدکنندگان یک سایت به کمک موتور های جستجو.
• اینترنت و حضور در آن
• علت پیدایش موتورهای جستجو
• رتبه بندی موتورهای جستجو
• بدست آوردن رتبه بالا در موتورهای جستجو
 بهینه سازی موتورهای جستجو (Search§ Engine Optimization)
 معرفی به موتورهای جستجو و فهرست ها (Search Engines§ and Directories Submission)
 تبلیغات در موتورهای جستجو (Search Engine§ Advertising)
• فاکتورهای کاهش رتبه در موتورهای جستجو
• بررسی و آنالیز وب سایت
اینترنت و حضور در آن
از سال ۱۹۹٢ یک منبع بسیار مهم دیگر به منابع اطلاعاتی اضافه شد و آن شبکه جهانی وب (World Wide Web) یا همان اینترنت است. به جز کاربرد در زمینه اطلاع رسانی اینترنت کاربردهای بیشمار و غیر قابل تصوری در تجارت و سایر زمینه های زندگی نیز پیدا کرده است. به بیان دیگر امروزه در هر زمینه ای که بتوان تصور کرد، اینترنت یک ابزار موثر و توانمند به حساب می آید. حضور در اینترنت حقیقتا باید بخشی از بازاریابی شما باشد.
علت پیدایش موتورهای جستجو
با وجود حجم روز افزون طراحی و راه اندازی سایت های وب مختلف، نیاز به دستیابی به مرکزی برای شناسایی این پایگاه ها برای استفاده بهتر و بیشتر کاربران وب، امر مهمی به شمار آمد. از آنجا که سایت ها و مطالبی که در وب منتشر می شوند، توسط هیچ مرکز رسمی بین المللی مسئول در اینترنت اعلام نمی شود تنها راه پیدا کردن یک موضوع، اطلاع داشتن دقیق از آدرس آن سایت به نظر می رسد.
موتور های جستجو برای سهولت دسترسی کاربران به مطالب موجود در سایت های وب راه اندازی شده اند. در واقع بدون نیاز به موتور های جستجو قادر نخواهیم بود تا از به روز رسانی های سایت های وب اطلاع کسب کنیم و نیازهای تحقیقاتی و آموزشی و تجاری و خبری و ... خود را پوشش دهیم.
مهمترین توانایی موتورهای جستجو جذب مخاطبان واقعی سایت است. مخاطبان وبگرد و سرگردان معمولا ارزش چندانی ندارند.

رتبه بندی موتورهای جستجو
وقتی کاربری عبارتی را جستجو می‌کند، موتور جستجو لیستی از سایت‌ ها را ارائه می دهد که مرتبط با کلمات نوشته شده است. این سایتها بر حسب میزان ارتباط خود با موضوع جستجو شده به صورت نزولی لیست می شوند یعنی سایتی که بیشترین ارتباط و بالاترین رتبه را دارد، اولین است.
• هر موتور جستجو الگوریتم خاص و محرمانه خودش را برای رتبه بندی (Ranking) دارد و با توجه به اهمیت و اولویت فاکتورهای رتبه بندی ممکن است نتایج جستجوی متفاوتی بوجود آید. ممکن است سایت شما در یک موتور جستجو رتبه ٢ و در موتور دیگر رتبه ۱۰ داشته باشد.
• دیگر اینکه رتبه سایت شما کاملا به کلیدواژه هایی که انتخاب می کنید بستگی خواهد داشت. برای نمونه ممکن است سایت شما هنگام جستجوی یک عبارت رتبه ۱٢ داشته باشد و در جستجوی دیگری با یک عبارت دیگر، رتبه ۱٢۶۴ را بدست آورد. پس عبارتهایی که برای بهبود جایگاه خود انتخاب می کنید مهم است.
بدست آوردن رتبه بالا در موتورهای جستجو
موتورهای جستجو بهترین روش برای یافتن محصولات و اطلاعات مورد نیاز توسط کاربران و متقاضیان از یک سو و از سوی دیگر بهترین راه برای تبلیغات و جذب مشتریان توسط تولید کنندگان و ارائه کنندگان خدمات است.
آمار نشان می دهد تنها ٧% کاربران از صفحه های سوم به بعد نتایج را مرور میکنند به عبارتی، بیشتر آنان اگر مطلب مورد نظر خود را در صفحات نخست پیدا نکنند از موتور جستجوی دیگری کمک می گیرند.
سه ابزار اصلی برای بدست آوردن رتبه بالا در موتورهای جستجو و در نتیجه جایگیری در صفحات نخست نتایج جستجو عبارتند از :
۱. بهینه سازی موتورهای جستجو
٢. معرفی به موتورهای جستجو و فهرست ها
۳. تبلیغات در موتورهای جستجو
بهینه سازی موتورهای جستجو
هدف از بهینه سازی صفحات وب جایگیری در صفحات نخست نتایج جستجو است. قرار گرفتن در رده های بالای نتایج جستجو می تواند صدها و شاید هزاران بازدید کننده را روزانه به سایت شما راهنمایی کند. این دسته از بینندگان که در پی جستجوهای خود به سایت شما وارد شده اند، کاملا هدفمند به دنبال موضوع مطرح شده در سایت شما بوده اند.

فرآیند بهینه سازی موتورهای جستجو شامل مراحل زیر است :

۱. انتخاب کلیدواژه ها
کلیدواژه ها همان کلماتی هستند که وقتی مورد جستجو قرار می گرفتند سایت یا سند ما در صفحات نخست نتایج جستجو (حداقل ۳ صفحه اول) ظاهر شود. در انتخاب کلمات کلیدی باید به چند نکته توجه شود :
• ارتباط معنایی با محتویات سایت :
کلیدواژه ها باید با موضوع سایت مرتبط باشند. اگر اینچنین نباشد رتبه سایت بسیار پایین خواهد آمد و حتی ممکن است به عنوان تقلب (Spam) شناخته شود.
• میزان محبوبیت :
محبوبیت کلیدواژه به معنای میزان تقاضای آن از طرف کاربران است. هر چه این محبوبیت بیشتر باشد، بدون شک بعد از قرار گیری در رتبه بندی موتور جستجو، ترافیک بیشتری بوجود می آید. دامنه محبوبیت هم از اهمیت بالایی برخوردار است. مثلا یک واژه آلمانی بین یک عده خاص ( آلمانی زبان ها ) دارای محبوبیت است.
• در نظر گرفتن رقیبان :
اگر کلیدواژه شما از محبوبیت بالایی برخوردار است اما رقیبان بسیارزیادی با شما رقابت می کنند (بویژه که از سایت های مهم باشند) بهتر است از آن واژه صرفنظر کنید و یا تا حد امکان تخصصی تر آن را دنبال کنید، یعنی با ترکیب واژه با دیگر واژه ها یک عبارت چند کلمه ای بسازید. کیفیت رقبای شما نیز خیلی مهم است. یعنی آن ها چقدر "مهم" هستند. مثلا رقابت با سایت ebay خیلی سخت تر و دشوارتر از رقابت با یک وبلاگ محلی است.
٢. بکارگیری کلیدواژه ها در URL
نام دامنه سایت خود را متناسب با محتوای سایتتان انتخاب کنید و کلیدواژه ها را در نام پوشه و نام فایل بکار برید.

۳. بکارگیری کلیدواژه ها در صفحه
• عنوان صفحه - Title
عنوان صفحه شامل ۵ تا ۱۰ کلمه است و همان متنی است که بالای گردشگر اینترنت ظاهر می شود و موقع ذخیره کردن صفحه و اضافه کردن آن به صفحات محبوب به عنوان اسم پیش فرض ظاهر می شود.
• تگ توصیف - Meta Description
برخی از موتورهای جستجو این متن را که شامل ٢۵ تا ۳۰ کلمه در توصیف صفحه است بعد از عنوان سایت در نتایج جستجوی خود نشان می دهند. از کلیدواژه ها در این متن استفاده کنید.
• تگ کلیدواژه ها - Meta Keywords
این تگ جزو تگ های بسیار مهم سایت است زیرا موتورهای جستجو برای این بخش ارزش زیادی قائلند. ابتدا کلیدواژه اصلی، بعد کلیدواژه دوم و بعد چند کلید واژه مشابه را قرار دهید.
• تگ سرصفحه - H1
کلیدواژه خود را در سرصفحه قرار دهید.
• تگ تو پر - B
بکارگیری کلیدواژه در متن در حالت تو پر باعث نتیجه بهتر می شود.
• تگ مشخصات عکس - Alt
وقتی در سایتی ماوس را بر روی عکسی نگاه میدارید برای چند ثانیه متنی ظاهر می که شامل توضیحی در مورد عکس است. موتورهای جستجو حتی این توضیحات به ظاهر کوچک را در نظر می گیرند به همین دلیل از کلیدواژه ها در این متن استفاده کنید.
• نام فایل های عکس
نام فایل های عکس موجود در سایتتان را از میان کلیدواژه ها انتخاب کنید و نام را فارسی انتخاب نکنید.
• متن صفحه - Content
ارتباط کامل متن با موضوع و نگارش ساده و صحیح آن مهم است. کلیدواژه ها را نیز طوری در متن صفحه بکار برید که ساختار متن حفظ شود. پارامترهای زیر را در بکارگیری کلیدواژه ها در نظر بگیرید :
 جایگاه کلیدواژه (Prominence)§
منظور میزان نزدیکی کلیدواژه به ابتدای صفحه است. اولویت به ترتیب در مکان های زیر است : عنوان متن ، عنوان فصل ها ، اولین کلمه پاراگراف ، خط های اول پاراگراف اول ، پاراگراف اول ، خطوط بالای متن .
 چگالی کلیدواژه (Weight/Density)§
منظور از چگالی، نسبت دفعات تکرار کلمات کلیدی به کل متن است. باید مقدار این پارامتر را در حد معقول نگهدارید. فرمول محاسبه درصد چگالی : ۱۰۰ * تعداد کلمات متن/ تعداد کلیدواژه ها
برای متن صفحه، چگالی بین ۳ تا ٧ مناسب است.
 تعداد کلیدواژه§ (Frequency)
منظور از تعداد کلید واژه، دفعاتی است که یک کلید واژه بکار برده می شود. هر چه دفعات تکرار بیشتر باشد، نمره این پارامتر بالاتر می رود.
 توزیع§ کلیدواژه (Proximity)
منظور این است که کلیدواژه ها چقدر از هم دور یا به هم نزدیک هستند. باید سعی شود که کلیدواژه ها خیلی به هم نزدیک نباشند و در همه جای متن وجود داشته باشند.
۴. تهیه نقشه سایت - Sitemap
لیستی از تمام صفحات سایت به همراه توضیح کوتاهی در مورد آنها، در صفحه ای قرار دهید و لینکی به آن در صفحه اول سایت قرار دهید. نقشه سایت کار موتورهای جستجو را برای شناسایی صفحات سایت آسان می کند.
۵. محبوبیت لینک - Link Popularity
این بخش از بهینه سازی از اهمیت بسیار بالایی برخوردار است و از چند جهت برسی می شود:
• تعداد لینک های ورودی
• اهمیت و کیفیت لینک های ورودی. لینکی که بین دو سایت با زمینه کاری مشابه رد وبدل شده، با کیفیت است و لینکی از یک سایت با رتبه بالا مهم است.
• متنی که لینک می شود (Link Anchor Text). وجود کلیدواژه ای که صفحه بر مبنای آن بهینه سازی شده در این متن مهم است چون موتورهای جستجو این پارامتر را هم در نظر می گیرند.
معرفی به موتورهای جستجو و فهرست ها
پس از بهینه سازی موتورهای جستجو، باید آدرس و مشخصات سایت را در موتورهای جستجو ثبت کنید.
معروف ترین موتورهای جستجو:
• www.google.com/addurl : Google
• submit.search.yahoo.com/free/request : Yahoo
• search.msn.com/docs/submit.aspx : MSN
فهرست های اینترنتی یا همان دایرکتوری ها جایی برای رده بندی سایت هاست که افراد حقیقی یا به عبارتی ادیتور ها که انسان هستند آنها را کنترل می کنند و در نتیجه هر سایت بی خودی در آنها ثبت نمی شود. بنابراین ارزش لینک های داخل آنها بالاست و به همین خاطر برای موتور های جستجو ارزش زیادی دارد.
معروف ترین فهرست:
• dmoz.org/World/Persian : ODP
موتور های جستجوی بزرگ مثل یاهو و گوگل به طور منظم این دایرکتوری رو چک میکنن و توجه خاصی به این دایرکتوری دارند.
تبلیغات در موتورهای جستجو
پدیده جدیدی که در دنیای موتورهای جستجو به وجود آمده، تبلیغات مرتبط با متن است. به کمک این نوع از تبلیغات می توانید مخاطبین واقعی را هدف بگیرید و ترافیک سایت را بالاتر ببرید. ترافیک بالا عامل بسیار مهم دیگری است که بر رتبه سایت تاثیر می گذارد.
استفاده از این نوع آگهی ها مزایای بسیاری دارد:
• این آگهی ها برای کسانی به نمایش در می آیند که دقیقا به دنبال خدمات یا کالاهای شما هستند.
• مهم نیست آگهی ها چه تعداد نمایش داده شده باشند، شما تنها به به ازای کلیک روی آنها پول پرداخت می کنید.
• می توانید سقف مبلغی که مایلید روزانه هزینه شود، تعیین کنید.
• می توانید کسانی که روی آگهی ها کلیک می کنند، ردیابی کنید.
• می توانید تعیین کنید آگهی ها در چه کشورهایی نمایش داده شوند.
• می توانید آگهی ها را به زبان های مختلف تهیه کنید.
• می توانید تعیین کنید آگهی ها در چه ساعاتی از روز نمایش داده شوند.
• می توانید بازدید کننده ها را به صفحه کاملا مرتبط با درخواستشان هدایت کنید.
• می توانید سرعت نمایش آگهی را تعیین کنید، یعنی به ازای هر چند بار جستجوی مرتبط آگهی نمایش داده شود.
• از همان روزی که آگهی فعال شد، بیننده خواهید داشت.

فاکتورهای کاهش رتبه در موتورهای جستجو
• لینک های خراب - Broken Links
موتورهای جستجو اگر در بازدید از سایت متوجه لینکی معیوب شوند از بازدید از سایر صفحات دست می کشند که این امر باعث کاهش رتبه سایت می شود.
• تقلب - Spam
چگالی بالای کلیدواژه، فاصله نزدیک آنها ها نسبت به هم، نوشته های بسیار کوچک و نوشته های همرنگ با زمینه به عنوان تقلب شناخته می شوند که موتور جستجو با آنها برخورد کرده و ممکن است سایت را بکلی از لیست خود حذف کند.
• صفحات آیینه ای - Mirror Pages
منظور صفحات تکراری با آدرس متفاوت و محتوای یکسان است.
• مزرعه لینک - Link Farms
مزرعه لینک به گروهی از سایتها کفته می شود که بی آنکه ارتباط مفهومی با هم داشته باشند دست به مبادله گستره لینک می زنند تا محبوبیت خود را افزایش دهند. موتورهای جستجو اگر پی ببرند که شما در اینگونه سایتها قرار دارید، بشدت با آن برخورد میکنند. نتیجه آن هم کاهش شدید جایگاه شما است.
بررسی و آنالیز وب سایت
آنالیز وب سایت نقش مهمی در بهبود کیفیت سایت و در نتیجه اثر بخشی آن دارد. به موارد زیر توجه کنید :
• تعداد بازدیدکنندگان
• موقعیت جغرافیایی بازدیدکنندگان
• چگونگی ورود آنها به سایت (موتورهای جستجو، تایپ مستقیم آدرس شما، از سایتهای دیگر)
• با چه کلیدواژه هایی سایت شما را پیدا کرده اند.
• روزها و ساعات بازدید
• تعداد صفحات بازدید شده
• و ...