ارتباط با موتور های جستجو
تا سال ۱۹۹۷، طراحان موتور های جستجو دریافتند که مدیران وب سایت ها تلاش می‌کنند که در موتور های جستجوی آن ها رتبه بهتری داشته باشند. آنان همچنین متوجه شدند که برخی از مدیران وب، حتی رتبه های خود در نتایج جستجو را از طریق لبریز نمودن صفحات خود با واژگان کلیدی بسیار زیاد یا نامرتبط، دست‌کاری می‌کردند.
موتور های جستجوی اولیه، نظیر آلتا ویستا یا اینفوسیک، الگوریتم های خود را جهت جلوگیری مدیران وب در دست‌کاری رتبه ها، مجدداً سازگار کردند.
در سال ۲۰۰۵، یک اجلاس سالانه موسوم به بازیابی اطلاعات خصمانه در وب (AIRWeb) تا شاغلان و محققان مرتبط با موتور های جستجو و بهینه سازی آن را به هم مرتبط سازد. نکته قابل تأمل در مورد موتور های جستجو این است که نیاز نیست در تمام موتور های جستجو سئو انجام دهید. جالب است بدانید ۹۷٪ جستجو های کل دنیا از طریق موتور جستجوی گوگل انجام می‌شود و کارشناسان و مدیران وب تمایل بیشتری به سئو سازی روی گوگل داشته و سئو خود را متمرکز به گوگل می‌کنند.
روش های سئو
فهرست شدن
موتور های جستجوی پیشرو مانند جستجوگر گوگل، بینگ، یاهو! جستجو، از خزنده ها جهت پیدا کردن صفحات مرتبط با نتایج جستجوی الگوریتمیک خود استفاده می‌کنند. صفحاتی که از صفحات ایندکس شده یک موتور جستجوی دیگر لینک می‌شوند، نیازی به ارسال ندارد زیرا به طور خودکار پیدا می‌شوند.
دو دایرکتوری عمده یاهو دایرکتوری، دی‌موز نیازمند ارسال دستی و بازنگری انسانی هستند.
شرکت گوگل Google Search Console را پیشنهاد می‌دهد که یک فید نقشه سایت اکس ام ال می‌تواند برای آن ایجاد و به طور رایگان ارسال شود تا این اطمینان حاصل شود که تمامی صفحات خصوصا آن هایی که با دنبال کردن خودکار لینک ها قابل شناسایی نیستند، قابل دستیابی هستند. در گذشته یاهو! یک سرویس ارسال پرداختی داشت که خزش را به ازای مقداری هزینه در هر کلیک تضمین می‌کرد که در سال ۲۰۰۹، این سرویس متوقف شد
خزنده های موتور جستجو می‌توانند هنگام خزش یک وب سایت، به تعداد عوامل مختلفی توجه کنند. هر صفحه ای توسط موتور جستجو ایندکس نمی‌شود. فاصله صفحات از دایرکتوری اساسی ممکن است یک عامل در خزش یا عدم خزش در صفحات باشد.
جلوگیری از خزش در سئو
به منظور جلوگیری از محتوای نا مطلوب در ایندکس های جستجو، مدیران شبکه می‌توانند به عنکبوت ها (به انگلیسی: Spider) دستور بدهند که فایل ها یا دایرکتوری های خاصی را درون فایل استاندارد robots.txt در دایرکتوری اصلی دامنه، مورد بررسی و خزش (به انگلیسی: Crawl) قرار ندهند. بعلاوه، یک صفحه می‌تواند صراحتاً از پایگاه داده ها مورد جستجو خارج شود که این عمل از طریق استفاده از متاتگ های مخصوص به ربات ها صورت می‌گیرد.
هنگامی که یک موتور جستجو از یک سایت بازدید می‌کند فایل robots.txt واقع در دایرکتوری اصلی، نخستین جایی است که مورد خزش قرار می‌گیرد. سپس فایل robots.txt تجزیه شده و به ربات دستور داده می‌شود که کدام صفحات نباید مورد بررسی و خزش قرار گیرد. از آنجایی‌که خزنده موتور جستجو ممکن است که یک نسخه از این فایل را نگه دارد گاهی ممکن است که صفحاتی مورد خزش قرار می‌گیرند که مدیر شبکه تمایلی به آن‌ها ندارد.
به‌طور معمول، صفحاتی که از خزش خارج می‌شوند عبارت اند از صفحات ورودی خاص مانند صفحات مربوط به کارت های خرید و صفحات مربوط به محتوای شخصی کاربر نظیر نتایج جستجوی حاصل از جستجو های داخلی. در مارس ۲۰۰۷، گوگل به مدیران شبکه هشدار داد که باید از ایندکس شدن نتایج جستجوی داخلی جلوگیری کنند زیرا این صفحات، هرزنامه جستجو هستند. در ادامه بحث گفتنی است نبود سایت مپ نیز مانع از آن می‌شود که ربات درک درستی از صفحات شما داشته باشد همواره یک سایت مپ خوب تأثیر بسیار مهمی در خزش درست و خواندن کامل صفحات شما را دارد