• سئو 24
  • اخبار
  • مقالات
  • نظرات مشتریان
  • درباره ما
  • تماس با ما
عضویت ورود   ۰۲۱-۸۶۰۸۶۸۶۴ پورتال مشتریان
  • خدمات سئو  
    • سفارش سئو
    • تعرفه سئو
    • افزایش رتبه سایت
    • مشاوره سئو
    • صفحه اول گوگل
  • آموزش سئو  
    • دوره جامع آموزش سئو
  • دیجیتال مارکتینگ  
    • خدمات تولید محتوا  
      • تعرفه تولید محتوا
    • رپورتاژ آگهی  
      • تعرفه رپورتاژ آگهی
      • رپورتاژ آگهی چیست
    • بازاریابی اینترنتی  
      • تبلیغات در گوگل
  • نمونه کارها  
    • سئو سایت گردشگری
    • سئو سایت خبری
    • سئو سایت فروشگاهی
    • سئو سایت نیازمندی
    • سئو سایت شرکتی
  • درباره ما
  • تماس با ما
سئو 24
سئو24
آموزش بهینه سازی سایت
بازدید ربات های گوگل از سایت و ایندکس کردن تغییرات جدید

بازدید ربات های گوگل از سایت و ایندکس کردن تغییرات جدید

  • دوشنبه ۱۴ خرداد ۱۳۹۷

می‌دانید که گوگل یکسری ربات به نام crawler دارد که وظیفه ایندکس‌کردن سایت‌ها را به عهده دارند. رتبه گرفتن سایت و صفحات و تغییراتی که در سایت داده‌اید به عملکرد این ربات‌ها وابسته است. باید توجه داشته باشید که حتی اگر از گوگل بخواهید صفحه‌ای را ایندکس نکند ولی آن صفحه بصورت گسترده‌ای در شبکه‌های مجازی به اشتراک گذارده‌شود و کاربران زیادی بصورت روزانه از کانال‌های بازاریابی محتوا وارد آن صفحه شوند. گوگل به احتمال زیاد درخواست شما را نادیده گرفته و صفحه را ایندکس می‌کند.

نکته: ایندکس شدن یک صفحه به شدت به میزان بازاریابی محتوا و مخاطب آن صفحه وابسته است. 

گوگل پیشنهاد می‌دهد تنها در صورتی به سراغ ایندکس دستی بروید که مشکل خاصی در آن صفحه رخ داده‌باشد. مثلاً اگر شما در صفحه خود یک شماره تلفن را اشتباه نوشته باشید بعد از اصلاح می‌خواهید که گوگل بلافاصله صفحه را ایندکس کند و تغییرات جدید را ثبت کند. این موضوع در سایت‌هایی که به صورت AMP تولید شده‌اند بسیار حیاتی خواهد بود. دلیل آن هم روشن است سایت‌های AMP بر روی دو سرور ذخیره می‌شوند و ایندکس نشدن تغییرات به معنی ظاهر متفاوت سایت برای بازدیدکنندگان سایت از موبایل و Pc خواهد بود.

 

بازدید ربات های گوگل از سایت و ایندکس کردن تغییرات جدید در وب سایت

 

گوگل چگونه یک صفحه را ایندکس می کند؟

گفتیم که گوگل برای ایندکس کردن صفحات به تبلیغات آن صفحه وابسته است. اما اگر سایتی تازه ایجاد شده باشد. و شما بخواهید سایت توسط گوگل بسرعت ایندکس شود می توانید در وبمستر گوگل ثبت نام کنید و سپس آدرس نقشه سایت خود را به گوگل بدهید. اصولاً اگر نقشه سایت با نام Sitemap.xml در ریشه سایت ذخیره شده‌باشد. گوگل با ثبت سایت در وبمستر براحتی می‌تواند نقشه سایت را بیابد. ولی اگر به هر دلیلی گوگل نتوانسته‌بود که نقشه سایت شما را بیابد می‌توانید در پنل کاربری وبمستر به صورت دستی آدرس نقشه سایت را به گوگل اعلام کنید.

 

نقشه سایت

 

بعد از ایجاد و ساخت نقشه سایت در وبمستر گوگل وارد قسمت Crawl و سپس Sitemaps شوید. سپس آدرس نقشه سایت را بصورت کامل همراه با آدرس سایت درج کنید و دکمه Submit را بزنید.

سرعت ایندکس شدن صفحات سایت به چه عواملی وابسته است؟

اگر سایت شما به تازگی ایجاد شده‌باشد شما می‌توانید با ثبت سایت در وبمستر گوگل و همچنین ثبت نام در گوگل آنالیتیکس به افزایش سرعت ایندکس شدن صفحات جدید سایت خود کمک کنید.

همانطور که در بالا گفته شد وجود نقشه سایت و اطمینان از شناخته‌شدن نقشه سایت در وبمستر گوگل نیز در افزایش سرعت ایندکس شدن صفحات موثر است. اختلالات گوگل در شناسایی تغییرات سایت اغلب به دلیل مشکلات موجود در نقشه سایت یا نحوه تعامل گوگل با نقشه سایت است.

 نکته: تولید محتوای کاربر پسند و جذاب و تبلیغ آن در کانال‌های مختلف بازاریابی محتوا از هر تکنیکی در افزایش سرعت ایندکس شدن صفحات توسط گوگل موثرتر است.

ایندکس دستی صفحات در شرایط اضطراری

گفتیم که گاهی لازم است یک صفحه خاص از سایت را بصورت دستی در گوگل ایندکس کنیم تا جدیدترین تغییرات در گوگل ثبت شود. در این بخش به نحوه انجام اینکار می‌‌پردازیم.

در وبمستر گوگل از ابزار Fetch as Google استفاده کنید:

 

Fetch as google

 

همانطور که مشاهده می‌کنید این ابزار در زیر مجموعه ابزارهای Crawl قرار دارد. شما می‌توانید گزینه Fetch یا Fetch and render را استفاده کنید. اگر ایندکس صفحه سایت شما با مشکل روبرو است و نمی‌توانید دلیل این مشکل را دریابید Fetch and render به شما اطلاعات کاملی از قابلیت در دسترس بودن منابع صفحه برای گوگل می‌دهد. اگر صفحه شما در جستجو با کامپیوتر در صفحه نتایج گوگل هست ولی در موبایل و سایر ابزارها نمی‌توانید صفحه خود را در گوگل بیابید، می توانید Fetch and render را برای دستگاه مشخصی اعمال کنید. بنابراین می‌توانید از این گزینه برای بررسی تمام منابع صفحه و ایندکس‌شدن این منابع در Pc و گوشی‌های هوشمند استفاده‌کنید. (منبع https://support.google.com/webmasters/answer/6066468?hl=en)

چه عواملی مانع ایندکس شدن صفحات سایت شما می شوند؟

اگر صفحات سایت به درستی ایندکس نمی‌شوند، نقشه سایت یکی از اولین عواملی است که باید بررسی شود. نحوه افزودن نقشه سایت و نحوه بررسی آن در وبمستر را در بالا توضیح داده‌ایم. اما عوامل دیگری نیز وجود دارد که مانع ایندکس شدن صفحات سایت می‌شود. برخی صفحات سایت هستند که برای مخاطبان سایت بسیار جذاب هستند و باعث ماندگاری طولانی‌تر آنها در سایت می‌شوند، صفحاتی مانند صفحات جستجو و صفحات تگ‌ها (کلیک روی یک تگ مجموعه‌ای از صفحاتی که آن تگ در آنها به کار رفته را به نمایش می‌گذارد)، صفحات مرتبط با دسته‌بندی کالاها که مجموعه‌ای از کالاهای مرتبط به یک دسته‌بندی را به نمایش می‌گذارند. اما این صفحات برای کاربران گوگل چندان جذاب نیستند. آنها مایلند که دقیقاً به صفحه‌ای منتقل شوند که حاوی اطلاعات مد نظر آنها است و نه آنکه صفحه‌ای با چندین لینک به صفحات دیگر برایشان ظاهر شود. بنابراین مدیران سایت‌ها از ایندکس شدن چنین صفحاتی توسط گوگل جلوگیری می‌کنند. گاهی در این فرایند ممکن است که در اثر یک اشتباه صفحاتی ناخواسته را از ایندکس شدن حذف کنید. بنابراین یکی از عواملی که هنگام مشکل ایندکس باید بررسی شود حذف دستی سایت از ایندکس شدن توسط گوگل است. برای انجام اینکار دو مرحله پیش روی شماست:

1-  فایل Robots.txt

یک فایل متنی با فرمت txt  است که می‌تواند ایندکس شدن صفحات سایت را با اختلال جدی روبرو کند. برای بررسی فایل Robots.txt مراحل زیر را انجام دهید.

  • در مرورگر خود آدرس https://www.google.com/webmasters/tools/robots-testing-tool را کپی کنید.
  • اگر در وبمستر وارد نشده‌اید با اکانت خود وارد شوید.
  • انتخاب نوع رباتی که می‌خواهید دسترسی آن را به منابع چک کنید مثلا Googlebot-Image به تصاویر سایت دسترسی دارد.
  • درج آدرسی که ایندکس آن با مشکل روبرو است در ابزار تست
  • بررسی syntax warnings و logic errors ها در ابزار تست
  • انتخاب user-agent و کلیک روی دکمه Test برای بررسی محدویت‌های مربوطه
  • بررسی منابعی که به صورت BLOCKED هستند و برطرف کردن مشکل آنها

نکته شما باید تغییراتی که در این ویرایشگر می‌دهید را به صورت دستی بر فایل robots.txt در سرور اعمال کنید.

در تصویر زیر نمونه‌ای از کدهای فایل robots.txt را مشاهده می‌کنید

 

فایل Robot.txt

 

همانطور که می‌بینید می‌توان آدرس نقشه سایت را در این فایل نیز درج کرد.

کد

User-agent: *

مشخص می‌کند که محدودیت‌ها به کدام قسمت اعمال می‌شود. مثلاً User-agent: Googlebot محدودیت‌ها را برای ربات‌های گوگل اعمال می‌کند و User-agent: Bingbot این محدویت‌ها را برای ربات‌های موتور جستجوی بینگ اعمال می‌کند.

کد

Allow: /*

مشخص می‌کند که User-agent اجازه دسترسی به کدام قسمت ها را دارد.

کد

Disallow: /example-subfolder/

مشخص می‌کند که کدام آدرس‌ها قابل دسترس نیستند.

2- متا تگ Robots

همانطور که می‌دانید متاتگ ها بر روی نحوه مشاهده صفحات سایت توسط موتورهای جستجو موثر هستند. متا تگ Robots یکی از این متا تگ ها است که وظیفه آن تنظیم قابلیت ایندکس و فالو شدن صفحه توسط موتورهای جستجو است. اگر این تگ را در صفحات نگذارید به‌صورت پیشفرض گوگل صفحات را ایندکس و فالو فرض خواهد کرد.

نمونه ای از به کارگیری این تگ در صفحه :

noindex کردن مطالب سایت

 

مقالات مرتبط

  • آموزش افزایش سرعت ایندکس مطالب جدید سایت
  • وضعیت ایندکس صفحات در گوگل را با وبمستر تولز بررسی کنید
  • آیا باید به سمت سایت های AMP حرکت کرد
 برچسب ها:
  • اهمیت متا تگ ها در سئو
  • متا تگ
  • متا تگ Robots
  • ایندکس سریع مطالب در گوگل
نظرات (1 نظر)

 مهدی  ۱۱ شهریور ۱۳۹۷ ۰ ۱

ممنون از مطالب خوبتون بنده یک سال پیش آدرس نقشه سایتم رو به وبمستر دادم. یک سری مطالبم هم ایندکس شده. آیا دوباره باید نقشه رو بروزرسانی کنم. تغییرات جدیدی لازمه یا همون یکبار کافیه؟

 مدیر سایت ۱۷ شهریور ۱۳۹۷   ۰ ۰

سلام دوست عزیز
خیر نیاز نیست به روز رسانی انجام دهید. اما در صورتی که در وبمستر خطایی رخ داده باشد می بایست خطا را رفع نموده و نقشه را به روز رسانی نمایید. در صورتی که خطایی مشاهده نمی کنید، می توانید برای اطمینان بیشتر، تعدادی از لینک های سایت مپ را چک کنید. اگر صحیح بود، مشکلی نیست. 

انتشار مطلب
مقالات مرتبط
چگونه توضیحات متا سئو شده بنویسیم - به همراه مثال چگونه توضیحات متا سئو شده بنویسیم - به همراه مثال
سئو منفی واقعیت ها و شایعات درباره آن سئو منفی واقعیت ها و شایعات درباره آن
10 باور غلط در باره سئو 10 باور غلط در باره سئو
راهنمای جامع به کارگیری متا تگ ها در سئو راهنمای جامع به کارگیری متا تگ ها در سئو
سئو تکنیکال و بازاریابی محتوا و اولویت آنها در سئو سایت سئو تکنیکال و بازاریابی محتوا و اولویت آنها در سئو سایت
درخواست از گوگل برای crawl مجدد صفحات سایت درخواست از گوگل برای crawl مجدد صفحات سایت
چگونه نرخ پرش bounce rate سایت خود را کاهش دهید چگونه نرخ پرش bounce rate سایت خود را کاهش دهید
دسته بندی مقالات
آموزش Google Webmaster Tools - سئو 24 آموزش وبمستر تولز
آموزش بازاریابی اینترنتی -Internet marketing - سئو 24 آموزش بازاریابی اینترنتی
تحلیل سایت های اینترنتی - سئو 24 تحلیل سایت
اصطلاحات رایج در سئو اصطلاحات سئو
دسترسی سریع
  • سفارش سئو
  • تعرفه سئو
  • مشاوره سئو
  • دوره جامع آموزش سئو
  • درباره ما
خدمات
  • سئو سایت گردشگری
  • سئو سایت خبری
  • سئو سایت فروشگاهی
  • سئو سایت نیازمندی
  • بازاریابی اینترنتی
  • تبلیغات در گوگل
  • تحلیل و آنالیز سایت
برچسب ها
تفاوت لینک فالو و نوفالو بهینه سازی طراحی سایت بررسی آنلاین سئو سایت افزایش ترافیک سایت جستجوی معنایی جت سئو تجربه کاربر پیج رنک گوگل پارامترهای UTM بهینه سازی محتوا بهینه سازی شبکه های اجتماعی بالا بردن رتبه سایت آنالیز رقبا
تماس با ما
  • تهران، , خیابان گاندی، کوچه دهم ، پلاک 4، زنگ سوم
  • تلفن تماس: 02186086864
  • تلگرام: 09027362447
سئو 24

طبق ماده 12 فصل سوم قانون جرائم رایانه هرگونه کپی برداری ممنوع بوده و پیگرد قانونی دارد.

تمامی حقوق نزد سئو 24 محفوظ است. طراحی سایت توسط وب 24

لوگو ی ساماندهی سئو 24

  • ۰۲۱۸۶۰۸۶۸۶۴
  • ثبت نام در باشگاه مشتریان سئو 24
  • نمونه کارهای سئو 24
  • ثبت سفارش در سئو 24
  • ارتباط از طریق تلگرام
  • آدرس صفحه ی اینستاگرام سئو 24
 ثبت سفارش