چرا صفحات سایت در گوگل ایندکس نمی‌شوند؟ Discovered و Crawled currently not indexed
معنی دو وضعیت رایج Search Console یعنی Discovered - currently not indexed و Crawled - currently not indexed، چه کارهایی واقعاً به ایندکس شدن کمک می‌کند و چه کارهایی وقت تلف کردن است؛ از تجربه راه‌اندازی همین سایت.
وقتی همین سایت را راه انداختم و نقشه سایت را در Search Console ثبت کردم، چند روز بعد فقط صفحه اصلی ایندکس شده بود. صفحه‌های خدمات و مقاله‌ها در وضعیت «Discovered - currently not indexed» مانده بودند و بعضی هنوز برای گوگل ناشناخته بودند. این برای سایت تازه طبیعی است، اما وضعیت‌های «not indexed» در Search Console برای خیلی‌ها نگران‌کننده است و توصیه‌های زیادی درباره‌شان هست که اثری ندارند. در این مقاله توضیح می‌دهم این وضعیت‌ها دقیقاً چه معنی دارند و چه کارهایی را برای این سایت انجام دادم.
دو وضعیت، دو معنی متفاوت
Discovered - currently not indexed یعنی گوگل آدرس را می‌شناسد (از سایت‌مپ یا لینک) اما هنوز آن را نخزیده است. معمولاً به این دلیل که گوگل تصمیم گرفته فعلاً منابعش را جای دیگری خرج کند. در سایت‌های تازه یا سایت‌هایی که اعتبار کمی دارند، این حالت رایج است. در سایت‌های بزرگ، گاهی نشانه این است که سرور کند است یا گوگل وقتش را صرف URLهای بی‌ارزش می‌کند.
Crawled - currently not indexed یعنی گوگل صفحه را خزیده و دیده، اما تصمیم گرفته (فعلاً) ایندکسش نکند. این معمولاً پیام کیفی است: صفحه کم‌محتوا، تکراری یا شبیه صفحات دیگر به نظر رسیده، یا گوگل ارزش کافی در آن ندیده است. ممکن است بعداً و بدون تغییر هم ایندکس شود، اما اگر تعداد زیادی از صفحات در این وضعیت‌اند، باید به کیفیت و تکراری نبودن محتوا فکر کرد.
نکات کلیدی
- Discovered: هنوز خزیده نشده؛ مسئله بیشتر کشف و اولویت است.
- Crawled: خزیده شده ولی ایندکس نشده؛ مسئله بیشتر کیفیت و تکراری بودن است.
- هیچ‌کدام خطا یا جریمه نیست.
کارهایی که اثر واقعی دارند
۱. صفحات کم‌ارزش را از مسیر بردارید. هر URL که ارزش جستجو ندارد (دسته‌بندی با یکی دو مطلب، صفحات پارامتردار، برچسب‌ها، صفحه تشکر فرم) را noindex کنید و از سایت‌مپ حذف کنید. سایت‌مپ باید فقط صفحاتی را داشته باشد که واقعاً می‌خواهید در نتایج باشند. در همین سایت، دسته‌بندی‌هایی که کمتر از سه مطلب دارند و بخش اخبار (که بازنویسی خبرهای سایت‌های دیگر است) را از ایندکس بیرون گذاشتم تا گوگل وقتش را روی صفحه‌های خدمات و مقاله‌های تجربه بگذارد.
۲. لینک داخلی بدهید. گوگل اهمیت صفحه را از لینک‌هایی که به آن داده می‌شود می‌فهمد. صفحه‌ای که فقط در سایت‌مپ است، برای گوگل اولویت پایینی دارد. صفحات مهم باید از صفحه اصلی، منو و از داخل متن مقاله‌های مرتبط لینک داشته باشند.
۳. یک آدرس برای هر صفحه. نسخه www و بدون www، با اسلش و بدون اسلش، باید با ریدایرکت ۳۰۱ به یک نسخه برسند. هر نسخه تکراری بخشی از توجه گوگل را هدر می‌دهد.
۴. صفحه را واقعاً کامل کنید. برای وضعیت Crawled، راه اصلی بهتر کردن خود صفحه است: محتوای اختصاصی، جواب کامل به سؤالی که کاربر دارد، و تمایز روشن با صفحات مشابه سایت خودتان.
۵. لینک از بیرون. برای سایت تازه، چند لینک واقعی از سایت‌های مرتبط (پروژه‌هایی که ساخته‌اید، پروفایل‌های حرفه‌ای، سایت‌هایی که درباره کارتان نوشته‌اند) کشف و اعتبار را سریع‌تر می‌کند.
کارهایی که معمولاً وقت تلف کردن است
درخواست ایندکس مکرر: دکمه Request Indexing در URL Inspection برای یک صفحه تازه یا تغییر مهم مفید است، اما فشار دادن مکرر آن برای ده‌ها صفحه، مشکل اصلی را حل نمی‌کند و سهمیه روزانه هم دارد.
ارسال دوباره سایت‌مپ: اگر سایت‌مپ درست است، گوگل آن را دوباره می‌خواند. ارسال مکرر چیزی را تغییر نمی‌دهد.
ابزارهای «ایندکس سریع» و API ایندکس برای صفحات معمولی: API ایندکس گوگل رسماً فقط برای صفحات آگهی شغلی و پخش زنده است. استفاده از آن برای صفحات معمولی تضمینی ندارد.
تولید انبوه صفحه: اضافه کردن صدها صفحه کم‌محتوا برای «بزرگ‌تر شدن سایت» معمولاً وضعیت را بدتر می‌کند، چون نسبت صفحات کم‌ارزش سایت بالا می‌رود.
موتورهای دیگر: IndexNow برای Bing
گوگل از پروتکل IndexNow استفاده نمی‌کند، اما Bing و چند موتور دیگر استفاده می‌کنند. IndexNow یعنی سایت بعد از هر تغییر، فهرست آدرس‌های تازه یا تغییرکرده را مستقیم به موتور جستجو اعلام کند. پیاده‌سازی‌اش ساده است: یک فایل کلید در ریشه سایت و یک درخواست POST بعد از هر انتشار. برای همین سایت این را اضافه کردم تا هر بار که مقاله‌ای منتشر یا به‌روز می‌شود، Bing بلافاصله باخبر شود. Bing Webmaster Tools هم ارزش ثبت دارد؛ امکان وارد کردن سایت از Search Console را دارد.
// بعد از هر انتشار: فقط آدرس‌هایی که تغییر کرده‌اند
await fetch('https://api.indexnow.org/indexnow', {
method: 'POST',
headers: { 'Content-Type': 'application/json; charset=utf-8' },
body: JSON.stringify({
host: 'example.com',
key: KEY, // همان فایل https://example.com/KEY.txt
keyLocation: `https://example.com/${KEY}.txt`,
urlList: changedUrls,
}),
});چقدر باید صبر کرد
برای سایت تازه، ایندکس شدن همه صفحات مهم ممکن است از چند روز تا چند هفته طول بکشد و این طبیعی است. چیزی که باید دنبالش باشید روند است، نه عدد روزانه: آیا تعداد صفحات ایندکس‌شده آرام‌آرام بالا می‌رود؟ آیا آمار خزش (Crawl Stats) نشان می‌دهد گوگل بیشتر به سایت سر می‌زند؟ اگر بعد از چند هفته با سایت‌مپ تمیز، لینک داخلی و محتوای کامل، صفحات مهم هنوز Discovered مانده‌اند، باید سرعت سرور، پاسخ‌های خطا در لاگ‌ها و کیفیت کلی سایت را بررسی کرد.
یک ابزار ساده که در لاگ سرور همین سایت دارم، شمارش بازدید ربات‌ها به تفکیک است. دیدن اینکه Googlebot در روز چند بار و به کدام صفحات سر می‌زند، خیلی دقیق‌تر از حدس زدن است.
چک‌لیست خلاصه
نکات کلیدی
- سایت‌مپ فقط شامل صفحات canonical، قابل ایندکس و با پاسخ ۲۰۰.
- صفحات کم‌ارزش noindex و بیرون از سایت‌مپ.
- ریدایرکت ۳۰۱ برای همه نسخه‌های تکراری آدرس.
- لینک داخلی از صفحه اصلی، منو و متن مقاله‌ها به صفحات مهم.
- محتوای کامل و غیرتکراری در هر صفحه‌ای که می‌خواهید ایندکس شود.
- چند لینک واقعی از بیرون، به‌خصوص برای سایت تازه.
- IndexNow و Bing Webmaster Tools برای موتورهای غیر از گوگل.
جمع‌بندی
Discovered یعنی گوگل هنوز به صفحه نرسیده و Crawled یعنی رسیده ولی قانع نشده. برای اولی، کشف و اولویت را با سایت‌مپ تمیز، لینک داخلی و حذف صفحات کم‌ارزش بهتر کنید؛ برای دومی، خود صفحه را کامل‌تر و متمایزتر کنید. درخواست ایندکس مکرر و ابزارهای ایندکس سریع جای این کارها را نمی‌گیرند. اگر سایت شما با وجود محتوای خوب در گوگل دیده نمی‌شود، در بررسی سئوی فنی علت را پیدا و رفع می‌کنم؛ چک‌لیست کامل‌تر را هم در سئوی فنی فروشگاه اینترنتی با Next.js نوشته‌ام.