4.5 KiB
[SEO-EKEEPA-004] بازرسی عمیق سیاستهای خزش در فایل robots.txt، دایرکتیوهای مفقود Sitemap و روتهای متغیر
| مشخصه | مقدار |
|---|---|
| شناسه اقدام | SEO-EKEEPA-004 |
| سطح اولویت | P0 |
| تیم مسئول تحویل | تیم دوآپس و زیرساخت |
| فاز اسپرینت | Sprint 0 (فوریتی / P0) |
| تخمین زمان | 0.5 ساعت کاری |
| امتیاز RICE | Score: 2700000 (Reach: 450000, Impact: 3.0, Confidence: 1.0, Effort: 0.5) |
| ستون نظارتی C-Level | CISO / Lead DevOps |
| آدرس دقیق فایل و خطوط | public/robots.txt (خطوط ۱ تا ۱۰) |
💼 اثر تجاری و بیزینسی (Business Impact)
فایل robots.txt با مسدودسازی اشتباه کوئریپارامترها، ۵۶۶ صفحه را در سرچ کنسول دچار وضعیت نامطلوب ایندکسینگ بدون محتوا کرده و با فقدان خط Sitemap، جریان خزش رباتهای تازه را کند نموده است.
🔍 تحلیل ریشهای علت باگ (Root-Cause Diagnosis)
{'file_meta': {'http_status': 200, 'bytes': 551, 'last_modified': 'Sun, 02 Nov 2025 23:14:09 GMT (فریز شده از آبان ۱۴۰۴)', 'cdn_cache_state': 'X-Cache: BYPASS (عدم کش و ارسال مستقیم به سرور اصلی)'}, 'critical_flaws': [{'issue': 'غیبت کامل دایرکتیوهای Sitemap', 'description': 'هیچ خط Sitemap: https://ekeepa.co/sitemap.xml یا وبلاگ در فایل وجود ندارد و خزنده\u200cها به صورت خودکار به نقشه\u200cهای سایت دسترسی پیدا نمی\u200cکنند.'}, {'issue': 'انسداد پیجینیشن دسته\u200cبندی\u200cها با قانون Disallow: /s/?', 'description': "این قانون صفحات مهم صفحه\u200cبندی\u200cشده کاتالوگ مانند /s/tehran?page=2 را مسدود کرده و باعث شده گوگل آن\u200cها را بدون محتوا تحت عنوان 'Indexed, though blocked by robots.txt' ایندکس کند."}, {'issue': 'عدم محافظت از روت\u200cهای متغیر Next.js و APIها', 'description': 'مسیرهای آسیب\u200cپذیر /[slug] و /[id] و /api/ در robots.txt بسته نشده\u200cاند و خزشگرها با ورود به آن\u200cها خطاهای ۴۰۴ یا مصرف پهنای باند سرور ایجاد می\u200cکنند.'}, {'issue': 'فقدان سیاست\u200cگذاری برای ربات\u200cهای هوش مصنوعی (AEO/GEO)', 'description': 'هیچ دستورالعمل مجزایی برای ربات\u200cهای GPTBot, ClaudeBot, PerplexityBot تعریف نشده است.'}], 'gsc_coverage_correlation': {'blocked_by_robots_txt_pages': 490, 'indexed_though_blocked_pages': 76, 'total_damaged_pages_in_gsc': 566, 'correlation_analysis': 'تعداد ۵۶۶ صفحه در سرچ کنسول دقیقاً قربانی تعارض قوانین Disallow با لینک\u200cسازی داخلی و نبود تگ\u200cهای تمیز Noindex هستند.'}, 'bot_testing_matrix': {'all_tested_bots': ['Googlebot-Smartphone', 'Bingbot', 'GPTBot', 'ClaudeBot', 'PerplexityBot'], 'result': 'همه ربات\u200cها بدون تمایز فایل ۵۵۱ بایتی را با تاخیر میانگین ۱۰۰ میلی\u200cثانیه و بدون بهره\u200cمندی از کش CDN دریافت می\u200cکنند.'}}
⚠️ کد باگدار فعلی (Current Problematic Code)
User-agent: *
Disallow: /search?
Disallow: /api/
# فقدان معرفی رسمی نقشه سایت
✅ کد اصلاحشده و آماده پروداکشن (Fixed Production Code)
User-agent: *
Disallow: /api/
Disallow: /seller/
Disallow: /admin/
Allow: /s/
Allow: /room/
Sitemap: https://ekeepa.co/sitemap.xml
Sitemap: https://ekeepa.co/sitemap-catalog.xml
🎯 معیار پذیرش و تضمین کیفیت (Definition of Done & QA Criteria)
تست لاگهای دسترسی وبسرور جهت تایید دسترسی بدون مانع به /s/ و /room/.
🧪 دستور اجرای تست مستقل در ترمینال (Verification Command)
curl -sI https://ekeepa.co/s/tehran | grep -E "cache-control|x-cache|server-timing"
گزارش استخراجشده از داشبورد مهندسی و سئو اکیپا (seo.zebellkhan.com)