بررسی robots.txt

تجزیه قواعد، یافتن خطا، تست مجاز/مسدود بودن یک آدرس

#robots #خزش #crawl-delay تحلیل زنده سمت سرور

robots.txt سایت را دریافت و تجزیه می‌کند: گروه‌های user-agent، Allow/Disallow، crawl-delay، Sitemapها، خطاهای نگارشی و قواعد پرریسک (Disallow: / یا مسدودسازی CSS/JS). همچنین می‌توانید یک آدرس را تست کنید تا ببینید بر اساس الگوریتم RFC 9309 مجاز است یا خیر.

تحلیل به‌صورت زنده انجام می‌شود؛ ابزارهای سنگین ممکن است تا یک دقیقه طول بکشند. (Ctrl+Enter = اجرا)

فرم را پر کنید و «اجرای تحلیل» را بزنید.

گزارش شامل امتیاز، فهرست بررسی‌ها با راهکار، جدول‌ها و کدهای آماده کپی است.

ابزارهای مرتبط

بررسی گواهی SSLاعتبار، انقضا، SAN، زنجیره، طول کلید، نسخه‌های TLS و امتیاز بررسی رکوردهای DNSA, AAAA, MX, NS, TXT, SOA, CNAME, CAA + DNSSEC بررسی امنیت ایمیل دامنهSPF، DKIM، DMARC، MTA-STS، TLS-RPT، MX و DNSSEC بررسی بلک‌لیست ایمیل/IPپرس‌وجوی DNSBLهای عمومی برای IP سرور اطلاعات دامنه (WHOIS/RDAP)ثبت‌کننده، تاریخ ثبت/انقضا، وضعیت، nameserver و DNSSEC سن دامنهمحاسبه عمر دامنه از تاریخ ثبت (سال/ماه/روز) بررسی آزاد بودن دامنه‌هابررسی دسته‌جمعی تا ۱۰ دامنه (ثبت‌شده/آزاد) دامنه به IP و برعکسresolve دامنه، PTR معکوس، IPv6 و کلاس C