فایل Robots.txt چیست؟
فایل Robots.txt چیست؟
فایل Robots.txt چیست؟ یک Robots.txt درواقع یک فایل متنی ساده است که در مسیر اصلی فضای سایت شما،
یا روت دایرکتوری (Root Directory) قرار می‌گیرد. در حقیقت وظیفه این فایل معرفی بخش‌های قابل دسترسی ،
و بخش‌های محدود شده برای دسترسی ربات‌ها یا با تعریفی دقیق‌تر، خزندگان سطح وب (Web Crawlers)،
که از سوی موتورهای جستجو به منظور بررسی و ثبت اطلاعات سایت‌ها ایجاد شده اند می‌باشد.
با درج دستوراتی خاص در این فایل، شما می‌توانید به ربات‌های موتورهای جستجو بگوئید که کدام صفحات،
کدام فایل‌ها و کدام بخش‌های سایت شما را دیده و آن‌ها را ایندکس کنند و کدام صفحات را نادیده بگیرند.
به عبارت دیگر، اولین چیزی که ربات‌های موتورهای جستجو با آن برخورد می‌کنند، همین فایل Robots.txt است.
به محض رویارویی با این فایل، خزندگان سطح وب شروع به بررسی محتوا ،
و لیست داخل این فایل کرده تا بخش‌های قابل دسترسی را پیدا کنند.
فایل Robots.txt چیست؟
اگر سایت شما robots.txt را نداشته باشد چه اتفاقی می‌افتد ؟
اگر این فایل در هاست سایت شما آپلود نشده باشد، خزندگان و ربات‌های موتورهای جستجو،
امکان دسترسی به تمام صفحات عمومی را خواهند داشت و قادر هستند تا تمام محتوای سایت شما را ایندکس کنند.
اگر فایل robots.txt به درستی آپلود نشود چه می‌شود ؟
نتیجه این مورد بستگی به نوع مشکل خواهد داشت. اگر فایل مذکور با فرمت استاندارد و صحیح ایجاد نشده باشد ،
و یا اطلاعات و دستورات داخل آن قادر به شناسایی نباشند، ربات‌های موتورهای جستجو همچنان به دسترسی،
به اطلاعات سایت شما ادامه داده و می‌توانند آن‌ها را ایندکس کنند. به عبارت دیگر، ربات‌ها فقط زمانی تغییر رفتار می‌دهند،
که دستور دقیق و منطبق با آن رفتار را از طریق متون داخل این فایل دریافت کرده باشند.
در غیر این صورت آن‌ها به رفتار طبیعی خود یعنی بررسی و ایندکس کردن تمام بخش‌های سایت ادامه خواهند داد.
فایل Robots.txt چیست؟
چطور یک فایل robots.txt بسازیم ؟
قبل از ساخت این فایل، اول مطمئن شوید که پیش از این چنین فایلی در سرور سایت شما ایجاد نشده باشد.
برای اینکه از این مورد آگاه شوید، کافیست آدرس سایت خود را وارد کرده و در انتهای آن /robots.txt را تایپ کرده و اینتر بزنید.
اگر در صورت باز کردن این صفحه با ارور 404 مواجه شوید یعنی چنین فایلی ساخته نشده است.
اما در صورتی که بعد از وارد شدن به این صفحه با کدهای User-agent و … مواجه شدید، یعنی سایت شما این فایل را دارد.
در این حالت باید از طریق FTP و یا کنترل پنل هاست سایت خود، به قسمت مدیریت فایل رفته ،
و در روت اصلی هاست فایل robots.txt را پیدا کنید. سپس باید آن را توسط یک ویرایشگر متنی آنلاین اجرا کرده،
و آن را ویرایش کنید. همچنین می‌توانید این فایل را دانلود کرده و روی کامپیوتر خود ویرایش کنید،
و در نهایت فایل ذخیره شده را با فایل قبلی جایگزین کنید. همچنین اگر این فایل در هاست سایت شما پیدا نشد،
خیلی راحت یک فایل متنی txt از طریق Notepad ویندوز بسازید و آن را با نام robots (با حروف کوچک) ذخیره کنید.
سپس دستورات مورد نیاز خود را درون آن قرار داده و فایل را ذخیره سازی کنید. در نهایت،
فایل آماده شده را از همان روش‌های گفته شده (از طریق FTP یا فایل منیجر کنترل پنل هاست) در روت اصلی سایت آپلود کنید.
فایل Robots.txt چیست؟
نکات مهم فایل robots.txt در رابطه با سئو :
قبل از هرچیز فایل robots.txt خود را بررسی و تست کنید تا مطمئن شوید،
بخش مهمی از سایت شما از طریق آن مسدود نشده باشد.فایل‌ها و پوشه‌های مهم CSS و JS را مسدود نکنید.
فراموش نکنید که ربات‌های گوگل درست از نگاه یک کاربر یک سایت را بررسی ،
و ایندکس می‌کنند. در نتیجه اگر برخی از فایل‌های CSS و JS و دیگر فایل‌های مشابه را بلاک کنید،
ممکن است سایت شما به صورت مناسب بارگذاری نشود و این مسئله نیز می‌تواند باعث ایجاد خطا شده،
و در ایندکس شدن دیگر صفحات سایت شما تأثیر منفی بگذارد. اگر از WordPress استفاده می‌کنید،
نیازی به مسدودسازی مسیرهایی همچون wp-admin و پوشه‌های wp-include نیست.
وردپرس به صورت اتوماتیک این کار را از طریق تگ‌های متا انجام می‌دهد.
سعی کنید دستورات خاص زیادی برای ربات‌های خاص تعیین نکنید.
پیشنهاد می‌شود اگر دستور خاصی دارید آن را با کمک کد User-agent: * روی همگی ربات‌ها اعمال کنید.
فایل Robots.txt چیست؟
نتیجه‌گیری :
بحث robots.txt چیزی نیست که بخواهید وقت زیادی روی آن بگذارید و یا به صورت مستمر آن را مورد آزمون و خطا قرار دهید.
اگر نیاز به بهره‌مند شدن از این قابلیت دارید، بهترین کار استفاده از ابزار آنلاین Google Search Console است.
به کمک این ابزار خیلی راحت‌تر می‌توانید فایل robots.txt خود را مدیریت، ویرایش، اشکال‌زدایی و بروزرسانی کنید.
همچنین پیشنهاد می‌شود تا حد امکان از بروزرسانی پشت هم این فایل خودداری کنید.
بهترین کار این است که درست بعد از ساخت وب‌سایت، یک فایل کامل و نهایی از robots.txt تهیه کنید.
بروزرسانی‌های پیاپی این فایل اگرچه در روند فعالیت سایت شما به ظاهر تأثیر زیادی نخواهد گذاشت،
اما می‌تواند منجر به پیچیده شدن فرآیند دسترسی خزندگان و ربات‌ها به سایت شما شود.
مشاوره طراحی سایت
برای دریافت راهنمایی های مربوط به طراحی و بهینه سازی سایت،
می توانید از قبل با مشاوران ما در تماس باشید .
