فایل متنی Robots.txt برای موتور های جستجو

اگر شما مدیر یک وب سایت اینترنتی باشید احتمالاً با فایل Robot.txt برخورد کرده اید یا حداقل درباره آن شنیده اید در این مقاله می خواهیم کمی بیشتر درباره این فایل مزایای آن و بدفهمی هایی که در مورد آن وجود دارد صحبت کنیم. فایل Robot.txt  در حقیقت یک فایل متنی است که به موتور های جستجو می گوید کجا …