آموزش فایل robots.txt

فایل “robots.txt” به ربات موتور های جستجو کمک می کند تا به چه قسمت هایی دسترسی داشته باشند. این فایل، باید با نام robots.txt در شاخه روت (اصلی) سایت قرار گیرد.

تمامی ربات های موتور های جستجو در صورت مشاهده * نباید به پوشه های مشخص شده آن دسترسی داشته باشند.
شما ممکن است که تمایلی نداشته باشید بخشی از سایت شما توسط موتور های جستجو مشاهده شود.خب بهتر است از فایل robots.txt استفاده کنید.
موتور جستجوگر قبل از آنکه وارد سايتی شود، ابتدا فايل robots.txt را درخواست می کند و تمام محدوديت ھای پیشروی خود در آن سايت را می خواند. نبود اين فايل در يک سايت به معنای نبودن ھیچ گونه محدوديتی برای تمام اسپايدرھا است. (حالت پیشفرض)
موتور جستجوگر بعد از آنکه تمام فايل ھا و مسیرھای ممنوع را دانست. شروع به خواندن مطالب سايت می کند و البته به محدوديت ھای موجود نیز احترام می گذارد.(اگر يک اسپايدر مودب باشد.!)
عده ای از آنھا به طور کامل و صد در صد به محتوای اين فايل وفادار نیستند. مثال شکارچی را به ياد آوريد، آيا ھمه شکارچیان به تمام توصیه ھای زيست بانان عمل می کنند؟
روش های مناسب برایrobots.txt
از متد های فایل robots.txt به خوبی استفاده کنید – از تمامی قابلیت های این فایل برای دسترسی موتور های جستجو استفاده کنید. با این حال استفاده از تگ متا را در موارد خاص حتماً در نظر بگیرید. بهترین روش برای جلوگیری از دسترسی موتور های جستجو به پوشه های شما قرار دادن رمز برای پوشه ها توسط .htaccess است.
اجتناب کنید از:
- اجازه دهید موتور های جستجو شاخه های غیر ضروری شما را مشاهده کند.
- اجازه دهید که موتور های جستجو مطالب تکراری شما را که در بخش های دیگر سایت هستند را مشاهده کنند.
توجه: در فایل robots.txt فایل ها یا فولدر های امنیتی (ادمین، کانفیگ و …) را قرار ندهید.
تنظیم درست این فایل موجب بهبود رنک شما در گوگل و یا در دیگر موتور های جستو می شود.
نحوه ساخت فایل robots.txt
با استفاده از ویرایشگر های ویندوز خود مانند Notepad یک فایل با نام robots و با پسوند txt ایجاد کنید و در پایان کار این فایل را در روت یا پوشه ساب دامین آپلود کنید .
با اين دستور، روبوت ھا مشخص می شوند. روبوت (اسپايدر) ھر موتور جستجوگر نام مشخصی دارد و برای محدود کردن موتورھای جستجوگر کافی است که نام روبوت ھای مورد نظر را به ھمراه اين دستور به کار گیريم. اي دستور به صورت زير به کار می رود:
کد:
user-agent: robot name
به عنوان مثال وقتی که روبوت مورد نظر مربوط به گوگل است خواھیم داشت:
کد:
user-agent:googlebot
و ھمین طور اگر روبوت NorthernLight مورد نظر باشد،آنگاه:
کد:
user-agent:gulliver
با هر دستور user-agent تنها میتوان یک روبوت را مشخص کرد و اگر بخواهید برای تمامی ربوت ها ایجاد کنید به این شکل استفاده کنید :
کد:
*:User-agent
disallow
با اين دستور مسیرھای ممنوع مشخص می شوند که به صورت زير به کار می رود:
کد:
disallow:/path/
و مثال ھايي از آن به صورت زير می باشند:
کد:
disallow:/sales/ disallow:/shopping_card/
با ھر دستور disallow تنھا می توان يک مسیر را مشخص کرد و کابرد آن به صورت زير اشتباه است:
کد:
disallow:/sales/,/shopping/
برای محدود کردن ھر روبوت ابتدا آنرا مشخص کرده و سپستمام مسیرھای محدود شده برای آنرا ذکر می کنیم:
کد:
user-agent: googlebot disallow:/test/ disallow:/sales/
در مثال زير روبوت موتور جستجوگر آلتاويستا از دسترسی به فولدرھای 2 ، 1 و 33 ممنوع شده است:
کد:
user-agent: scooter diallow:/1/ disallow:/2/ disallow:/33/
و با دستور زير ھمه روبوت ھا می توانند محتوای تمام مسیرھا را بخوانند:
کد:
user-agent:* disallow:
حتی اگر سايت شما ھیچ گونه محدوديتی ندارد توصیه می شود که اين فايل را بر روی سرور خود قرار دھید. در اين صورت کافیست که به صورت زير عمل کنید:
کد:
user-agent:* http://tatcdn.tatweb.ir/wp-content/u...150.jpg?9d7bd4http://tatcdn.tatweb.ir/wp-content/u...150.jpg?9d7bd4


diallow:
بودن اين فايل به صورت ذکر شده و نبودن آن در ھر دو صورت برای موتورھای جستجوگر يک معنا دارد :
آزادی در دسترسی به محتوای سايت می تواند نشان از حرفه ای بودن سايت باشد و شايد در رتبه بندی سايت ھم مورد لحاظ قرار گیرد. robots.txt اما وجود آزادی در پرتو يک قانون بدون محدوديت بھتر است از آزادی ناشی از بی قانونی!
اگر مشکلی در ایجاد این فایل داشتید می توانید از سایت زیر کمک بگیرید.
http://www.seochat.com/seo-tools/robots-generator