آموزش سئو در مشهد

پوشه robots.txt یک پوشه متنی میباشد که وبمستران می بایست خودشان بسازند. آموزش سئو در مشهد این پوشه به ربات‌های موتورهای کاوش دستور میدهد کدام صفحه های اینترنت را خزش کرده یا این که کدام صفحه ها را نباید خزش نمایند. طبق پروتکل REP (Robots Exclusion Protocol) استانداردهایی برای ساماندهی به موقعیت خزیدن اینترنت به وسیله ربات‌ها، دسترسی به صفحه های اینترنت و ایندکس کردن آنان برای دسترسی یوزرها رقم خورده میباشد. فولدر robots.txt و لینک و پیوند‌های فالو و نوفالو نیز بخشی از پروتکل REP میباشند.

اوامر قابل پناه در پوشه robots.txt
کلاً پنج فرمان اصلی در فولدر robots.txt وجود دارااست که به‌دنبال با آن ها آشنا خواهید شد:

امر user-agent
امر user-agent به تنهایی نمی‌تواند یک امر بدون نقص باشد، بلکه بایستی در کنار یکی سه امر آتی استعمال شود. این امر نوع رباتی که بایستی از امرها آینده اطاعت نماید را معین می‌نماید.
به عنوان مثال در صورتی‌که قصد داشته باشید برای ربات‌های گوگل دستوری صادر فرمایید، اسم ربات‌های گوگل (googlebot) را می‌نویسید. هم‌اینگونه در حالتی که فرمان برای مجموع ربات‌هاست بایستی در مقابل user-agent: از نشانه ستاره (*) استعمال شود.

امر disallow
بعداز اینکه ربات‌های موردنظر معین شدند، وقت آن میباشد تا برایشان فرمان صادر خواهد شد. فرمان disallow در معنای «اذن ندادن» میباشد. به این ترتیب طبعاً می بایست صفحاتی را که ربات نام برده نباید کرول نماید (بخزد) را در مقابل آن نوشت. اعتنا داشته باشید که روت دامین نباید نوشته گردد و تنها بعداز اسلش را بنویسید. نکته دیگر این‌که، در صورتی‌که قصد دارید یک‌سری شیت را disallow فرمایید، بایستی یک‌سری فرمان disallow بنویسید. به نمونه پایین دقت فرمایید:
User-agent: *
Disallow: /products/content/
Disallow: /local/enterprise/confirm
Disallow: /researchtools/ose/
Disallow: /page-strength/*
Disallow: /thumbs/*

فرمان allow
فرمان allow در معنای اذن دادن میباشد و همان گونه که پیش بینی می‌زنید به ربات‌های مشخص و معلوم‌گردیده اذن می دهد صفحاتی را که در مقابل این امر نوشته میشوند بخزند.
ولی تایپ کردن این فرمان ضرورتی ندارد؛ چراکه ربات‌ها به طور پیش‌فرض مجموع صفحه های وبسایت را میخزند. با این اکنون برخی وبمستران برای تأکید بر برخی صفحه های سایتشان، از امر allow به کار گیری می‌نمایند. طرز استعمال از امر allow نیز دقیقاً مانند فرمان disallow میباشد.

پوشه robots.txt یک پوشه متنی میباشد که وبمستران می بایست خودشان بسازند. آموزش سئو در مشهد این پوشه به ربات‌های موتورهای کاوش دستور میدهد کدام صفحه های اینترنت را خزش کرده یا این که کدام صفحه ها را نباید خزش نمایند. طبق پروتکل REP (Robots Exclusion Protocol) استانداردهایی برای ساماندهی به موقعیت خزیدن اینترنت به وسیله ربات‌ها، دسترسی به صفحه های اینترنت و ایندکس کردن آنان برای دسترسی یوزرها رقم خورده میباشد. فولدر robots.txt و لینک و پیوند‌های فالو و نوفالو نیز بخشی از پروتکل REP میباشند.

اوامر قابل پناه در پوشه robots.txt
کلاً پنج فرمان اصلی در فولدر robots.txt وجود دارااست که به‌دنبال با آن ها آشنا خواهید شد:

امر user-agent
امر user-agent به تنهایی نمی‌تواند یک امر بدون نقص باشد، بلکه بایستی در کنار یکی سه امر آتی استعمال شود. این امر نوع رباتی که بایستی از امرها آینده اطاعت نماید را معین می‌نماید.
به عنوان مثال در صورتی‌که قصد داشته باشید برای ربات‌های گوگل دستوری صادر فرمایید، اسم ربات‌های گوگل (googlebot) را می‌نویسید. هم‌اینگونه در حالتی که فرمان برای مجموع ربات‌هاست بایستی در مقابل user-agent: از نشانه ستاره (*) استعمال شود.

امر disallow
بعداز اینکه ربات‌های موردنظر معین شدند، وقت آن میباشد تا برایشان فرمان صادر خواهد شد. فرمان disallow در معنای «اذن ندادن» میباشد. به این ترتیب طبعاً می بایست صفحاتی را که ربات نام برده نباید کرول نماید (بخزد) را در مقابل آن نوشت. اعتنا داشته باشید که روت دامین نباید نوشته گردد و تنها بعداز اسلش را بنویسید. نکته دیگر این‌که، در صورتی‌که قصد دارید یک‌سری شیت را disallow فرمایید، بایستی یک‌سری فرمان disallow بنویسید. به نمونه پایین دقت فرمایید:
User-agent: *
Disallow: /products/content/
Disallow: /local/enterprise/confirm
Disallow: /researchtools/ose/
Disallow: /page-strength/*
Disallow: /thumbs/*

فرمان allow
فرمان allow در معنای اذن دادن میباشد و همان گونه که پیش بینی می‌زنید به ربات‌های مشخص و معلوم‌گردیده اذن می دهد صفحاتی را که در مقابل این امر نوشته میشوند بخزند.
ولی تایپ کردن این فرمان ضرورتی ندارد؛ چراکه ربات‌ها به طور پیش‌فرض مجموع صفحه های وبسایت را میخزند. با این اکنون برخی وبمستران برای تأکید بر برخی صفحه های سایتشان، از امر allow به کار گیری می‌نمایند. طرز استعمال از امر allow نیز دقیقاً مانند فرمان disallow میباشد.