مرجع سئو سایت حرفه ای

User-agentبه این معناست که آحاد نصیب‌های تارنما برای ربات‌ها و خزندگان موتورهای جستجو قابل دسترسی هستند. چنانچه که قصد داشته باشید اطلاعات محرمانه خود را صرفا برای یک ربات خاص مشخص فرمایید، بایستی به جای ستاره، نام دقیق آن ربات را جایگزین فرمائید. در‌این حالت‌ فقط آن ربات اجازه دسترسی به صفحه های تارنما شما‌را دارد
Disallow & Allow
بعداز آنکه با راهبرد User-agent مشخص شد که کدام ربات‌ها اجازه دسترسی به سایت را دارند، با Disallow & Allow می‌اقتدار انتخاب کرد که این ربات‌ها کدام صفحات را ایندکس کنند. مورد Allow به معنای امکان دسترسی و کد Disallow به منزله محدود‌سازی دسترسی ربات‌ها هست.
در صورتیکه میخواهید به آحاد ربات‌ها دسترسی کامل بدهید، بایستی کد Allow را در پوشه Robot.txt درج فرمایید. با این فعالیت به ربات‌ها اعلام میشود که هر برگه‌ای را که بخواهند می‌توانند بازدید و ایندکس کنند. به طور برعکس، با سکو فرمان Disallow در فولدر robots.txt، به ربات‌ها می‌فهمانید که اجازه بازدید سئو در مشهد از هیچ کاغذ‌ای در‌این سایت را ندارند.
همچنین شما با امر Disallow & Allow این قابلیت و امکان را دارید که پوشه‌ها، مسیرها و آدرس‌های خود را به صورت انتخابی در دسترس قرار دهید. از جملهً مواردی که کد Disallow در کنار آن‌ها درج گردیده است، برای دسترسی ربات‌ها محدود هستند و مواردی هم که قبل از آن کد Allow وجود دارد، قابل دسترس خواهند بود. به این ترتیب خیلی وا رفته و سریع می اقتدار تمام دسترسی‌ها را با این دستورات، مدیریت کرد.
Crawl-delay
شیوه نامه Crawl-delay یا نرخ تعقل، این قابلیت و امکان را برای شما آماده می‌سازد تا به ربات‌های موتورهای جستجو بگویید که بازرسی و ایندکس صفحه های را به وهله و با مقدار زمان معین شده توسط شما ایفا دهند. برای مثال، با قرار دادن این کد در فایل robot.txt شما به برخی موتور‌های جستجو مثل بینگ و یاهو اعلام می کنید که بعد از ایندکس هر ورقه، 10 ثانیه شکیبایی کنند و آن‌گاه ایندکس کاغذ آجل را شروع نمایند. ولی عدد 10 ثانیه قابل تغییر و تحول است و قادر است بر پایه ی با خواست شما معدود یا زیاد گردد.
Site map
فرمان‌العمل وب سایت مپ یا نقشه وب سایت، به موتورهای جستجو می‌فهماند که فایل XML نقشه سایت را چه‌گونه پیدا کرده است. با اینکه برای ثبت نقشه وبسایت در موتورهای جستجو طریق‌های متعددی مثل از ابزارهای وبمستری موتورهای جستجو وجود دارااست، اما این‌راه یکی‌از شیوه‌های سهل و آسان و نادر دردسر هست. با این درحال حاضر، زمانی که تصمیم به به کار گیری از این‌راه گرفتید، کد دستوری ذیل را در پوشه robots.txt اضافه کنید.
Site map: https:// example.com/ site map.xml
همان‌طور که در مثال بالا هم کاملاً مشخص است، بایستی آدرس دقیق نقشه وبسایت در آن وارد شود.
چه طور فولدر robots.txt بسازیم؟
پیش از ساخت پوشه robots.txt شروع استیناف نمایید که این فولدر متنی در سرور سایت شما وجود دارااست یا خیر. برای مشخص شدن این گزینه، آدرس www. Example.com/robots.txt را تایپ کنید. در صورتی‌که ارور 404 به شما نشانه داده شد، بدین معنا می‌باشد که این فایل تا قبل از این ساخته نشده می‌باشد.
برای ساخت یک فولدر متنی، در لاین اول user agent قراردارد که به شما می گوید میخواهید از کدام وب سایت کاوش گر استفاده کنید. در شرایطی که که میخواهید از گوگل امداد بگیرید، می بایست در جلوی آن googlebot درج شود؛ اما در‌حالتی که می‌خواهید همه ربات‌ها اجازه دسترسی به وب سایت شما را داشته باشند، قبل از آن آرم استار را قرار دهید. در مرحله آتی می بایست کدهای Allow و Disallow نوشته شوند.
به کار گیری از این کدها برای مواقعی می باشد مدیران وبسایت‌ها دوست نداشته باشند گوگل به آحاد بخش‌های تارنما آنها دسترسی پیدا کند؛ بنابراین یک محدودیت و حریم برای آن قائل میشوند. مایحتاج می‌باشد بدانید که در‌حالتی که می‌خواهید وبسایت شما به طور کامل در گوگل نمایش داده خواهد شد، باید نقشه وب سایت را در robots.txt قرار دهید تا گوگل بتواند به نقشه سایت شما دسترسی داشته و محدودیت‌ها را برای بازدیدکنندگان از وبسایت نمایش دهد.

User-agentبه این معناست که آحاد نصیب‌های تارنما برای ربات‌ها و خزندگان موتورهای جستجو قابل دسترسی هستند. چنانچه که قصد داشته باشید اطلاعات محرمانه خود را صرفا برای یک ربات خاص مشخص فرمایید، بایستی به جای ستاره، نام دقیق آن ربات را جایگزین فرمائید. در‌این حالت‌ فقط آن ربات اجازه دسترسی به صفحه های تارنما شما‌را دارد
Disallow & Allow
بعداز آنکه با راهبرد User-agent مشخص شد که کدام ربات‌ها اجازه دسترسی به سایت را دارند، با Disallow & Allow می‌اقتدار انتخاب کرد که این ربات‌ها کدام صفحات را ایندکس کنند. مورد Allow به معنای امکان دسترسی و کد Disallow به منزله محدود‌سازی دسترسی ربات‌ها هست.
در صورتیکه میخواهید به آحاد ربات‌ها دسترسی کامل بدهید، بایستی کد Allow را در پوشه Robot.txt درج فرمایید. با این فعالیت به ربات‌ها اعلام میشود که هر برگه‌ای را که بخواهند می‌توانند بازدید و ایندکس کنند. به طور برعکس، با سکو فرمان Disallow در فولدر robots.txt، به ربات‌ها می‌فهمانید که اجازه بازدید سئو در مشهد از هیچ کاغذ‌ای در‌این سایت را ندارند.
همچنین شما با امر Disallow & Allow این قابلیت و امکان را دارید که پوشه‌ها، مسیرها و آدرس‌های خود را به صورت انتخابی در دسترس قرار دهید. از جملهً مواردی که کد Disallow در کنار آن‌ها درج گردیده است، برای دسترسی ربات‌ها محدود هستند و مواردی هم که قبل از آن کد Allow وجود دارد، قابل دسترس خواهند بود. به این ترتیب خیلی وا رفته و سریع می اقتدار تمام دسترسی‌ها را با این دستورات، مدیریت کرد.
Crawl-delay
شیوه نامه Crawl-delay یا نرخ تعقل، این قابلیت و امکان را برای شما آماده می‌سازد تا به ربات‌های موتورهای جستجو بگویید که بازرسی و ایندکس صفحه های را به وهله و با مقدار زمان معین شده توسط شما ایفا دهند. برای مثال، با قرار دادن این کد در فایل robot.txt شما به برخی موتور‌های جستجو مثل بینگ و یاهو اعلام می کنید که بعد از ایندکس هر ورقه، 10 ثانیه شکیبایی کنند و آن‌گاه ایندکس کاغذ آجل را شروع نمایند. ولی عدد 10 ثانیه قابل تغییر و تحول است و قادر است بر پایه ی با خواست شما معدود یا زیاد گردد.
Site map
فرمان‌العمل وب سایت مپ یا نقشه وب سایت، به موتورهای جستجو می‌فهماند که فایل XML نقشه سایت را چه‌گونه پیدا کرده است. با اینکه برای ثبت نقشه وبسایت در موتورهای جستجو طریق‌های متعددی مثل از ابزارهای وبمستری موتورهای جستجو وجود دارااست، اما این‌راه یکی‌از شیوه‌های سهل و آسان و نادر دردسر هست. با این درحال حاضر، زمانی که تصمیم به به کار گیری از این‌راه گرفتید، کد دستوری ذیل را در پوشه robots.txt اضافه کنید.
Site map: https:// example.com/ site map.xml
همان‌طور که در مثال بالا هم کاملاً مشخص است، بایستی آدرس دقیق نقشه وبسایت در آن وارد شود.
چه طور فولدر robots.txt بسازیم؟
پیش از ساخت پوشه robots.txt شروع استیناف نمایید که این فولدر متنی در سرور سایت شما وجود دارااست یا خیر. برای مشخص شدن این گزینه، آدرس www. Example.com/robots.txt را تایپ کنید. در صورتی‌که ارور 404 به شما نشانه داده شد، بدین معنا می‌باشد که این فایل تا قبل از این ساخته نشده می‌باشد.
برای ساخت یک فولدر متنی، در لاین اول user agent قراردارد که به شما می گوید میخواهید از کدام وب سایت کاوش گر استفاده کنید. در شرایطی که که میخواهید از گوگل امداد بگیرید، می بایست در جلوی آن googlebot درج شود؛ اما در‌حالتی که می‌خواهید همه ربات‌ها اجازه دسترسی به وب سایت شما را داشته باشند، قبل از آن آرم استار را قرار دهید. در مرحله آتی می بایست کدهای Allow و Disallow نوشته شوند.
به کار گیری از این کدها برای مواقعی می باشد مدیران وبسایت‌ها دوست نداشته باشند گوگل به آحاد بخش‌های تارنما آنها دسترسی پیدا کند؛ بنابراین یک محدودیت و حریم برای آن قائل میشوند. مایحتاج می‌باشد بدانید که در‌حالتی که می‌خواهید وبسایت شما به طور کامل در گوگل نمایش داده خواهد شد، باید نقشه وب سایت را در robots.txt قرار دهید تا گوگل بتواند به نقشه سایت شما دسترسی داشته و محدودیت‌ها را برای بازدیدکنندگان از وبسایت نمایش دهد.