فایل Robots.txt چیست؟ آیا باعث پنالتی وبسایت میشود؟

با Robots.txt و پنالتی احتمالی آن آشنا شوید!

سلام دوست خوب رایا وردپرس

اگر جزو وبمسترهای حرفه ای باشید پس مطمئناً با فایل Robots.txt آشنایی کاملی دارید و اگر هم جزو کسانی هستید که به تازگی با سئو آشنا شدید پس اسم فایل Robots.txt را شنیده اید. ما امروز قصد داریم بگیم این فایل چه کاربردی دارد و چطوری استفاده ی نادرست از آن می تواند باعث پنالتی شدن سایت شود.

در ادامه با ما همراه باشید …

 

فایل  Robots.txt چیست؟

فایل Robots.txt به ربات های گوگل می گوید که چه صفحه ای از سایت شما را ببینند و چه صفحه ای را نبینند این یک تعریف خیلی ساده از فایل Robots.txt بود.

فایل Robots.txt چیست

نحوه ی کارکرد Robots.txt چگونه است؟

فایل Robots.txt برای مدیریت کردن ربات ها یا خزنده های گوگل از ۲ قانون استفاده می کند:

User-agent: نوع ربات گوگل را نشان می دهد که نباید به صفحه ای دسترسی داشته باشد

Disallow: آدرس صفحه ای را نشان می دهد که نمی خواهید گوگل ببیند.

با ترکیب دو دستور بالا قوانین جدیدی برای دسترسی به سایت تان می توانید ایجاد کنید.

 

برای مثال دستور زیر به یک ربات معروف گوگل به نام Googlebot که وظیفه بررسی و ایندکس صفحات را دارد می گوید که پوشه folder2 را نبیند.

User-Agent: Googlebot

Disallow: /folder2/

برای محدود کردن یک صفحه ی خاص سایت، تصویر و پوشه،  آدرس صفحه، آدرس تصویر و نام دقیق پوشه را جلوی دستور Disallow وارد کنید. دقت کنید وقتی دسترسی ربات گوگل به پوشه ای را می بندید دسترسی به تمام زیر شاخه های آن نیز محدود خواهد شد.

 

به عنوان مثال با دستور زیر دسترسی ربات گوگل به پوشه ی wp-content و تمام زیر شاخه ها بسته شده است.

disallow: /wp-content/plugins

اگر بخواهیم در پوشه ی wp-content دسترسی به پوشه ای را باز کنیم به صورت زیر عمل می کنیم:

allow: /wp-includes/js/

 

ارتباط فایل Robots.txt با پنالتی شدن چیست؟

اگر شما دسترسی به پوشه ای ( برای مثال پلاگین ) را بستید که در بارگذاری سایت، وجود یک سری پلاگین ها تاثیرگذار بوده است عملاً گوگل نمی تواند آن صفحه را به خوبی که کاربر می بیند مشاهده کند برای همین گوگل سایت شما را از نظر امنیتی بررسی و ممکن است جریمه کند.

نکته: اگر می خواهید ربات های گوگل، صفحه ای را ایندکس نکنند از متاتگ Noindex استفاده کنید نه اینکه از طریق فایل Robots.txt دسترسی به آن صفحه را ببندید.

 

پنالتی شدن سایت توسط گوگل دلایل مختلفی مثل خریدن بک لینک، استفاده بیش از حد در یک صفحه از تگ های H1 و H2، خطاهای ۴۰۴ داخل سایت، استفاده ی بیش از حد از کلمات کلیدی، محتوای کپی و….  می تواند داشته باشد که یکی از آن دلایل ممکن است به فایل  Robots.txt ارتباط داشته باشد.

پنالتی شدن سایت در گوگل

جمع بندی!

ما در این مقاله اشاره کردیم که فایل Robots.txt به ربات های گوگل می گوید که به کدام صفحات و پوشه ها دسترسی داشته باشند و به کدام ها نداشته باشند و همین طور گفتیم که محدود کردن پوشه ای که تاثیر زیادی در بارگذاری فایلی در سایت دارد ممکن است به پنالتی شدن سایت منجر شود.

امیدواریم مقاله ی امروز برای شما همراهان عزیز  رایا وردپرس مفید بوده باشد…..

شاید مقاله ی زیر برای شما مفید باشد:

ایندکس سریع مطالب در گوگل (کمتر از یک دقیقه)

راستی! ما در کانال تلگرام آموزش ها و مطالب انگیزشی خوبی برای کسب و کار و زندگیتون داریم!
خوشحال می‌شیم به ما محلق شید :) کانال تلگرام رایا وردپرس



1 ستاره2 ستاره3 ستاره4 ستاره5 ستاره
Loading...

سیده حکیمه سیدی

سلام. بنده کارشناس ارشد مهندسی آی تی گرایش تجارت الکترونیک هستم و نزدیک به 4 سال هست که تو زمینه وردپرس فعالیت میکنم. خوشحال هستم در کنار تیم رایا وردپرس به تولید محتوای آموزشی وردپرس مشغولم.

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *