ماانواع الخطوط وكيف يتم اختيار الخطوط المناسبة للتصميم؟

ماهي ملفات الروبوتس وماهي فائدتها؟ وكيف يمكن انشائها بشكل صحيح؟

ماهو ملف robots.txt وماهي فائدته ؟

هو ملف يقوم بإعطاء تعليمات لتنظيم أرشفة المواقع في محركات البحث ووظيفته الرئيسية هي أبعاد عناكب محركات البحث مثل جوجل عن الملفات الحساسة في الموقع والتي لا يجب أن تقوم محركات البحث بأرشفتها, مثل صفحات الدخول الخاصة بإداراة المواقع و الأرشيف, وتوجيه العناكب بدلا من ذلك إلى الصفحات المهمة لأرشفتها مثل المقالات والمواضيع والصفحات.

كيف أقوم بإنشاء ملف robots.txt بشكل صحيح؟

يكون الشكل العام لملفات الروبوتس كالتالي:

User-agent: *

Disallow: /search

Allow: /

Sitemap: https://www.desgano.com/sitemap.xml

بحيث تعني الكلمة التي باللون الاحمر ماهو اسم العناكب التي تود منعها او السماح لها بحيث يوجد هناك عدد كبير من العناكب يمكن الإطلاع عليها من هنا ويعبر رمز ال * عن الجميع.

وتعني الكلمة باللون الازرق عدم السماح للعناكب الوارد اسمها في السطر الاول بالدخول إلى العنوان او المجلد الموجود بعدها باللون البنفسجي.

وتعني الكلمة باللون الاخضر اي السماح  للعناكب الوارد اسمها في السطر الاول بالدخول إلى العنوان او المجلد الموجود بعدها وهنا يتوجب علينا وضع خريطة الموقع الخاصة بنا.

تخصيص ملف robots.txt

ولكي تقوم بإنشاء وتخصيص ملف الروبوتس الخاص بموقعك اولا عليك ان تقوم بتعيين جميع الصفحات التي لا تريد من العناكب أن تقوم بأرشفتها وتضعها بعد Disallow, حيث تختلف روابط الادارة في حال كنت تستخدم منصة بلوجر أو منصة اخرى.

من اجل القيام باستدعاء عناكب الصور والجوال لأرشفة الموقع, نقوم بذلك عن طريق نفس الأوامر, حيث Googlebot-Image هي عناكب الصور وGooglebot-mobile هي عناكب الجوال, وستستمح لهم بأرشفة كل موقعك وذلك عبر Allow

بعد ذلك ستقوم بأدخال رابط خريطة موقعك في نهاية الملف sitemap: www.example.com/sitemap.xml

مثال:

لنفترض أن موقعك لديه لوحة تحكم على الرابط:

 www.website.com/admin

ويمكنك التحكم بالصور والفيديوهات والملفات من خلال الروابط التالية:

www.website.com/admin/images

www.website.com/admin/videos

www.website.com/admin/files

لا تقلق لن تقوم بكتابة أمر عدم السماح للعناكب بالدخول لجميع هذه الصفحات بشكل منفصل, ولكن ستوضح لعناكب البحث أن كل صفحة لها علاقة بالادمن أو يحتوي رابطها على كلمة admin لا تأرشفها وابتعد عنها, ليصبح شكل الملف :

User-agent: *

Disallow: /admin

Allow: /

Sitemap: https://www.desgano.com/sitemap.xml

ملاحظة: لا تقم بحجب أي ملفات ضرورية لعمل الموقع مثل ملفات الجافا سكربت أو ملفات CSS لأن عناكب البحث لن تستطيع رؤية موقعك بشكل جيد, واسمح لعناكب البحث بالوصول للملفات من شئنها تحسين الموقع للحصول على ارشفة افضل.

 User-agent: * 

Disallow: /

تعني منع جميع المنصات من الوصول الى عنوان او عناوين ما

User-agent: Googlebot 

Disallow: /example-subfolder/

منع عناكب بحث جوجل من الوصول الى مجلد معين في الموقع

User-agent: Bingbot

Disallow: /example-subfolder/blocked-page.html

منع عناكب بحث بينغ من الوصول الى صفحة ويب معينة

كيف أقوم برفع ملف الروبوتس robots.txt إلى موقعي؟

تختلف طريقة رفع الملف حسب المنصة التي تقوم باستخدامها فمثلا اذا كنت تستخدم بلوجر يمكن اضافة ملف robots.txt من خلال اعدادات > تفضيلات البحث > ملف robots.txt وتقوم بالضغط على نعم ولصق نص الكود الذي كتبته.

اذا كانت منصة اخرى من خلال السي بانل قم برفعه على المجلد الرئيسي لموقعك, حيث تكون قد حفظت الملف على سطح المكتب بأسم robots.txt, ليصبح هناك صفحة خاصة بموقعك فيها هذه الملف, www.yoursite.com/robots.txt

ثم أذهب إلى أدوات مشرفي المواقع Google webmasters tools, وأدخل إلى أداة فحص ملف الروبوت, قم بأدخال المسار الملف “الرابط”, ثم أضغط على Test أو فحص, ثم شاهد النتائج.

الآن وبعد ان قمت بعمل هذا الملف ورفعه على موقعك ستقوم العناكب الآن بالدخول إلى موقعك بشكل سليم ولكنها لن تقوم بأرشفة الصفحات التي قمت بمنعها.