Robots.txt file क्या है रोबोट फाइल कैसे बनाये

आज हम सीखेंगे की Robots.txt file kya hai जब आप किसी नई जगह पर घुमने जाते हो तो वहां आपको घुमाने के लिए एक गाइड होता है जो आपको बताता है की आपको उस जगह पर किस-किस जगह गुमने जा सकते हो और किस जगह पर नही ठीक इसी तरह से robots.txt file आपकी website की गाइड होती है तो आइये जानते है robots.txt file के बारे में.

Robots.txt file kya hai

Robots.txt एक simple notpad की text file की तरह ही होती है लेकिन किसी blog या website के लिए ये बहुत आवश्यक (important) होती है क्योंकि जब कोई भी search engine आपकी website या blog पर आता है तो वो सबसे पहले robots.txt file को ही ढूंढता है क्योंकि robots.txt file ही search engine को बताती है की website में किस-किस web pages और folders को crawl (देखना) है और किसे नही.

Robots.txt file Ka Use Kyon Karte Hai

आप ऊपर पढ़ कर ये जान ही गये होंगे की robots.txt file kya hai और शायद अब आप ये सोच रहें होंगे की हम क्यू search engine को अपनी website के pages को search (crowl) करने से रोकेंगे तो इसका जबाब ये की हर website में कुछ under construction pages या folders जिनके अंदर कुछ गुप्त (sensitive) जानकारी होती है जिनको websites owners किसी कारण की बजह से नही दिखाना चाहते इसलिए वे robots.txt file के जरिये search engines को उन pages और folders को search करने से रोकते है.

• Read –  SEO Kya Hai – What is SEO in Hindi?
• Read – Search Engine क्या होता है और ये कैसे काम करता हैं?

Robots.txt file Kaise Banate Hai?

Robots.txt file को आपके website के root folder (for example yourdomain.com/robot.txt) में बनाया जाता है. अगर आप इसे edit करना चाहते है तो किसी भी text editor का आप use कर सकते है आइये जानते है इसकी commands के बारे में …

Basic syntax for robots.txt file

User-agent: [ उस robot का नाम जिसके लिए आप ये rules लिख रही हो ]

Disallow: [ page, folder या path यहाँ लिखे जिसे आप hide करना चाहते हो ]

Allow: [ page, folder या path यहाँ लिखे जिसे आप unhide करना चाहते हो ]

Example 1. Allow all search engine for crawling of everything

User-agent: *

Disallow:

Example 2. Disallow all search engine for crawling of everything

User-agent: *

Disallow: /

Example 3. Disallow all search engine for crawling of a specific folder

User-agent: *

Disallow: /foldername/

Example 4. Disallow all search engine for crawling of a specific file

User-agent: *

Disallow: /filename.html

Example 5. Disallow all search engine for crawling of a folder but allow the crawling of one file in that folder

User-agent: *

Disallow: /folderabc/

Allow: /folderabc/xyzfile.html

Example 6. Allow only one specific robot access in website

User-agent: *

Disallow: /

User-agent: Googlebot

Disallow:

Example 7. To exclude a single robot

User-agent: BadBotName

Disallow: /

Example 8. Allow all search engine for crawling of sitemap file

User-agent: *

Sitemap: http://www.example.com/sitemap.xml

Example 9: WordPress Robots.txt File

User-agent: *

Disallow: /feed/

Disallow: /trackback/

Disallow: /wp-admin/

Disallow: /wp-content/

Disallow: /wp-includes/

Disallow: /readme.html

Disallow: /xmlrpc.php

Allow: /wp-content/uploads/

Sitemap: http://www.example.com/sitemap.xml

Tip – जिन files को आप crawl नही करना चाहते है या hide करना चाहते हो उन्हें robots.txt file में अलग-अलग disallow ना करें क्योंकि ऐसा करने से आप उन files के बारे में सबको बता रहें है इसलिए उन्हें एक folder के अंदर डाल कर उस folder को hide कर दें.

• Pinterest App क्या है – Pinterest Video Download कैसे करे

Bot Kya Hai

ऐसे software जिन्हें internet पर automated tasks के लिए बनाया जाता है उन्हें हम bots कहते है. Websites पर आधे (half) से ज्यादा traffic bots के जरिये ही आता है लेकिन bots भी 2 तरह के होते है good bots और bad bots तो आइये जानते है इनके बारे में ….

Good Bots – ये bots आपकी websites और users के लिए बहुत मददगार होती है ये websites के pages को crawl करती है जिससे search engine result page में अच्छी website को दिखाया जा सके इसके अलावा ये news updates, best price on a product, copyrighted content को ढूँढने में मदद करती हैं. 36% web traffic इन्ही bots के जरिये आता है. good bots हमेशा आपकी website पर मोजूद robots.txt file के rules को follow करते है, Googlebot, bingbot, Slurp और msnbot good bots के example है.

Bad Bots – ये bots आपकी websites और users के लिए बहुत नुकसानदायक होती है ये websites के data को चुराती है जैसे की financial data users personal information, website admin information इत्यादि, Bad bots websites bandwidth को बहुत ज्यादा consume करके server को down कर देती है और ये websites को पूरी तरह damage कर देती है.

आशा करता हूँ की आपको Robots.txt file kya hai post पसंद आई होगी. अगर आपको इस post से related कोई सवाल या सुझाव है तो नीचे comment करें और इस post को अपने दोस्तों के साथ जरुर share करें.