Robots.Txt File क्या है – Robots File कैसे बनाये

आज हम जानेंगे की Robots Txt File Kya Hai क्या होता है, इस फाइल को इस्तेमाल करने के फायदे क्या है, यह फाइल बनाते कैसे हैं, यह फाइल आप के कंटेंट को पढ़ने में गूगल की मदद कैसे करता है एवं इसका Role आपकी बनाई हुई वेबसाइट या ब्लॉग में इतना बड़ा रोल क्यों है.

जब आप किसी नई जगह पर घुमने जाते हो तो वहां आपको घुमाने के लिए एक गाइड होता है जो आपको बताता है की आपको उस जगह पर किस-किस जगह गुमने जा सकते हो और किस जगह पर नही ठीक इसी तरह से robots.txt file आपकी website की गाइड होती है तो आइये जानते है robots.txt file के बारे में.

Robots Txt File Kya Hai

Robots.Txt एक Simple Notepad की Text File की तरह ही होती है लेकिन किसी Blog या Website के लिए ये बहुत आवश्यक होती है क्योंकि जब कोई भी Search Engine आपकी Website या Blog पर आता है तो वो सबसे पहले Robots.Txt File को ही ढूंढता है क्योंकि Robots.Txt File ही Search Engine को बताती है की Website में किस-किस Web Pages और Folders को Crawl (देखना) है और किसे नही.

Robots Txt File Ka Use Kyo Karte Hai

आप ऊपर पढ़ कर ये जान ही गये होंगे की Robots.Txt File Kya Hai और शायद अब आप ये सोच रहें होंगे की हम क्यू Search Engine को अपनी Website के Pages को Search ( Crawl ) करने से रोकेंगे तो इसका जबाब ये की हर Website में कुछ Under Construction Pages या Folders जिनके अंदर कुछ गुप्त ( Sensitive ) जानकारी होती है जिनको Websites Owners किसी कारण की बजह से नही दिखाना चाहते इसलिए वे Robots.Txt File के जरिये Search Engines को उन Pages और Folders को Search करने से रोकते है.

• Read –  SEO Kya Hai – What is SEO in Hindi?
• Read – Search Engine क्या होता है और ये कैसे काम करता हैं?

Robots Txt File Kaise Banate Hai

Robots.Txt File को आपके Website के Root Folder (For Example: yourdomain.com/robot.txt) में बनाया जाता है. अगर आप इसे Edit करना चाहते है तो किसी भी Text Editor का आप Use कर सकते है आइये जानते है इसकी Commands के बारे में …

Basic Syntax for Robots Txt File

• User-Agent: [ उस Robot का नाम जिसके लिए आप ये Rules लिख रही हो ]
• Disallow: [ Page, Folder या Path यहाँ लिखे जिसे आप Hide करना चाहते हो ]
• Allow: [ Page, Folder या Path यहाँ लिखे जिसे आप Unhide करना चाहते हो ]

Example 1. Allow all search engine for crawling of everything

• User-agent: *
• Disallow:

Example 2. Disallow all search engine for crawling of everything

• User-agent: *
• Disallow: /

Example 3. Disallow all search engine for crawling of a specific folder

• User-agent: *
• Disallow: /foldername/

Example 4. Disallow all search engine for crawling of a specific file

• User-agent: *
• Disallow: /filename.html

Example 5. Disallow all search engine for crawling of a folder but allow the crawling of one file in that folder

• User-agent: *
• Disallow: /folderabc/
• Allow: /folderabc/xyzfile.html

Example 6. Allow only one specific robot access in website

• User-agent: *
• Disallow: /
• User-agent: Googlebot
• Disallow:

Example 7. To exclude a single robot

• User-agent: BadBotName
• Disallow: /

Example 8. Allow all search engine for crawling of sitemap file

• User-agent: *
• Sitemap: http://www.example.com/sitemap.xml

Example 9: WordPress Robots.txt File

• User-agent: *
• Disallow: /feed/
• Disallow: /trackback/
• Disallow: /wp-admin/
• Disallow: /wp-content/
• Disallow: /wp-includes/
• Disallow: /readme.html
• Disallow: /xmlrpc.php
• Allow: /wp-content/uploads/
• Sitemap: http://www.example.com/sitemap.xml

Tip – जिन Files को आप Crawl नही करना चाहते है या Hide करना चाहते हो उन्हें Robots.Txt File में अलग-अलग Disallow ना करें क्योंकि ऐसा करने से आप उन Files के बारे में सबको बता रहें है इसलिए उन्हें एक Folder के अंदर डाल कर उस Folder को Hide कर दें.

• Pinterest App क्या है – Pinterest Video Download कैसे करे
• Google Search Console क्या होता है – Ranking कैसे Check करे

Bots Kya Hai

एक ऐसा Software जिन्हें Internet पर Automated Tasks के लिए बनाया जाता है उन्हें हम Bots कहते है. Websites पर आधे से ज्यादा Traffic, Bots के जरिए ही आता है.

Bots भी 2 तरह के होते है Good Bots और Bad Bots तो आइए जानते है इनके बारे में:

Good Bots – ये Bots आपकी Websites और Users के लिए बहुत मददगार होती है ये Websites के Pages को Crawl करती है जिससे Search Engine Result Page में अच्छी Website को दिखाया जा सके इसके अलावा ये News Updates, Best Price on A Product, Copyrighted Content को ढूँढने में मदद करती हैं.

36% Web Traffic इन्ही Bots के जरिये आता है. Good Bots हमेशा आपकी Website पर मोजूद Robots.Txt File के Rules को Follow करते है: Googlebot, Bingbot, Slurp और Msnbot Good Bots के Example है.

Bad Bots – ये Bots आपकी Websites और Users के लिए बहुत नुकसानदायक होती है ये Websites के Data को चुराती है जैसे की Financial Data Users Personal Information, Website Admin Information इत्यादि.

Bad Bots Websites Bandwidth को बहुत ज्यादा Consume करके Server को Down कर देती है और ये Websites को पूरी तरह Damage कर देती है.

आशा करता हूँ की आपको Robots.Txt File Kya Hai Post पसंद आई होगी. अगर आपको इस Post से Related कोई सवाल या सुझाव है तो नीचे Comment करें और इस Post को अपने दोस्तों के साथ जरुर Share करें.