Robots.txt file kya hai Aur Ise Kaise Banate Hai?

Robots.txt file kya hai

Hello Gyanians, आज हम सीखेंगे की Robots.txt file kya hai Aur Ise Kaise Banate Hai? जब आप किसी नई जगह पर घुमने जाते हो तो वहां आपको घुमाने के लिए एक गाइड होता है जो आपको बताता है की आपको उस जगह पर किस-किस जगह गुमने जा सकते हो और किस जगह पर नही ठीक इसी तरह से robots.txt file आपकी website की गाइड होती है तो आइये जानते है robots.txt file के बारे में ….

Robots.txt file kya hai?

Robots.txt एक simple notpad की text file की तरह ही होती है लेकिन किसी blog या website के लिए ये बहुत आवश्यक (important) होती है क्योंकि जब कोई भी search engine आपकी website या blog पर आता है तो वो सबसे पहले robots.txt file को ही ढूंढता है क्योंकि robots.txt file ही search engine को बताती है की website में किस-किस web pages और folders को crawl (देखना) है और किसे नही.

Robots.txt file Ka Use Kyon Karte Hai?

आप ऊपर पढ़ कर ये जान ही गये होंगे की robots.txt file kya hai और शायद अब आप ये सोच रहें होंगे की हम क्यू search engine को अपनी website के pages को search (crowl) करने से रोकेंगे तो इसका जबाब ये की हर website में कुछ under construction pages या folders जिनके अंदर कुछ गुप्त (sensitive) जानकारी होती है जिनको websites owners किसी कारण की बजह से नही दिखाना चाहते इसलिए वे robots.txt file के जरिये search engines को उन pages और folders को search करने से रोकते है.

Robots.txt file Kaise Banate Hai?

Robots.txt file को आपके website के root folder (for example yourdomain.com/robot.txt) में बनाया जाता है. अगर आप इसे edit करना चाहते है तो किसी भी text editor का आप use कर सकते है आइये जानते है इसकी commands के बारे में …

Basic syntax for robots.txt file

User-agent: [ उस robot का नाम जिसके लिए आप ये rules लिख रही हो ]

Disallow: [ page, folder या path यहाँ लिखे जिसे आप hide करना चाहते हो ]

Allow: [ page, folder या path यहाँ लिखे जिसे आप unhide करना चाहते हो ]

Example 1. Allow all search engine for crawling of everything

User-agent: *

Disallow:

Example 2. Disallow all search engine for crawling of everything

User-agent: *

Disallow: /

Example 3. Disallow all search engine for crawling of a specific folder

User-agent: *

Disallow: /foldername/

Example 4. Disallow all search engine for crawling of a specific file

User-agent: *

Disallow: /filename.html

Example 5. Disallow all search engine for crawling of a folder but allow the crawling of one file in that folder

User-agent: *

Disallow: /folderabc/

Allow: /folderabc/xyzfile.html

Example 6. Allow only one specific robot access in website

User-agent: *

Disallow: /

User-agent: Googlebot

Disallow:

Example 7. To exclude a single robot

User-agent: BadBotName

Disallow: /

Example 8. Allow all search engine for crawling of sitemap file

User-agent: *

Sitemap: http://www.example.com/sitemap.xml

Example 9: WordPress Robots.txt File

User-agent: *

Disallow: /feed/

Disallow: /trackback/

Disallow: /wp-admin/

Disallow: /wp-content/

Disallow: /wp-includes/

Disallow: /readme.html

Disallow: /xmlrpc.php

Allow: /wp-content/uploads/

Sitemap: http://www.example.com/sitemap.xml

Tip – जिन files को आप crawl नही करना चाहते है या hide करना चाहते हो उन्हें robots.txt file में अलग-अलग disallow ना करें क्योंकि ऐसा करने से आप उन files के बारे में सबको बता रहें है इसलिए उन्हें एक folder के अंदर डाल कर उस folder को hide कर दें.

Extra Information – क्या आप जानते है Good Bots and Bad Bots क्या है?

Good Bots vs Bad Bots hindi

ऐसे software जिन्हें internet पर automated tasks के लिए बनाया जाता है उन्हें हम bots कहते है. Websites पर आधे (half) से ज्यादा traffic bots के जरिये ही आता है लेकिन bots भी 2 तरह के होते है good bots और bad bots तो आइये जानते है इनके बारे में ….

Good Bots – ये bots आपकी websites और users के लिए बहुत मददगार होती है ये websites के pages को crawl करती है जिससे search engine result page में अच्छी website को दिखाया जा सके इसके अलावा ये news updates, best price on a product, copyrighted content को ढूँढने में मदद करती हैं. 36% web traffic इन्ही bots के जरिये आता है. good bots हमेशा आपकी website पर मोजूद robots.txt file के rules को follow करते है, Googlebot, bingbot, Slurp और msnbot good bots के example है.

Bad Bots – ये bots आपकी websites और users के लिए बहुत नुकसानदायक होती है ये websites के data को चुराती है जैसे की financial data users personal information, website admin information इत्यादि, Bad bots websites bandwidth को बहुत ज्यादा consume करके server को down कर देती है और ये websites को पूरी तरह damage कर देती है.

Hello Gyanians, आशा करता हूँ की आपको ” Robots.txt file kya hai Aur Ise Kaise Banate Hai? ” post पसंद आई होगी. अगर आपको इस post से related कोई सवाल या सुझाव है तो नीचे comment करें और इस post को अपने दोस्तों के साथ जरुर share करें.

12 responses to “Robots.txt file kya hai Aur Ise Kaise Banate Hai?”

  1. Mukesh Gupta says:

    Bahut achhi Jankari di aapne thanks bhai

  2. thank you for sharing this blog . very helpful for me.

  3. waseem says:

    good knowledge sharing sir very helpful article keep it up

  4. harry baliyan says:

    hello, sir
    jaankari acchi hai. kya mai practical/live dekh saktha hu.files banana(robot.txt)

  5. Akash Yadav says:

    Sir kya ap bata sakte hai ki mai ap jaise templete kaha se lagau mujhe bhi ap jaisa templete lagana hai mai new blogger hu

    • अगर आप WordPress पर हैं तो मेरी ये theme buy कर सकते हो और उसके लिए आप मुझें email कर देना.

Leave a Reply

Your email address will not be published. Required fields are marked *