Robots.txt file क्या है रोबोट फाइल कैसे बनाये

आज हम सीखेंगे की Robots.txt file kya hai जब आप किसी नई जगह पर घुमने जाते हो तो वहां आपको घुमाने के लिए एक गाइड होता है जो आपको बताता है की आपको उस जगह पर किस-किस जगह गुमने जा सकते हो और किस जगह पर नही ठीक इसी तरह से robots.txt file आपकी website की गाइड होती है तो आइये जानते है robots.txt file के बारे में.

Robot.txt file kya hai

Robots.txt file kya hai

Robots.txt एक simple notpad की text file की तरह ही होती है लेकिन किसी blog या website के लिए ये बहुत आवश्यक (important) होती है क्योंकि जब कोई भी search engine आपकी website या blog पर आता है तो वो सबसे पहले robots.txt file को ही ढूंढता है क्योंकि robots.txt file ही search engine को बताती है की website में किस-किस web pages और folders को crawl (देखना) है और किसे नही.

Robots.txt file Ka Use Kyon Karte Hai

आप ऊपर पढ़ कर ये जान ही गये होंगे की robots.txt file kya hai और शायद अब आप ये सोच रहें होंगे की हम क्यू search engine को अपनी website के pages को search (crowl) करने से रोकेंगे तो इसका जबाब ये की हर website में कुछ under construction pages या folders जिनके अंदर कुछ गुप्त (sensitive) जानकारी होती है जिनको websites owners किसी कारण की बजह से नही दिखाना चाहते इसलिए वे robots.txt file के जरिये search engines को उन pages और folders को search करने से रोकते है.

Robots.txt file Kaise Banate Hai?

Robots.txt file को आपके website के root folder (for example yourdomain.com/robot.txt) में बनाया जाता है. अगर आप इसे edit करना चाहते है तो किसी भी text editor का आप use कर सकते है आइये जानते है इसकी commands के बारे में …

Basic syntax for robots.txt file

User-agent: [ उस robot का नाम जिसके लिए आप ये rules लिख रही हो ]

Disallow: [ page, folder या path यहाँ लिखे जिसे आप hide करना चाहते हो ]

Allow: [ page, folder या path यहाँ लिखे जिसे आप unhide करना चाहते हो ]

Example 1. Allow all search engine for crawling of everything

User-agent: *

Disallow:

Example 2. Disallow all search engine for crawling of everything

User-agent: *

Disallow: /

Example 3. Disallow all search engine for crawling of a specific folder

User-agent: *

Disallow: /foldername/

Example 4. Disallow all search engine for crawling of a specific file

User-agent: *

Disallow: /filename.html

Example 5. Disallow all search engine for crawling of a folder but allow the crawling of one file in that folder

User-agent: *

Disallow: /folderabc/

Allow: /folderabc/xyzfile.html

Example 6. Allow only one specific robot access in website

User-agent: *

Disallow: /

User-agent: Googlebot

Disallow:

Example 7. To exclude a single robot

User-agent: BadBotName

Disallow: /

Example 8. Allow all search engine for crawling of sitemap file

User-agent: *

Sitemap: http://www.example.com/sitemap.xml

Example 9: WordPress Robots.txt File

User-agent: *

Disallow: /feed/

Disallow: /trackback/

Disallow: /wp-admin/

Disallow: /wp-content/

Disallow: /wp-includes/

Disallow: /readme.html

Disallow: /xmlrpc.php

Allow: /wp-content/uploads/

Sitemap: http://www.example.com/sitemap.xml

Tip – जिन files को आप crawl नही करना चाहते है या hide करना चाहते हो उन्हें robots.txt file में अलग-अलग disallow ना करें क्योंकि ऐसा करने से आप उन files के बारे में सबको बता रहें है इसलिए उन्हें एक folder के अंदर डाल कर उस folder को hide कर दें.

Bot Kya Hai

Good Bots vs Bad Bots hindi
Bot Kya Hai

ऐसे software जिन्हें internet पर automated tasks के लिए बनाया जाता है उन्हें हम bots कहते है. Websites पर आधे (half) से ज्यादा traffic bots के जरिये ही आता है लेकिन bots भी 2 तरह के होते है good bots और bad bots तो आइये जानते है इनके बारे में ….

Good Bots – ये bots आपकी websites और users के लिए बहुत मददगार होती है ये websites के pages को crawl करती है जिससे search engine result page में अच्छी website को दिखाया जा सके इसके अलावा ये news updates, best price on a product, copyrighted content को ढूँढने में मदद करती हैं. 36% web traffic इन्ही bots के जरिये आता है. good bots हमेशा आपकी website पर मोजूद robots.txt file के rules को follow करते है, Googlebot, bingbot, Slurp और msnbot good bots के example है.

Bad Bots – ये bots आपकी websites और users के लिए बहुत नुकसानदायक होती है ये websites के data को चुराती है जैसे की financial data users personal information, website admin information इत्यादि, Bad bots websites bandwidth को बहुत ज्यादा consume करके server को down कर देती है और ये websites को पूरी तरह damage कर देती है.

आशा करता हूँ की आपको Robots.txt file kya hai post पसंद आई होगी. अगर आपको इस post से related कोई सवाल या सुझाव है तो नीचे comment करें और इस post को अपने दोस्तों के साथ जरुर share करें.

About : Admin

सु-सुवागातम Gyanians इस वेबसाइट का मकसद है लोगो को हिंदी भाषा में ज्ञान प्रदान करना उनके द्वारा पूछे गए प्रिश्नों के उत्तर देना और यह कार्य करने के लिए हम तात्पर्य है. आप Gyanians को लोगों के साथ शेयर करके हमारी सहायता कर सकते है .

SUBSCRIBE Daily Post Update

Receive Daily Notifications SUBSCRIBE

Reader Interactions

Questions & Answers: Ask Question

  1. waseem

    good knowledge sharing sir very helpful article keep it up

  2. harry baliyan

    hello, sir
    jaankari acchi hai. kya mai practical/live dekh saktha hu.files banana(robot.txt)

  3. Akash Yadav

    Sir kya ap bata sakte hai ki mai ap jaise templete kaha se lagau mujhe bhi ap jaisa templete lagana hai mai new blogger hu

    • Neeraj Parmar

      अगर आप WordPress पर हैं तो मेरी ये theme buy कर सकते हो और उसके लिए आप मुझें email कर देना.

Leave a Reply

Your email address will not be published. Required fields are marked *