Robots.Txt File क्या है – Robots File कैसे बनाये

आज हम जानेंगे की Robots Txt File Kya Hai क्या होता है, इस फाइल को इस्तेमाल करने के फायदे क्या है, यह फाइल बनाते कैसे हैं, यह फाइल आप के कंटेंट को पढ़ने में गूगल की मदद कैसे करता है एवं इसका Role आपकी बनाई हुई वेबसाइट या ब्लॉग में इतना बड़ा रोल क्यों है.

जब आप किसी नई जगह पर घुमने जाते हो तो वहां आपको घुमाने के लिए एक गाइड होता है जो आपको बताता है की आपको उस जगह पर किस-किस जगह गुमने जा सकते हो और किस जगह पर नही ठीक इसी तरह से robots.txt file आपकी website की गाइड होती है तो आइये जानते है robots.txt file के बारे में.

Robots Txt File Kya Hai

Robots.Txt एक Simple Notepad की Text File की तरह ही होती है लेकिन किसी Blog या Website के लिए ये बहुत आवश्यक होती है क्योंकि जब कोई भी Search Engine आपकी Website या Blog पर आता है तो वो सबसे पहले Robots.Txt File को ही ढूंढता है क्योंकि Robots.Txt File ही Search Engine को बताती है की Website में किस-किस Web Pages और Folders को Crawl (देखना) है और किसे नही.

Robots Txt File Ka Use Kyo Karte Hai

आप ऊपर पढ़ कर ये जान ही गये होंगे की Robots.Txt File Kya Hai और शायद अब आप ये सोच रहें होंगे की हम क्यू Search Engine को अपनी Website के Pages को Search ( Crawl ) करने से रोकेंगे तो इसका जबाब ये की हर Website में कुछ Under Construction Pages या Folders जिनके अंदर कुछ गुप्त ( Sensitive ) जानकारी होती है जिनको Websites Owners किसी कारण की बजह से नही दिखाना चाहते इसलिए वे Robots.Txt File के जरिये Search Engines को उन Pages और Folders को Search करने से रोकते है.

Robots Txt File Kaise Banate Hai

Robots.Txt File को आपके Website के Root Folder (For Example: yourdomain.com/robot.txt) में बनाया जाता है. अगर आप इसे Edit करना चाहते है तो किसी भी Text Editor का आप Use कर सकते है आइये जानते है इसकी Commands के बारे में …

Basic Syntax for Robots Txt File
  • User-Agent: [ उस Robot का नाम जिसके लिए आप ये Rules लिख रही हो ]
  • Disallow: [ Page, Folder या Path यहाँ लिखे जिसे आप Hide करना चाहते हो ]
  • Allow: [ Page, Folder या Path यहाँ लिखे जिसे आप Unhide करना चाहते हो ]

Example 1. Allow all search engine for crawling of everything

  • User-agent: *
  • Disallow:

Example 2. Disallow all search engine for crawling of everything

  • User-agent: *
  • Disallow: /

Example 3. Disallow all search engine for crawling of a specific folder

  • User-agent: *
  • Disallow: /foldername/

Example 4. Disallow all search engine for crawling of a specific file

  • User-agent: *
  • Disallow: /filename.html

Example 5. Disallow all search engine for crawling of a folder but allow the crawling of one file in that folder

  • User-agent: *
  • Disallow: /folderabc/
  • Allow: /folderabc/xyzfile.html

Example 6. Allow only one specific robot access in website

  • User-agent: *
  • Disallow: /
  • User-agent: Googlebot
  • Disallow:

Example 7. To exclude a single robot

  • User-agent: BadBotName
  • Disallow: /

Example 8. Allow all search engine for crawling of sitemap file

  • User-agent: *
  • Sitemap: http://www.example.com/sitemap.xml

Example 9: WordPress Robots.txt File

  • User-agent: *
  • Disallow: /feed/
  • Disallow: /trackback/
  • Disallow: /wp-admin/
  • Disallow: /wp-content/
  • Disallow: /wp-includes/
  • Disallow: /readme.html
  • Disallow: /xmlrpc.php
  • Allow: /wp-content/uploads/
  • Sitemap: http://www.example.com/sitemap.xml

Tip – जिन Files को आप Crawl नही करना चाहते है या Hide करना चाहते हो उन्हें Robots.Txt File में अलग-अलग Disallow ना करें क्योंकि ऐसा करने से आप उन Files के बारे में सबको बता रहें है इसलिए उन्हें एक Folder के अंदर डाल कर उस Folder को Hide कर दें.

Bots Kya Hai
Good Bots vs Bad Bots hindi
Bot Kya Hai

एक ऐसा Software जिन्हें Internet पर Automated Tasks के लिए बनाया जाता है उन्हें हम Bots कहते है. Websites पर आधे से ज्यादा Traffic, Bots के जरिए ही आता है.

Bots भी 2 तरह के होते है Good Bots और Bad Bots तो आइए जानते है इनके बारे में:

Good Bots – ये Bots आपकी Websites और Users के लिए बहुत मददगार होती है ये Websites के Pages को Crawl करती है जिससे Search Engine Result Page में अच्छी Website को दिखाया जा सके इसके अलावा ये News Updates, Best Price on A Product, Copyrighted Content को ढूँढने में मदद करती हैं.

36% Web Traffic इन्ही Bots के जरिये आता है. Good Bots हमेशा आपकी Website पर मोजूद Robots.Txt File के Rules को Follow करते है: Googlebot, Bingbot, Slurp और Msnbot Good Bots के Example है.

Bad Bots – ये Bots आपकी Websites और Users के लिए बहुत नुकसानदायक होती है ये Websites के Data को चुराती है जैसे की Financial Data Users Personal Information, Website Admin Information इत्यादि.

Bad Bots Websites Bandwidth को बहुत ज्यादा Consume करके Server को Down कर देती है और ये Websites को पूरी तरह Damage कर देती है.

आशा करता हूँ की आपको Robots.Txt File Kya Hai Post पसंद आई होगी. अगर आपको इस Post से Related कोई सवाल या सुझाव है तो नीचे Comment करें और इस Post को अपने दोस्तों के साथ जरुर Share करें.

Questions & Answer:
Binomo Se Paise Kaise Kamaye

Binomo Se Paise Kaise Kamaye – बिनोमो से पैसे कैसे कमाए ?

Make Money
Oyo Kya Hai और Oyo Kaise Book Karte Hain

Oyo App क्या है, कैसे Book करे, Cancel करे, Oyo App Download

Apps
UTS App Kya Hai तथा UTS App Kaise Use Kare

UTS App क्या है – कैसे Use करे | पैसे कैसे निकाले | UTS App Downlaod

Apps
Author :
सु-सुवागातम Gyanians इस वेबसाइट का मकसद है लोगो को हिंदी भाषा में ज्ञान प्रदान करना उनके द्वारा पूछे गए प्रिश्नों के उत्तर देना और यह कार्य करने के लिए हम तात्पर्य है. आप Gyanians को लोगों के साथ शेयर करके हमारी सहायता कर सकते है .
Questions Answered: (12)
waseem says:

good knowledge sharing sir very helpful article keep it up

harry baliyan says:

hello, sir
jaankari acchi hai. kya mai practical/live dekh saktha hu.files banana(robot.txt)

Akash Yadav says:

Sir kya ap bata sakte hai ki mai ap jaise templete kaha se lagau mujhe bhi ap jaisa templete lagana hai mai new blogger hu

    अगर आप WordPress पर हैं तो मेरी ये theme buy कर सकते हो और उसके लिए आप मुझें email कर देना.

Leave a Reply

Your email address will not be published. Required fields are marked *