# -*- coding: utf-8 -*- """ERAv2-S20-Regex-Tokeniser.ipynb Automatically generated by Colab. Original file is located at https://colab.research.google.com/drive/1fkjz9W0ah0Nr-PwBBpf4Ag2iWJQ7-yjR """ ##!pip install gradio text_string = """ एक छोटे से शहर में एक पुराना और विख्यात होटल था जिसका नाम “मेहतर महल” था। यह होटल शहरीय क्षेत्र से थोड़ा दूर, शांत जंगल के पास स्थित था और अपने समय का सबसे आलीशान होटल हुआ करता था। इसकी वास्तुशैली, अंदर की सजावट और वहाँ की सेवाएं यहाँ आने वाले हर व्यक्ति को मंत्रमुग्ध कर देती थीं। परंतु सालों पहले एक बुरी घटना ने इस होटल को भूतहा बना दिया। लोग कहते थे कि इस होटल में एक परिवार की आत्माएं भटकती हैं, जिन्होंने यहीं अपनी जान गवाई थी। रात के समय होटल की ओर देखते ही लोगों के रोंगटे खड़े हो जाते थे। होटल के चारों ओर कटी-फटी पेड़ों की छाया और होटल की टूटी-फूटी खिड़कियों से छनकर आती अंधियारी रोशनी ने पूरे परिवेश को और भी डरावना बना दिया था। लोग मानते थे कि उस बुरी रात के बाद से ही वहाँ की आत्माओं का भटकना शुरू हुआ था। इस भयावहता के कारण शहर के लोग होटल से दूर रहते थे और किसी की भी हिम्मत नहीं होती थी कि वे वहाँ जाएं। लेकिन एक समय ऐसा आया जब शहर के कुछ युवा उत्साही इस रहस्य को सुलझाने का निर्णय लिया। उनके मंडल का नेता था रवि, एक साहसी और होशियार युवक जिसे डर का मतलब नहीं पता था। रवि ने अपने तीन दोस्तों – रोहन, सीमा और आरती के साथ इस भूतहा होटल का दौरा करने का फैसला किया। उन्होंने तय किया कि वे उन घटनाओं की सच्चाई जानने के लिए होटल में एक रात बिताएंगे। जैसे ही वे होटल पहुँचे, अंधेरा छा रहा था और हवाओं का शोर सुनाई दे रहा था। होटल के बाहर का माहौल ही डराने वाला था, लेकिन रवि और उसके दोस्तों ने अपनी हिम्मत रखी और होटल के अंदर चले गए। होटल के अंदर का वातावरण बेहद रहस्यमय और भयानक था। दीवारों पर धूल जमी हुई थी, फर्श हर कदम पर झंजनाट कर रहा था और हर कोने से रहस्यमय आवाजें सुनाई दे रही थीं। उन्होंने रिसेप्शन हॉल में प्रवेश किया और वहाँ की हालत देखकर चौंक गए – पुराने फर्नीचर, टूटी हुई टेबल्स और धूल भरे काउंटर। वहाँ लगे पुराने चित्रों में होटल के सुखद दिनों की झलक मिलती थी। अचानक, रवि को महसूस हुआ जैसे कोई उन्हें देख रहा हो। उसने अपने दोस्तों को शांत रहने के लिए कहा और मुख्य हॉल में आगे बढ़ने का सुझाव दिया। मुख्य हॉल में चलते समय, उन्होंने देखा कि एक पुरानी लिफ्ट थी, जो बंद हो चुकी थी और लिफ्ट के दरवाजे पर खून के धब्बे थे। दीवारों पर लगे चित्रों में होटल के स्वर्णिम दिनों की यादें ताजा हो रही थीं, जब यह जगह जीवन और हंसी-खुशी से भरपूर थी। लेकिन अब यह केवल भूतों की कहानियों और डरावनी घटनाओं का केंद्र बन चुका था। अचानक से किसी ने एक ठंडी हवा का झटका महसूस किया और उन्हे एक परछाई दिखी। यह भूत की परछाई थी। भूत की आवाज़ में डरावनी ध्वनियाँ थीं, “तुम लोग यहाँ क्यों आए हो? यह स्थान शापित है।” रवि ने हिम्मत से कहा, “हम यहाँ सच्चाई जानने और तुम्हारी आत्माओं को शांति दिलाने आए हैं। तुम कौन हो और तुम्हारी आत्माओं को शांति क्यों नहीं मिल रही?” भूत ने भारी आवाज में कहा, “मैं इस होटल का मालिक था। मैंने और मेरे परिवार ने यकीन किया कि हम यहाँ हमेशा सुरक्षित रहेंगे, लेकिन एक रात कुछ डाकू आये और हम सबको मार डाला। हमारी आत्माएं तब से लेकर अब तक यहीं भटक रही हैं। हमें न्याय चाहिए।” रवि ने वादा किया कि वह इस घटना का पर्दाफाश करेगा और उनको न्याय दिलाएगा। अगले दिन, उन चारों दोस्तों ने शहर के लोगों को पूरी सच्चाई बताई और पुलिस को सबूत दिए। पुलिस ने जांच की और डाकुओं को गिरफ्तार कर लिया। जांच के दौरान उन्हें कई रहस्यमय तथ्य और सबूत मिले जिससे डाकुओं को सजा दिलाने में मदद मिली। पुलिस ने पुराने कागजात, खून के धब्बों और छुपे हुए गवाहों की तलाश की। पुलिस की जांच के बाद डाकुओं को पैसों के लालच में इन मासूम लोगों की हत्या करने का दोषी पाया गया। तब जाकर उन आत्माओं को शांति मिली और वे हमेशा के लिए मुक्त हो गईं। अब मेहतर महल होटल फिर से खोल दिया गया और वहाँ कोई भी भूतिया घटना नहीं होती। होटल की पुरानी शान धीरे-धीरे लौट आई और लोग फिर से वहाँ आने लगे। रवि और उसके दोस्तों की बहादुरी की हर जगह सराहना हुई और शहर के लोग अब इस होटल को देखकर डरते नहीं थे। रवि, रोहन, सीमा और आरती की यह कहानी साहस और सच्चाई के प्रति उनकी दृढ़ता के रूप में शहर में प्रसिद्ध हो गई। एक गांव के किनारे पर एक घना जंगल था जिसका नाम था भूतिया जंगल। जंगल के अंदर का रास्ता इतना भयानक था कि सूरज की रौशनी भी वहां तक नहीं पहुंच पाती थी। गांव के लोग जंगल की कहानियों से डरते थे और जंगल की ओर जाने से बचते थे। कहा जाता था कि जंगल में एक बहुत पुरानी और जर्जर हवेली खड़ी थी, जिसमें एक राजा की आत्मा रहती थी। राजा अपनी मौत से कुछ ही दिन पहले आशृवाद प्राप्त करने के लिए उस हवेली में गया था, लेकिन वह वापस नहीं लौटा और उसकी आत्मा वहीं कैद हो गई। एक दिन गाँव में एक साहसी युवक अर्जुन आया। उसने गांव वालों से जंगल के बारे में सुना और उसने ठान लिया कि वह रहस्य की पड़ताल करेगा। अर्जुन ने अपने कुछ साहसी दोस्तों को इकट्ठा किया और उन सभी ने मिलकर जंगल में प्रवेश किया। (Bhootiya Jangle: भूतिया जंगल की कहानी) जंगल में प्रवेश करते ही उन्हें भयानक आवाजें सुनाई देने लगीं। पेड़ों के पत्ते सरसराने लगे और ठंडी हवा उनके कानों में फुसफुसाने लगी। अर्जुन और उसके दोस्तों ने हिम्मत जुटाई और आगे बढ़ते रहे। रात होते-होते वे हवेली तक पहुंच गए। हवेली से एक अजीब सी रोशनी निकल रही थी। उस रोशनी को देखकर वे सभी समझ गए कि यहाँ कुछ अलौकिक है। उन्होंने हवेली के अंदर कदम रखा और देखा कि हवेली के अंदर का दृश्य किसी रोशन महफ़िल की तरह था। हवेली के मध्य भाग में एक बड़ा हॉल था, जहां राजा की आत्मा को शांति पाने के लिए पूजा की जाती थी। अर्जुन ने देखा कि हॉल के बीच में एक पवित्र अग्नि जल रही थी और उसके चारों ओर अदृश्य ताकतें थीं। ये भी पढ़े। रहस्यमयी भूतनी की कहानी (The Mysterious Ghost Story) अर्जुन ने समझ लिया कि अगर उसे राजा की आत्मा को शांति दिलानी है तो उन्हें पूजा में खुद को शामिल करना होगा। उसने और उसके दोस्तों ने जंगल के प्राकृतिक संसाधनों का उपयोग करके पूरी निष्ठा के साथ पूजा की। पूजा पूरी होने पर राजा की आत्मा प्रकट हुई और उसने अर्जुन और उसके दोस्तों को आशीर्वाद दिया। राजा की आत्मा मुक्त हुई और जैसे ही वह ऊपर आकाश की ओर बढ़ी, पूरे जंगल में एक अजीब सी शांति छा गई। गांव वाले जब ये दृश्य देखने के लिए जंगल की ओर दौड़े, तो वे हैरान रह गए। उन्होंने देखा कि जंगल का अंधेरा नर्म हो गया था और पत्तियों की सरसराहट मानो किसी सुखद संगीत में बदल गई थी। अर्जुन और उसके दोस्तों के साहस और ज्ञान के कारण, जंगल अब भूतिया नहीं रहा। लोगों ने उन्हें अपना हीरो माना और भूतिया जंगल अब एक पवित्र जंगल के रूप में जाना जाने लगा। कहानी से ये सिखने को मिलता है कि साहस और सच्चाई की राह पर चलने वालों का मार्ग ईश्वर हमेशा प्रशस्त करते हैं। पुरानी हवेली की आत्मा यह कहानी है एक छोटे से गाँव की जिसका नाम था श्यामनगर। इस गाँव में एक बहुत ही पुरानी और बड़ी हवेली थी जिसे लोग “श्याम हवेली” के नाम से जानते थे। हवेली की खूबसूरती के पीछे एक भयानक रहस्य था – लोग कहते थे कि वहाँ एक आत्मा का वास था। कहा जाता था कि जब भी किसी ने हवेली में रात बिताने की कोशिश की, उसने अपनी जिंदगी खो दी या पागल हो गए। गाँव वालों का मानना था कि श्याम हवेली में एक पुरानी रानी की आत्मा भटकती है, जिसने उस जगह पर किसी अनजान कारण से अपनी जान दे दी थी। इस रहस्य ने सभी को डरा रखा था और कोई भी वहाँ जाने की हिम्मत नहीं करता था। एक दिन, गाँव में एक नवयुवक जिसका नाम रवि था, आया। रवि ने पुरानी कहानियाँ और अफवाहों को कभी गंभीरता से नहीं लिया। जब उसने श्याम हवेली के बारे में सुना, तो उसने सोचा कि यह सब झूठ है और उसने निर्णय लिया कि वह उस हवेली में एक रात बिताकर गाँव वालों को साबित करेगा कि यह सब सिर्फ कहानियाँ हैं। गाँव के बुजुर्गों ने उसे समझाने की कोशिश की, लेकिन रवि ने उनकी बातों को नजरअंदाज कर दिया। एक शाम, रवि अपने कुछ ज़रूरी सामान लेकर हवेली के लिए निकल पड़ा। हवेली बहुत ही पुरानी और खंडहर जैसी दिख रही थी, जहाँ जाकर किसी की भी रूह काँप उठे। रात का समय हो गया और हवेली में गहरी चुप्पी छा गई। रवि ने एक कमरे में अपना बिस्तर लगाया और अपनी टॉर्च जलाकर चारों ओर देखने लगा। हवेली के अंदर कीमती चित्र, टूटे-फूटे फर्नीचर, और धूल भरी किताबें थीं। रवि ने चारपाई पर लेटकर एक किताब उठाई और पढ़ने लगा, लेकिन अचानक एक ठंडी हवा का झोंका आया और दरवाजा खुद-ब-खुद बंद हो गया। ये भी पढ़े। भयानक भूतनी की कहानी (The Terrifying Tale of the Bhootni) रवि सहम गया, लेकिन उसने खुद को संभाला और किताब पढ़ने लगा। तभी उसे लगा कि कोई उसके पीछे खड़ा है, लेकिन जब उसने मुड़कर देखा, तो वहां कोई नहीं था। उसकी दिल की धड़कन तेज़ हो गई। उसने सोचा शायद उसे भ्रम हो रहा है, लेकिन तभी एक तेज़ चीख की आवाज ने उसकी नींद को उड़ा दिया। रवि का चेहरा पसीने से भीग गया। उसने देखा कि कमरे का दरवाजा खुल चुका था और अंधेरे में से कोई सफेद-लिबास पहने हुए एक महिला की परछाई दिख रही थी। वह परछाई धीरे-धीरे पास आ रही थी। रवि डर के मारे उठ कर भागने लगा, लेकिन जैसे ही उसने दरवाजे से बाहर निकलने की कोशिश की, दरवाजा बंद हो गया। अब वह परछाई बिल्कुल उसके सामने थी। महिला की आँखें लाल हो चुकी थीं और चेहरा भयानक था। उसने रवि से कहा, “तुमने मेरी शांति भंग की है। इस जगह से चले जाओ।” रवि ने हिम्मत जुटाई और कहा, “मैं यह जानना चाहता हूँ कि तुम्हारी आत्मा को शांति क्यों नहीं मिल रही।” महिला की आत्मा ने आह भरी और बोली, “यह मेरी कहानी है। मैं रानी श्यामा हूँ। मेरे पति ने मुझे यहाँ बंद कर दिया था और मैं भूख और प्यास से मर गई थी। मेरी आत्मा को शांति नहीं मिली क्योंकि मेरा अंतिम संस्कार नहीं किया गया।” रवि ने वादा किया कि वह उसकी आत्मा को शांति दिलाने के लिए उसका अंतिम संस्कार पूरे विधि-विधान से करेगा। महिला की आत्मा ने उसकी बात मानी और गायब हो गई। अगली सुबह, रवि ने गाँववालों को सब कुछ बताया और सभी ने मिलकर रानी श्यामा का अंतिम संस्कार किया। ये भी पढ़े। Bhootiya Jangle: भूतिया जंगल की कहानी - Bhutni ki kahaniyan उस रात के बाद, कोई भी भूतिया घटना नहीं घटी और हवेली अब एक शांतिपूर्ण जगह बन गई। रवि की बहादुरी से गाँववालों ने उसे सम्मानित किया और श्याम हवेली अब गाँव का एक महत्वपूर्ण हिस्सा बन गई, जहाँ लोग बिना डर के जाया करते थे। इस प्रकार, रवि ने अपनी हिम्मत और समझदारी से न केवल अपने डर को हराया, बल्कि एक निर्दोष आत्मा को भी शांति दिलाई। यह कहानी हमें सिखाती है कि हमें सबसे बड़ी चुनौतियों का सामना बहादुरी और बुद्धिमानी से करना चाहिए। मेहतर महल अब न केवल एक आलीशान होटल था, बल्कि एक ऐतिहासिक स्थल भी बन गया जहाँ लोग इस होटल की भूतिया कहानियों को सुनते और रवि और उसके दोस्तों की बहादुरी को सराहते। उन चारों दोस्तों का ऐसा मानना था कि उन्होंने न केवल एक रहस्य सुलझाया, बल्कि एक परिवार को न्याय दिला कर उनके आत्माओं को हमेशा के लिए मुक्त कर दिया। यह कहानी है नील और आर्या की, जिनका प्यार समय और परिस्थितियों की कसौटियों पर कसा गया। नील, एक प्रतिभाशाली चित्रकार था, जिसके हाथों में रंगों को मिलाने की जादूगरी थी। और आर्या, एक मुक्त आत्मा, जिसने संगीत की मधुर धुनों में अपनी आत्मा को गढ़ा था। उनकी मुलाकात एक सामान्य दुर्घटना में हुई जब नील की पेंट ब्रश आर्या की नोटबुक पर गिरी और उसमें रचा-बसा संगीत रंगों में बहने लगा। प्यार ने धीरे-धीरे अपने पंख पसारे और नील और आर्या ने साथ मिलकर संगीत और कला की एक नयी दुनिया को जन्म दिया। लेकिन कहानी में तब मोड़ आया जब आर्या को पता चला की उसे विदेश में एक संगीत कार्यशाला के लिए चुना गया है। नील, जो अपने चित्रों में आर्या को ही चित्रित करता था, के लिए यह एक बड़ा धक्का था। वह जानता था की आर्या का जाना उनके प्रेम की परीक्षा होगी। कई महीने बीत गए और आर्या ने विदेश में संगीत की अपनी शिक्षा को गहराई से अपनाया। वहीं नील, उदासी और अकेलापन महसुस करते हुए, अपने चित्रों में वही प्रेम प्रकट करने की कोशिश कर रहा था, जो आर्या के सान्निध्य में उसे महसूस होता था। आर्या ने अपनी संगीतयात्रा को पूरा किया और वापस आ गयी। नील और आर्या का पुनर्मिलन हुआ, लेकिन कुछ बदल गया था। सांस्कृतिक मतभेद, आर्या के संगीत में बदलाव, और नील के चित्रों में आई उदासी ने उनके प्यार को प्रभावित किया। फिर भी, उनका प्यार कुछ इस तरह का था जो बाधाओं को मात देकर उभरा। एक दिन, नील ने आर्या के सामने वह चित्र प्रस्तुत किया, जिसे उसने उसकी अनुपस्थिति में बनाया था। आर्या ने उसमें अपने लिए नील की गहरी उदासी और प्यार को महसूस किया। ये भी पढ़े। प्यार का सफर | The Journey of Love उसी पल, आर्या ने एक ऐसी धुन बजाई, जिसमें उसने अपने दिल के हर कोने से नील के प्रति अपने प्रेम को व्यक्त किया। संगीत और चित्रकला के माध्यम से, उन्होंने एक संवाद स्थापित किया, जहां शब्दों की जरूरत नहीं पड़ी। कहानी समाप्त होती है, लेकिन उनका प्यार एक नया आयाम पा चुका था। एक ऐसा प्यार जो उनकी रचना, उनके संगीत और उनके चित्रों में अमर हो गया था। “प्यार की अधूरी दास्तान – एक अमर प्रेम कहानी” केवल एक कहानी नहीं, एक अहसास है, जो प्रेमियों को प्रेरित करता है, कि सच्चा प्यार कभी अधूरा नहीं होता, चाहे परिस्थितियां कैसी भी हो। गुलज़ार गलियों, खिलखिलाते चेहरे, और बहती नदी के किनारे बसे गांव में अर्जुन और आयशा की मोहब्बत की गवाही देने के लिए हवा भी थम सी जाती थी। अर्जुन एक ख़ामोश शायर था, जो अपनी शायरी में आयशा की मुस्कान को उकेरता था, और आयशा एक लोक नर्तकी, जिसके नृत्य में अर्जुन की कविता रवानी पाती थी। उनकी प्रेम कहानी की शुरुआत एक मेले के दिन हुई, जब अर्जुन ने आयशा को पहली बार नाचते देखा था। उस नाच में कुछ ऐसा जादू था कि अर्जुन की कलम से बरबस ही आयशा का नाम बहने लगा। दिनों दिन, अर्जुन की शायरी और आयशा के नृत्य में उनका प्यार खिल उठा। वक़्त के साथ उनकी मोहब्बत और परवान चढ़ी, लेकिन कहते हैं न कि सच्चे प्यार की राह कभी आसान नहीं होती। आयशा के पिता, गांव के सरपंच, इस प्रेम कहानी के खिलाफ थे। वे चाहते थे कि आयशा एक धनी व्यापारी के बेटे से शादी करे। लेकिन अर्जुन और आयशा का प्यार कोई साधारण प्यार नहीं था। एक रात, चाँदनी बिखरी हुई थी, और अर्जुन ने निर्णय लिया कि वो आयशा के लिए शायरी की एक किताब लिखेगा। हर कविता उनके प्यार के हर पहलू को दर्शाती। और जब आयशा ने इसे पढ़ा, उसकी आँखों में आँसुओं की जगह खुशियों के दीप जल उठे। उन्होंने फैसला किया कि वे गांव छोड़ देंगे और अपनी नई दुनिया का निर्माण करेंगे, एक ऐसी दुनिया जहाँ उनके प्यार की कोई सीमाएँ न हों। लेकिन किसी को विदा कहना इतना आसान नहीं होता, और उन्हें पता था कि अपने सपनों को जीने के लिए उन्हें कई कुर्बानियाँ देनी पड़ेंगी। ये भी पढ़े। सपनों का सौदागर (The Merchant of Dreams) जैसे-जैसे उनके पलायन की खबर सरपंच तक पहुँची, उनका पीछा किया गया, मगर प्रेम ने उन्हें हिम्मत दी। एक सच्चे प्रेम की शक्ति से सरपंच का दिल भी पसीज गया और अंत में उन्होंने इस प्यार को अपनी मंजूरी दे दी। अर्जुन और आयशा ने आखिरकार अपने प्यार को समाज की मुहर के साथ पाया। अर्जुन की शायरी और आयशा का नृत्य उनके प्रेम की अनूठी भाषा बन गए जो प्रेम की सरहदों को पार कर गया। एक समृद्ध गाँव के किनारे, नामकरण नाम का एक किसान रहता था। वह गाँव का सबसे धैर्यवान और कठिन परिश्रमी किसान था। नामकरण के पास एक छोटा सा खेत था, जिसमें वह अपने सभी प्रयासों के बावजूद, अपनी फसलों को लहलहाते हुए नहीं देख पाया था। एक शाम, जब वह उदास मन से अपने सूखे खेतों को देख रहा था, तभी एक रहस्यमयी साधु उसके खेत के पास से गुजरा। साधु को नामकरण की कठिनाई का आभास हो गया और उसने नामकरण को एक मंत्र दिया, जिसे रोज खेत में जाकर तीन बार दोहराने की सलाह दी। साधु ने कहा, “इस मंत्र के प्रभाव से तुम्हारे खेत में अद्भुत फसल उगेगी, बस तुम्हें धैर्य रखना होगा और मंत्र में विश्वास बनाए रखना होगा।” नामकरण ने साधु के निर्देशों का पालन किया और उसके बताए मंत्र को नियमित रूप से जपने लगा। कुछ ही दिनों में, उसके खेत हरे भरे हो गए और फूलों और फलों से लद गए। अन्य किसान नामकरण के खेत की समृद्धि देखकर चकित रह गए। पड़ोसी, ईर्ष्या से भर उठे और उसकी सफलता का राज जानने के लिए उसके पीछे पड़ गए। नामकरण ने किसी को भी साधु के मंत्र और अपने प्रयासों के बारे में नहीं बताया लेकिन सफलता के अहंकार में, वह मंत्र जपना भूल गया। उसके खेत फिर से सूखने लगे और उसे अपनी गलती का एहसास हुआ। नामकरण ने फिर से मंत्र जपना शुरू किया और इस बार उसने न केवल अपने खेतों की बल्कि अपने मन की भी सिंचाई की। उसने अहंकार को त्यागा और फिर से साधु की शिक्षाओं पर चलना शुरू किया। उसके खेत फिर से लहलहाने लगे और इस बार उसने अन्य किसानों की भी मदद की, उन्हें उसी मंत्र से अवगत करवाया और समझाया कि कठोर परिश्रम और धैर्य से ही वास्तविक सफलता मिलती है। ये भी पढ़े। जादुई उल्टा गाँव | The Enchanted Inverted Village बदले में, अन्य किसानों के खेत भी फलने-फूलने लगे और गाँव में समृद्धि की नई लहर आई। यह सब नामकरण की धैर्य और उदारता का प्रतिफल था। नैतिक शिक्षा: धैर्य और विश्वास के साथ किया गया परिश्रम हमेशा सफलता की ओर ले जाता है, और सच्ची सफलता वह होती है जिसमें सबका भला हो। कहानी में अब एक नया मोड़ आया। नामकरण द्वारा सिखाए गए मंत्र का जादू गांव के हर खेत में चलने लगा था। गाँव में समृद्धि का सैलाब आ गया। लेकिन जैसा कि हमेशा होता है, सफलता ईर्ष्या को जन्म देती है। आस-पड़ोस के गांवों के लोग जब इस गाँव की समृद्धि की चर्चा सुनने लगे, उन्हें लगने लगा कि शायद यह गाँव कुछ जादू-टोने से इतना समृद्ध हो रहा है। ऐसे में एक लोभी साहूकार जिसका नाम लोभधन था, उस गांव में आया और नामकरण से मिलकर उस मंत्र के विषय में जानने की कोशिश की। नामकरण ने शुरू में तो उसे मंत्र नहीं बताया, लेकिन लोभधन ने अपनी चालाकी से उसे जाल में फँसा लिया और अंतत: मंत्र प्राप्त कर लिया। लोभधन ने उस मंत्र का उपयोग अपने लाभ के लिए किया और अपने गाँव में लौट कर उसे सबको बेचना शुरू कर दिया। अपने गाँव के लोगों ने बिना सोचे समझे उस मंत्र को खरीदा और अपने खेतों में उपयोग किया, लेकिन किसी के खेत में बदलाव नहीं आया। असल में साहूकार ने मंत्र को गलत तरीके से प्रयोग किया था, जिसके चलते उसके गाँव में न केवल फसलों में इजाफा न हो सका बल्कि समस्याएँ भी बढ़ने लगीं। ये भी पढ़े। हाथी और गौरैया (The Elephant and the Sparrow) जब इसका पता नामकरण को चला, तो वह दुःखी हो उठा। उसने लोभधन के गाँव का दौरा किया और लोगों से समझाया कि यह मंत्र केवल पैसे से नहीं खरीदे जाने वाले होते, उनके प्रति सच्ची श्रद्धा और समर्पण होना चाहिए। गाँववालों ने नामकरण के प्रयासों और उसके विचार की सराहना की और लोभधन से वापस अपने पैसे वसूले। लोभधन को भी अपनी गलती का एहसास हुआ और उसने नामकरण से क्षमा याचना की। अंत में, नामकरण ने गाँवके लोगों को सिखाया कि कड़ी मेहनत, ईमानदारी और धैर्य के साथ किया गया कर्म ही सफलता दिला सकता है, और मंत्रों का जादू उनकी श्रद्धा से होता है। इस तरह दो गाँव एक साथ फिर से समृद्ध और खुशहाल हो गए। नामकरण का नाम सभी गाँवों में प्रसिद्ध हो गया और उसे एक सम्मानित व्यक्ति के रूप में पूजा जाने लगा। नैतिक शिक्षा: सही मार्ग और विधि से किया गया प्रयास ही सफलता का राज होता है, और छोटे-छोटे लालच हमें सच्ची खुशी नहीं दे सकते। एक सुन्दर झील के किनारे रहता था एक कछुआ, साथ में उसके दो हंस भी थे, जो उसके ख़ास दोस्त बन गए था। वे अक्सर एक साथ बैठा करते, और गप्पें मारा करते थे, नई-नई जगहों की कहानियां हंस कछुए को सुनाया करते थे। पर एक साल, झील सूखने लगी, सभी जल चर चिंतित हो गए, हंसों ने फैसला किया कि वे जाएंगें दूर किसी और झील को ढूँढने। कछुआ भी जाना चाहता था साथ, मगर उड़ नहीं सकता था, दोनों हंस उसकी इस दुविधा का समाधान खोजने में लग गए था। अंत में एक उपाय सोचा, एक डंडा उठाया, कहा कछुए से कि डंडे को मुंह में दबाये रखा, वे दोनों हंस डंडे के दोनों सिरों को पकड़ेंगे, उड़ान भरेंगे, और कछुए को नई झील तक ले जाएँगे। “पर याद रखो,” हंसों ने कछुए को चेतावनी दी थी, “तुम्हें चुप रहना होगा, जरा भी न बोलना, बस डंडे को दबाये रखना।” उड़ान भरी, सब कुछ ठीक चल रहा था, तभी नीचे लोगों ने उन्हें देखा और शोर मचाना शुरू किया। कछुआ उत्सुकता से बोलने लगा, भूल गया था चुप रहना, और जैसे ही उसने मुंह खोला, वह नीचे गिर पड़ा और अपना अंत कर बैठा। कथा का नैतिक यह है कि बिना सोचे-समझे बोलना, कभी-कभी बहुत खतरनाक साबित हो सकता है और दु:खद हो सकता है अंजामना। मूल प्रश्न: हिंदी के 10 सबसे कठिन शब्द कौन से हैं? कठिनाई एक सापेक्ष तत्व है, जो चीज़ किसी के लिए कठिन है, वह दूसरे के लिए सामान्य बात हो सकती है। “कठिन” को परिभाषित करना अपने आप में बहुत कठिन बात है। हालाँकि मैंने कुछ हिंदी शब्द लिखे हैं जो कठिन शब्दों की सूची में आ सकते हैं। ये हैं: किंकर्तव्यविमूढ़ किंकर्तव्यविमूढ़ भ्रमित। प्रत्युत्पन्नमति प्रत्युत्पन्नमति मन की उपस्थिति। योग्य महात्त्वकांक्षी महत्वाकांक्षी। स्वातंत्र्योत्तर स्वतंत्रता के बाद। अच्युतानंद अच्युतानंद पूर्ण या आदर्श सुख। नीलोत्पलदत्त नीलोत्पलदत्त नीले कमल द्वारा प्रदत्त। ऋजु समञ्जस्यपूर्ण सुसंगत। समन्वयक समन्वय समन्वयक। अभयारण्य अभ्यारण्य संरक्षित वन। कनिष्ठिका कनिष्ठिका छोटी अंगुली। जलोच्छ्वास जलोच्छ्वास बाढ़ का पानी निकास। बहिर्द्वार आशा है कि ये आपकी इच्छा पूरी कर देंगे, हालांकि ऐसे अनगिनत शब्द हो सकते हैं जो इस सूची में शामिल किए जा सकें। एक समय की बात है एक छोटे से गांव में राम और सीता नाम के कपल रहते थे। उनका एक अर्जुन नाम का बेटा था, जिसकी शादी रिया नाम की लड़की से हुई थी। राम और सीता कड़ी मेहनत करते थे और अपने बुढ़ापे के लिए पैसे बचा थे। रिया बहुत लालची लड़की थी और हमेशा अपने लिए और चीजें चाहती थी। जैसे-जैसे साल बीतता गया, रिया का लालच और बढ़ता गया। वह अपने पास रखे चीजों से कभी संतुष्ट नहीं रहती थी। वह हमेशा अपने सास-ससुर से महंगे तोहफे मांगा करती थी और उनके बचाये हुए पैसों में से भी कुछ हिस्सा अपने लिए मांगती थी। राम और सीता बहुत ही अच्छे पेरेंट्स थे, इसलिए उसकी सारी जरूरतों को पूरा करते थे ताकि परिवार में शांति बनी रहे। वह अपने पति अर्जुन के ऊपर भी दबाव डालती थी, कि वह अपने मां बाप से पैसे और संपत्ति मांगे। वह बहुत ज्यादा संपत्ति कट्ठा करना चाहती थी, बिना किसी मेहनत के। एक दिन राम और सीता ने यह फैसला लिया कि वह रिया को सबक सिखाएंगे। वह उसे बुलाते हैं और बोलते हैं की “बेटा हमें तुमसे कुछ जरूरी बातें करनी है। हमने यह फैसला लिया है कि हम अपनी जायदाद का कुछ हिस्सा अपने बच्चों में बाटेंगे और उसका कुछ हिस्सा तुम्हे भी देना चाहते हैं.” रिया ख़ुशी से झूम उठती है क्योंकि वह हमेशा से यही चाहती थी। लेकिन राम और सीता के मन में कुछ और ही चल रहा था। उन्होंने एक पत्थरों से भरा हुआ बैग उसे दे दिया और बोला, बेटी यह तुम्हारे हिस्से की संपत्ति है। रिया उस बैग को देखकर गुस्सा हो गई। उसने उस पत्थर से भरे हुए बैग को जमीन पर फेंका और जोर से चिल्लाते हुए बोली कि, ” मेरी मजाक उड़ाने की तुम्हारी हिम्मत कैसे हुई। मुझे पैसे चाहिए, ये पत्थर नहीं। ” राम और सीता ने शांत तरीके से उसे समझाया और बोले “रिया, सच्ची संपत्ति सिर्फ पैसे और चीजों के बारे में नहीं है। यह प्यार, दया और जो कुछ भी तुम्हारे पास है, उसके लिए आभारी होने के बारे में है। हमने हमेशा तुमसे प्यार किया है और तुम्हारी देखभाल की है, और यह पैसों से भी अधिक कीमती है.” रिया को एहसास हुआ कि वह लालच में कितनी अंधी हो गई थी। उसको अपने किये गए बर्ताव के लिए पछतावा होने लगता है। उसने अपने सास और ससुर से माफ़ी मांगी और अपने तरीके बदलने का वादा किया। उस दिन के बाद से उसमें बदलाव आया और वह एक अच्छी बहू बन गई। रिया के बदलाव की बात पूरे गाँव में फैल गई और सभी ने एक बेहतर इंसान बनने के लिए उसकी प्रशंसा की। रिया अपने परिवार का ख्याल रखते हुए और उनके बीच मिले प्यार के लिए आभारी होकर हमेशा खुश रहने लगी। “सच्चा धन प्यार, दया और जो हमारे पास है उसके लिए आभारी होने से आता है, न कि हमेशा और अधिक चीजों की चाह रखने से।” जादुई साड़ी एक बार की बात है, एक छोटे से गाँव में अनाया नाम की एक महिला रहती थी। वह एक दयालु और अच्छी इंसान थी, जो हमेशा अपने और अपने परिवार के लिए अच्छी चीजें चाहती थी। अनाया के पास एक प्यारा पति और एक खूबसूरत बेटी थी, लेकिन उसकी सास, शांता, उसके प्रति बहुत अच्छी नहीं थी। शांता अक्सर घटिया बातें कहती थी और अनाया को दुखी करती थी। एक दिन, जब अनाया बाज़ार में घूम रही थी, तो उसे एक विशेष दुकान मिली। दुकानदार एक बूढ़ा और बुद्धिमान व्यक्ति था। अनाया ने उससे कहा कि वह खुश रहना चाहती है और चाहती है कि उसके साथ अच्छी चीजें हों, भले ही उसकी सास निर्दयी थी। दुकानदार मुस्कुराया और उसे एक अनोखी साड़ी दिखाई। उन्होंने कहा कि यह जादुई साड़ी है और यह उसके जीवन में सौभाग्य और खुशियां लाएगा। अनाया ने जादुई साड़ी खरीदने का फैसला किया और तुरंत उसे पहन लिया। जब अनाया ने जादुई साड़ी पहनना शुरू किया तो चमत्कार हो गया। उसकी सास अनाया के साथ बुरा बर्ताव करने की बजाय उसके साथ प्यार और सम्मान से पेश आने लगी। अनाया बहुत खुश थी क्योंकि उसकी सास उसकी सबसे बड़ी समर्थक और सबसे अच्छी दोस्त बन गई थी। गाँव के लोग इस बदलाव को देखकर आश्चर्यचकित रह गए। जादुई साड़ी की वजह से अनाया के परिवार में खुशियाँ आने लगीं। गाँव बहुत अच्छी जगह बन गया और अनाया का पति सफल हो गया। उनका घर हमेशा प्यार से भरा रहता था और सभी का आपस में मेल-जोल रहता था। अनाया की बेटी एक प्यारे और देखभाल करने वाले घर में बड़ी हुई और वह बहुत खुश थी। जादुई साड़ी की कहानी दूर-दूर तक फैल गई और लोगों को दया और क्षमा का महत्व सिखाया। अनाया बहादुरी का प्रतीक बन गई और उसने सभी को दिखाया कि दयालु होने से बड़ा बदलाव आ सकता है, चाहे चीजें कितनी भी कठिन क्यों न लगे। और इस तरह, जादुई साड़ी के साथ मिलने वाली अच्छी चीज़ों का आनंद लेते हुए, गाँव हमेशा खुशहाल रहने लगा। साड़ी ने न केवल अनाया की जिंदगी बदली, बल्कि एक महत्वपूर्ण सबक भी सिखाया कि “प्यार और क्षमा मुश्किल समय में भी खुशी और चमत्कार ला सकती है।” “दूसरों के प्रति दयालु होने से, हम उनके और हमारे जीवन में भी खुशियाँ ला सकते हैं।” लालची राजा एक समय की बात है, एक बड़े से महल में एक राजा रहता था। वह बहुत लालची था। उसके पास बहुत सारे पैसे होने के बावजूद वह उससे संतुष्ट नहीं था। एक दिन एक बूढ़ा आदमी राजा के महल में आता है। वह राजा को एक अनोखा हीरा दिखाता है और कहता है की इस हीरे से तुम जो कुछ भी मांगोगे वह तुम्हें मिल जाएगा। लेकिन उसने राजा को चेतावनी दी कि हर इच्छा की एक कीमत होगी। राजा बहुत खुश हो जाता है और हीरे को अपने पास रख लेता है। वह अपनी पहली इच्छा मांगता है कि उसे ढेर सारे सोने के सिक्के मिल जाए। अचानक से उसका कमरा सोने के सिक्कों से भर जाता है। लेकिन राजा इतने में भी संतुष्ट नहीं होता है उसे और सोना चाहिए होता है। वह और इच्छा मांगता है कि उसे गहने, जमीन और खजाने चाहिए। उसे वह सब भी मिल जाता है। जैसे-जैसे राजा का लालच बढ़ता जा रहा था, वैसे वैसे उसके राज्य के लोगों को भुगतना पड़ रहा था। वह सब गरीब हो गए, उनकी जमीन बंजर हो गई, क्योंकि हीरे से मांगी गयी इच्छाओं की कीमत उसके राज्य के लोगों को चुकाना पड़ रहा था। लोग गिड़गिड़ाते रहे राजा के सामने कि वह रुक जाए, लेकिन राजा ने उनकी एक न सुनी। एक रात जब राजा सो रहा था, तब उनके पिताजी सपने में आते हैं और बोलते हैं कि “यह लालच उन सब चीजों को बर्बाद कर देगा, जिनसे तुम प्यार करते हो।” राजा की नींद खुलती है और उसे अपनी गलती का एहसास होता है। राजा ने सभी लोगों को एक साथ बुलाया और अपने आप को बदलने का वादा किया। उसने अपने धन का उपयोग लोगों की मदद करने और राज्य को बेहतर बनाने के लिए किया। राज्य फिर से सुखी और समृद्ध हो गया। उस दिन से, राजा ने सीखा कि लालची होने से केवल दुख मिलता है, लेकिन दयालु होने और दूसरों की मदद करने से सभी को खुशी मिलती है। “लालच दुःख और विनाश ला सकता है, जबकि दया और निःस्वार्थता सुख और समृद्धि लाती है।” जादुई संतरा एक समय की बात है, एक गांव में सोनू नाम का एक छोटा सा लड़का रहता था। उसे घूमने फिरने का और नई चीजें जानने का बड़ा शौक था। एक दिन जब वह जंगल में घूम रहा था, तो उसे एक संतरे का जादुई पेड़ दिखाई देता है। वह पेड़ बाकी पेड़ों से बिल्कुल अलग दिख रहा था। जब सोनू एक संतरे को चखता है, तो उसे अपने अंदर भरपूर ऊर्जा महसूस होती है और उसका दिमाग पहले से बहुत तेज हो जाता है। सोनू उस जादुई संतरे का इस्तेमाल अपने खुद के फायदे के लिए करने लगा। उसे हर चीज पहले ही पता चल जाता और हर कठिन से कठिन प्रश्नों को हल कर लेता था। दूर-दूर से लोग उसकी इस प्रतिभा को देखने आते थे। जैसे-जैसे समय बीतता गया सोनू की शक्तियां कम होती गई। पेड़ पर संतरों की चमक भी कम हो रही थी और धीरे-धीरे उनकी भी शक्तियां खत्म होने लगी थी। जल्दी ही सोनू को यह एहसास होता है कि, वह अपनी खुद की प्रतिभा को नजरअंदाज करते हुए जादुई संतरे की शक्ति पर बहुत ज्यादा निर्भर हो गया है। सोनू को अपनी गलतियों का एहसास होता है और वह जादुई संतरे के पेड़ के पास वापस जाता है। वह अपने लालची स्वभाव के लिए माफी मांगता है और वादा करता है कि अपनी काबिलियत का उपयोग वह अच्छे कामों के लिए करेगा। फिर अचानक से पेड़ के बचे हुए संतरों में वापस चमक आ जाती है। उस दिन के बाद से सोनू यह समझ गया कि असली शक्ति हमारे अंदर ही होती है और हम अपनी खुद की कौशल और प्रतिभा का इस्तेमाल करके ही दुनिया में बदलाव और खुशी ला सकते हैं। “हमें सफलता प्राप्त करने के लिए किसी जादू या शक्ति के बाहरी स्रोतों पर निर्भर नहीं रहना चाहिए। बल्कि हमें अपनी क्षमताओं को बढ़ाने पर ध्यान देना चाहिए और उनका उपयोग करके दुनिया में सकारात्मक बदलाव लाना चाहिए।” लालची दूधवाला एक समय की बात है, एक छोटे से गांव में रवि नाम का एक दूधवाला रहता था। वह अपने लालची स्वभाव के लिए जाना जाता था। उसके पास एक गाय थी जो पूरे गांव में सबसे स्वादिष्ट और अधिक मात्रा में दूध दे दी थी। हर सुबह वह दूध निकालता और गांव के लोगों तक पहुंचाता था। एक दिन रवि को यह एहसास हुआ कि गांव वालों को उसके गाय का दूध बहुत पसंद आ रहा है। इस बात से उसे बहुत खुशी होती है और उसके लालची दिमाग में एक उपाय आता है। वह सोचता है कि “अगर मैं दूध में पानी मिला दूं तो मैं अपना मुनाफा बढ़ा सकता हूं और किसी को पता भी नहीं चलेगा।” उस दिन के बाद से रवि गांव वालों को दूध पहुंचाने से पहले उसमें पानी मिला देता था। उसे लगने लगा था कि वह बहुत चालाक हो गया है और उसके इस काम के बारे में किसी को नहीं पता चलेगा। फिर भी, गांव वालों को दूध के स्वाद में बदलाव नजर आता है क्योंकि उसका स्वाद अब पहले जैसा नहीं था। जल्द ही, रवि के दूध में पानी मिलाने की खबर पूरे गांव में फैल जाती है। लोग शिकायत करने लगते हैं और उसके दूध का बहिष्कार करते हैं। लोगों को बहुत गुस्सा आता है क्योंकि उन्हें लगता है कि उन्होंने जिस पर भरोसा किया उसी ने उनके साथ धोखा किया है। रवि के गलत काम की वजह से उसका धंधा नीचे गिरने लगता है। उसे अपनी गलती का एहसास होता है, लेकिन अब बहुत देर हो चुकी थी। उसकी गांव वालों की नजर में जो इज्जत थी वह खत्म हो चुकी थी। गांव वाले अब उस पर भरोसा नहीं कर सकते थे और उसका दूध लेने से मना करने लगे। अपने किए पर शर्मिंदा होकर रवि ने फैसला किया कि वह अपने काम करने के तरीके बदलेगा। उसने कसम खा ली कि वह एक ईमानदार व्यापारी बनेगा और गांव वालों का भरोसा वापस जीतेगा। रवि ने फिर से गाओं वालों को शुद्ध और बिना मिलावट के दूध देना शुरू कर दिया। धीरे-धीरे गांव वालों को रवि के काम करने के तरीके में बदलाव नजर आया और उसकी तारीफ करने लगे। उन्होंने उसे माफ कर दिया और फिर से उससे दूध लेना शुरू कर दिया। रवि ने ईमानदारी के महत्व और लालच के परिणामों के बारे में एक जरुरी सबक सीखा। उस दिन के बाद से रवि एक ईमानदार दूधवाले के नाम से जाना जाने लगा। उसे उसकी खोई हुई इज्जत और गांव वालों का भरोसा वापस मिल गया। उसका धंधा फिर से चलने लगा। उसे समझ आ गया कि असली सफलता, ईमानदार होने और ईमानदारी से दूसरों की सेवा करने से आती है। “लालच से अस्थायी लाभ हो सकता है, लेकिन यह अंततः भरोसे को खत्म कर देता है। हालाँकि, ईमानदारी और निष्ठा लंबे समय तक चलने वाली सफलता और सम्मान की कुंजी है।” """ """## Regex splitting""" text_list = text_string.split() ids = [list(ch.encode("utf-8")) for ch in text_list] def get_stats(ids, counts=None): """ Given a list of integers, return a dictionary of counts of consecutive pairs Example: [1, 2, 3, 1, 2] -> {(1, 2): 2, (2, 3): 1, (3, 1): 1} Optionally allows to update an existing dictionary of counts """ counts = {} if counts is None else counts for pair in zip(ids, ids[1:]): # iterate consecutive elements counts[pair] = counts.get(pair, 0) + 1 return counts def merge(ids, pair, idx): """ In the list of integers (ids), replace all consecutive occurrences of pair with the new integer token idx Example: ids=[1, 2, 3, 1, 2], pair=(1, 2), idx=4 -> [4, 3, 4] """ newids = [] i = 0 while i < len(ids): # if not at the very last position AND the pair matches, replace it if ids[i] == pair[0] and i < len(ids) - 1 and ids[i+1] == pair[1]: newids.append(idx) i += 2 else: newids.append(ids[i]) i += 1 return newids # print("tokens length:", len(tokens)) # print("ids length:", len(ids)) # print(f"compression ratio: {len(tokens) / len(ids):.2f}X") num_merges = 2000 merges = {} # (int, int) -> int vocab = {idx: bytes([idx]) for idx in range(256)} # idx -> bytes verbose = True for i in range(num_merges): # count the number of times every consecutive pair appears stats = {} for chunk_ids in ids: # passing in stats will update it in place, adding up counts get_stats(chunk_ids, stats) # find the pair with the highest count pair = max(stats, key=stats.get) # mint a new token: assign it the next available id idx = 256 + i # replace all occurrences of pair in ids with idx ids = [merge(chunk_ids, pair, idx) for chunk_ids in ids] # save the merge merges[pair] = idx vocab[idx] = vocab[pair[0]] + vocab[pair[1]] # prints if verbose: print(f"merge {i+1}/{num_merges}: {pair} -> {idx} ({list(vocab[idx])}) had {stats[pair]} occurrences") def _encode_chunk(text_bytes): # return the token ids # let's begin. first, convert all bytes to integers in range 0..255 ids = list(text_bytes) while len(ids) >= 2: # find the pair with the lowest merge index stats = get_stats(ids) pair = min(stats, key=lambda p: merges.get(p, float("inf"))) # subtle: if there are no more merges available, the key will # result in an inf for every single pair, and the min will be # just the first pair in the list, arbitrarily # we can detect this terminating case by a membership check if pair not in merges: break # nothing else can be merged anymore # otherwise let's merge the best pair (lowest merge index) idx = merges[pair] ids = merge(ids, pair, idx) return ids def encode_ordinary(text): """Encoding that ignores any special tokens.""" # split text into chunks of text by categories defined in regex pattern text_chunks = text.split() # all chunks of text are encoded separately, then results are joined ids = [] for chunk in text_chunks: chunk_bytes = chunk.encode("utf-8") # raw bytes chunk_ids = _encode_chunk(chunk_bytes) ids.extend(chunk_ids) return ids inverse_special_tokens = {} def decode(ids): # given ids (list of integers), return Python string part_bytes = [] for idx in ids: if idx in vocab: part_bytes.append(vocab[idx]) elif idx in inverse_special_tokens: part_bytes.append(inverse_special_tokens[idx].encode("utf-8")) else: raise ValueError(f"invalid token id: {idx}") text_bytes = b"".join(part_bytes) text = text_bytes.decode("utf-8", errors="replace") return text tokens = text_string.encode("utf-8") ids = encode_ordinary(text_string) print("tokens length:", len(tokens)) print("ids length:", len(ids)) print(f"compression ratio: {len(tokens) / len(ids):.2f}X") [decode([x]) for x in encode_ordinary('कहा जाता था कि जंगल में एक बहुत पुरानी और जर्जर हवेली खड़ी थी, जिसमें एक राजा की आत्मा रहती थी।')] import gradio as gr def update(text): tokens = [decode([x]) for x in encode_ordinary(text)] # s = "[" # for t in tokens: # s = s + " '" + t + "' , " # s = s + ']' return tokens # return f"Welcome to Gradio, {name}!" examples = [ "कहा जाता था कि जंगल में एक बहुत पुरानी और जर्जर हवेली खड़ी थी, जिसमें एक राजा की आत्मा रहती थी।", "कहानी समाप्त होती है, लेकिन उनका प्यार एक नया आयाम पा चुका था। एक ऐसा प्यार जो उनकी रचना, उनके संगीत और उनके चित्रों में अमर हो गया था।", "एक दिन एक बूढ़ा आदमी राजा के महल में आता है। वह राजा को एक अनोखा हीरा दिखाता है और कहता है की इस हीरे से तुम जो कुछ भी मांगोगे वह तुम्हें मिल जाएगा। लेकिन उसने राजा को चेतावनी दी कि हर इच्छा की एक कीमत होगी। राजा बहुत खुश हो जाता है और हीरे को अपने पास रख लेता है। वह अपनी पहली इच्छा मांगता है कि उसे ढेर सारे सोने के सिक्के मिल जाए। अचानक से उसका कमरा सोने के सिक्कों से भर जाता है।" ] with gr.Blocks() as demo: gr.Markdown(""" # Tokenizer for Hindi Language ### Statistically computed using regular expressions and BPE over them. """) with gr.Row(): inp = gr.Textbox(placeholder="Enter the Sequence to be tokenised", lines = 3, label = "Input Sequence" ) out = gr.Textbox( label = "Tokens") gr.Examples(fn = update, cache_examples=False, examples = examples , inputs = inp) btn = gr.Button("Run") btn.click(fn=update, inputs=inp, outputs=out) demo.launch()