prthmgoyl/slm-indic-bengali-pretrained

Info

This model is a small language model pretrained from scratch on Bengali Indic language corpora. It is designed to support low-resource language modeling tasks, especially text generation.

Repository: https://huggingface.co/prthmgoyl/slm-indic-bengali-pretrained

Model Description

• Developed by: Pratham Goyal

Direct Use

from transformers import AutoModelForCausalLM, AutoTokenizer


model_path = "prthmgoyl/slm-indic-bengali-pretrained"  


model = AutoModelForCausalLM.from_pretrained(model_path)

tokenizer = AutoTokenizer.from_pretrained(model_path) 
# device = "cuda"
# model.to(device)

For Bengali

input_text = "আমার নাম প্রথম"
inputs = tokenizer(input_text, return_tensors="pt")
# inputs = {key: value.to(device) for key, value in inputs.items()}

outputs = model.generate(
    inputs["input_ids"],
    max_length=1000,
    do_sample=True,      
    top_p=0.95,          
    temperature=0.8, 
    top_k=50,            
    num_return_sequences=1  
)

generated_text = tokenizer.decode(outputs[0], skip_special_tokens=True)

print(generated_text)

Output

আমার নাম প্রথম নয়। আমাদের কাছে আমি অনেক টাকা নিয়েছি। আমি তো অনেক কিছু নিয়ে আমার সঙ্গে কথা বলি। তারপর কি বলতে হবে। আমি তো এখন কথা বলতে চাইনি। তবে আমি শুধু এ ব্যাপারে জানতে পেরেছি। তার এ বিষয়ে একটা কথা বলার আছে। আমি নিজেও ভুলিনি। আশা করছি না। আমি এই বিষয়ে আপনার কিছু বলতে পারি না। আমার মনে হয়, আমার মনে হয় আমি খুব কম সময় ধরে চেষ্টা করব। এই পরিস্থিতিতে আমি একটা সময় কাজ করে যাচ্ছি। আমি আশা করি যে, সেটাকে খুব ভালোভাবে দেখতে হবে। এজন্য আমি আপনাদের পাশে আছি। এজন্য আপনাদের সহযোগিতা পেতে পারেন। উল্লেখ্য, ২০১৬ সালের ১২ মার্চ তারিখে প্রথম বিশ্বযুদ্ধ শুরু হয়। এটি ১৯৭৪ সালের ১ সেপ্টেম্বর অনুষ্ঠিত হয়। এরপর ১৯১৪ সালে এটি তার প্রথম মৃত্যু হয়। এ সময় তিনি যুক্তরাষ্ট্র ও যুক্তরাষ্ট্র, ভারত, ওমান, ইন্দোনেশিয়া, ইতালি, ইতালি ও ফ্রান্সের বিভিন্ন দেশে অংশগ্রহণ করে। ১৯৯১ সালে তিনি কানাডা সরকারের কাছ থেকে প্রথম বিশ্বব্যাপি ও ১৯৯৮ সাল পর্যন্ত এই চুক্তি সম্পাদন করে। ১৯৮৭ সালে তিনি বাংলাদেশ সরকারের অধীনস্থ উত্তরাধিকার ও তথ্য মন্ত্রণালয়ের চেয়ারম্যান হিসেবে দায়িত্ব পালন করেন। ১৮৯৭ সালের ৫ জানুয়ারি বাংলাদেশ সেনাবাহিনী প্রধান জেনারেল জিয়াউর রহমানের সহায়তায় বাংলাদেশ সরকার, জাতীয় সমাজতান্ত্রিক দল (এনএলডিপি) এর নেতৃত্বে বাংলাদেশ সরকার বাংলাদেশ ও বাংলাদেশ মধ্যম আয়ের দেশসমূহের মধ্যে সমঝোতার সঙ্গে যোগ দিয়েছিলেন। তিনি ১৯৯৯ সালে বাংলাদেশ আওয়ামী লীগ এবং ২০০১ সালের ১৭ জুন বাংলাদেশ ও পাকিস্তান সরকার কর্তৃক ঘোষিত একটি বৃহৎ ও দীর্ঘমেয়াদী চুক্তি স্বাক্ষর করেন। ১৯৭২ সালে ভারতের প্রধানমন্ত্রী নরেন্দ্র মোদি (ভারত)-এর প্রাপ্য সম্মাননা প্রণয়ন করে পাকিস্তান সরকার ভারতকে ‘অসমাপ্ত আত্মজীবনীমূলক ও প্রাদেশিক সরকার’ হিসেবে স্বীকৃতি প্রদান করা হয়। ১৯৬০ সালে পাকিস্তানের গভর্নর জেনারেল ড. শিরীন শারমিন চৌধুরী কর্তৃক ১৯৭৬ সালে আইনসভার সদস্য নির্বাচিত হন। ১৯৭১ সালের ১১ নভেম্বর তৎকালীন পূর্ব পাকিস্তান মুসলিম হলে পাকিস্তান সরকার তাঁকে পাকিস্তানি বাহিনীর পক্ষে যুদ্ধ করতে নির্দেশ দেন। ১৯৭১ সালের ২৬ ডিসেম্বর বাংলাদেশের মুক্তিযুদ্ধের নেতৃত্ব দিয়ে পাকিস্তানিদের ওপর হামলা চালিয়ে পাকিস্তানি সেনা এবং যুদ্ধাপরাধীদের বিচার দাবি করে। ২০০৩ সালের যুদ্ধ শেষে তৎকালীন পাকিস্তানি হানাদার বাহিনীর ওপর পাকিস্তানি সামরিক বাহিনী, পাকিস্তানি বাহিনী এবং সামরিক বাহিনীর সঙ্গেও পাকিস্তান যুদ্ধের বিষয়ে আলোচনা করে। এই সময় বাংলাদেশ সেনাবাহিনী ও সেনাবাহিনীর অন্যান্য বাহিনীর সঙ্গে ভারতের মধ্যে সম্পর্ক স্বাভাবিক হয়। তারা ইসরায়েলের সঙ্গে ইসরায়েলি সামরিক বাহিনীর সাথে যুক্ত ছিল। কিন্তু এই যুদ্ধ বিমানগুলো থেকে পালিয়ে যাওয়ার জন্য তাদের বিরুদ্ধে যুদ্ধ বাধাগ্রস্ত হয়। এই যুদ্ধক্ষেত্রগুলোর মধ্যে ছিল যুদ্ধ, যুদ্ধ, যুদ্ধ, যুদ্ধ ও যুদ্ধ এবং যুদ্ধাপরাধের বিচার; এই যুদ্ধটি পাকিস্তানের যুদ্ধবিমানের সময় ছিল সবচেয়ে বড় সন্ত্রাসবাদী গোষ্ঠী। তবে যুদ্ধকালীন সময় পাকিস্তান ও পাকিস্তানের পতাকা নিয়ে এই বিরোধের জের ধরেই পাকিস্তান সেনাবাহিনীকে ব্যবহার করা হয়। এর ফলে সামরিক শক্তিগুলো দখল করে নেয়। এ অবস্থায় পাকিস্তান, পাকিস্তান, সংযুক্ত আরব আমিরাত ও আরব আমিরাতের মধ্যে যে দ্বন্দ্ব বিদ্যমান ছিল, তা থেকে ইসরায়েলের মতো কিছু নেতা তাদের ওপর নৃশংস হামলার মূল কারণ ছিল। আর এ ধরনের অস্ত্র প্রয়োগে নিষেধাজ্ঞা ও অস্ত্রের ব্যবহার আরও বৃদ্ধি করা হয়েছে। এই ক্ষেপণাস্ত্রের মধ্যে উল্লেখযোগ্য হলো, ইরান ও রাশিয়ার সামরিক বাহিনীর ওপর হামলার ঘটনা। ‘এখানে আমরা কী কী ভাবব?’ ‘আকাশ ও অন্যান্য ধর্মের ওপর আমাদের’ নিন্দা করা হয়। আমাদের ধারণা, ‘আমার মনে হয় এই অরাজকতাটি কেবল আমার জন্য জরুরি। সে সময় দেশের বাইরে থেকে অনেক দূর এগিয়ে ছিল। আমরা নিজেদের মধ্যে বিশ্বাস করতে চাই, জনগণের মধ্যেও সেই ভাবনা থেকেই যেতে পারবো।’ ‘আমি বিশ্বাস করি, আপনারা কী বলবেন? আমি সব সময় আমার মতামত শুনেছি। আপনারা আমার দেশপ্রেমিক। আমাদের সবার জন্য আমরা সেই পথ দেখাতে পারি। আমরা আজ যদি আপনাদের সাথে দেখা না হয়, আমরা হয়তো তোমাকে নিয়ে আসব, আপনাদেরকে আপনি কী বুঝাবেন।’ (ক) “আমরা চাই, আমার ভাই, আপনার স্ত্রী, ভাই, ভাই বোন, আমার সঙ্গে। আমি এক আত্মীয়ের কাছে আমার বন্ধু। আমি যখন আমার সাথেই কথা বলি তখন আমি আমাকে চিনতে পারতাম, তখন আমি আমার স্ত্রীকে নিয়ে যাই। আমি আমার বন্ধু, আমি তোমাকে নিয়ে খুব খুশি। আমি আমার সাথে থাকতাম। আমি তো আমার সাথে যেতাম। আমি ওর কাছে চলে এসেছি, আমি আর আমার বউকে ডেকে নিয়েছি। তারপর আমি আমার মা, বোন, স্ত্রী, ভাই, আমার স্ত্রী, আমার মা আর আমার বাবাকে। আমার স্বামীকে আমি নিয়ে একটা বড় ছেলের সাথে গল্প করি, আমার খুব ছোট ছিলাম। কিন্তু আমি আমার সাথে দেখা করতে পারছি না। আমার কাছে একটি মেয়ে ছিল, তিনি আমাকে বললেন, আমার বোনের সাথে আমার স্ত্রীও ছিল। আর আমার বন্ধু আমাকে কিছু না বলে আমি আমার স্বামীকে বলতে চাইনা। আমি তার পরিবারের কাছে জানতে চাই। তার উপর যদি আমি কৃতজ্ঞ থাকতাম যে, আমি আমার বাবাকে কিছু করতে চাই। আমাকে ও আমাকে খুব সুন্দর একটি মেয়ে হিসেবে মেনে নিতে পারেন। আমি আর আমার ছেলে মেয়েরা বিয়ে করতে চাইনা। আমার বাবা-মা ছিলেন, আমি আমার বাবাও। আমার বাবা-মাকে হত্যা করে আমি বিয়ে করছি। আমার ছেলের বাবা, বোন