Upload folder using huggingface_hub

modules/config/bhagavat_gita.py

@@ -7,7 +7,7 @@ from modules.scripture_helpers.bhagavat_gita_helper import (
 bhagavat_gita_config = {
     "name": "bhagavat_gita",
     "title": "Bhagavat Gita",
-    "category" : ScriptureCategoryConstants.ITHIHASAM,
+    "category" : ScriptureCategoryConstants.VEDANTA,
     "output_dir": "./output/bhagavat_gita",
     "collection_name": "bhagavat_gita_openai",
     "collection_embedding_fn": "openai",

modules/config/brahma_sutra.py

@@ -4,7 +4,7 @@ from modules.config.categories import ScriptureCategoryConstants
 brahma_sutra_config = {
     "name": "brahma_sutra",
     "title": "Brahma Sutra",
-    "category": ScriptureCategoryConstants.SUTRA,
+    "category": ScriptureCategoryConstants.VEDANTA,
     "output_dir": "./output/brahma_sutra",
     "collection_name": "brahma_sutra",
     "collection_embedding_fn": "openai",
@@ -12,13 +12,17 @@ brahma_sutra_config = {
     "unit_field": "_global_index",
     # "chapter_order": lambda: get_chapter_order_from_brahma_sutra(),
     "field_mapping": {
-        "text": "sutra_text",
+        "text": "sutra_text_sa",
+        "transliteration": "sutra_text",
         "unit_index": "sutra_number",
         "chapter_name": "adhikaranam_name",
+        "translation": "commentary",
+        "author": lambda doc: f"VedaVyasa",
+        "reference_link": "page_url",
         "relative_path": lambda doc: (
             "॥ ब्रह्मसूत्राणि ॥"
             if not doc.get("sutra_number") or doc.get("sutra_number") == "-"
-            else f"॥ ब्रह्मसूत्राणि ॥ {doc.get('adhyaya_number')}.{doc.get('pada_number')}.{doc.get('adhikaranam_number')}.{doc.get('sutra_index')} || {doc.get('sutra_number_sa')} ||"
+            else f"॥ ब्रह्मसूत्राणि ॥ {doc.get('adhyaya_number')}.{doc.get('section_number')}.{doc.get('adhikaranam_number')}.{doc.get('sutra_number')} || {doc.get('_global_index')} ||"
         ),
     },
     "metadata_fields": [
@@ -26,211 +30,201 @@ brahma_sutra_config = {
             "name": "adhikaranam_name",
             "datatype": "str",
             "label": "Adhikaranam Name",
-            "description": "Name of the Adhikaranam",
+            "description": "Name of the Adhikaranam in English",
             "show_as_filter": True,
             "component": "dropdown",
-            "lov": lambda: sorted(
-                [
-                    "अंशाधिकरणम्॥?",
-                    "अक्षराधिकरणम्॥",
-                    "अग्न्याद्यधिकरणम्॥",
-                    "अङ्गाधिकरणम्॥",
-                    "अङ्गावबद्धाधिकरणम्॥",
-                    "अचिराद्यधिकरणम्॥",
-                    "अण्वधिकरणम्॥",
-                    "अतिवाहिताघिकरणम्॥",
-                    "अदृश्यत्वाघिकरणम्॥",
-                    "अदृष्टाघिकरणम्॥",
-                    "अधिकारिकाघिकरणम्॥",
-                    "अध्यक्षाधिकरणम्॥",
-                    "अध्यानाघिकरणम्॥",
-                    "अनन्याधिपत्यधिकरणम्॥",
-                    "अनावृत्त्यघिकरणम्॥",
-                    "अनियमाघिकरणम्॥",
-                    "अनिष्टाघिकरणम्॥",
-                    "अनुकृत्यघिकरणम्॥",
-                    "अनुबन्धाघिकरणम्॥",
-                    "अनुमानिकाघिकरणम्॥",
-                    "अन्तयाम्यधिकरणम्॥",
-                    "अन्तराधिकरणम्॥",
-                    "अन्तराधिकरणम्॥?",
-                    "अन्तस्थत्वाघिकरणम् ॥",
-                    "अन्तृतत्वाधिकरणम्॥",
-                    "अन्याधिकरणम्॥",
-                    "अन्राबावाधिकरणम्॥",
-                    "अन्वयाधिकरणम्॥",
-                    "अपशूद्राधिकरणम्॥",
-                    "अपिसप्ताधिकरणम्॥",
-                    "अप्रायणाघिकरणम्॥",
-                    "अबधिकरणम्॥",
-                    "अभवाघिकरणम्॥",
-                    "अभ्युपमाघिकरणम्॥",
-                    "अम्बुवदधिकरणम्॥",
-                    "अरूपाधिकरणम्॥",
-                    "अविभागाघिकरणम्॥",
-                    "अविशेषाधिकरणम्॥",
-                    "अवृत्त्यधिकरणम्॥",
-                    "अव्यक्तश्वाघिकरणम्॥",
-                    "अश्रुतत्वाधिकरणम्॥",
-                    "असदघिकरणम्॥",
-                    "असदघिकरणम्॥?",
-                    "असम्भवाधिकरणम्॥?",
-                    "असावेत्रिकघधिकरणम्॥",
-                    "अहिकुण्डलाधिकरणम्॥",
-                    "आकाशाघधिकरणम्॥",
-                    "आकाशाधिकरणम् ॥",
-                    "आकाशाधिकरणम्॥",
-                    "आत्माघिकरणम्॥",
-                    "आदित्याधिकरणम्॥",
-                    "आद्मगहीत्यघिकरणम्॥",
-                    "आनन्दमयाधिकरण ॥",
-                    "आरम्भणाघिकरणम्॥",
-                    "आसीनाघिकरणम्॥",
-                    "इतराधिकरणम्॥",
-                    "इयदामननाघिकरणम्॥",
-                    "ईक्षत्यधिकरणम्॥",
-                    "उत्क्रान्त्यधिकरणम्॥?",
-                    "उत्पत्यधिकरणम्॥",
-                    "उपमाधिकरणम्॥",
-                    "उपसंहाराधिकरणम्॥",
-                    "उभयलिङ्गाधिकरणम्॥",
-                    "एकाघिकरणम्॥",
-                    "ऐहिकाघिकरणम्॥",
-                    "कममानुस्मृत्यधिकरणम्॥",
-                    "कम्पनाघिकरणम्॥",
-                    "कर्तृत्वाधिकरणम्॥",
-                    "कामाधिकरणम्॥",
-                    "काम्याधघिकरणम्॥",
-                    "कायोघिकरणम्॥",
-                    "कार्याधिकरणम्॥",
-                    "कृतात्ययाघिकरणम्॥",
-                    "कृत्स्नभावाघिकरणम्॥",
-                    "गुहाधिकरणम्॥",
-                    "चक्षुराध्यधिकरणम्॥",
-                    "चरणाधिकरणम्॥",
-                    "छन्दाघिकरणम्॥",
-                    "छन्दोऽभिघानाधिकरणम्॥",
-                    "जन्माधघिकरणम् ॥",
-                    "जिज्ञासाधिकरणम्",
-                    "ज्ञाधघिकरणम्॥",
-                    "ज्योतिरघधिकरणम्॥",
-                    "ज्योतिरघिकरणम्॥",
-                    "ज्योतिराद्यदिकरणम्॥?",
-                    "ज्योतिरुपक्रमाघिकरणम्॥",
-                    "तटिद्धिकरणम्॥",
-                    "तत् स्वाभाव्याधिकरणम्॥",
-                    "तत्पूर्वकत्वाघिकरणम्॥",
-                    "तत्राप्यधिकरणम्॥",
-                    "तथान्यत्वाघिकरणम्॥",
-                    "तदघिगमाधिकरणम्॥",
-                    "तदन्तराधिकरणम्॥",
-                    "तदभावाधिकरणम्॥",
-                    "तदोकोज्वळनाधिकरणम्॥",
-                    "तृतीयाघिकरणम्॥",
-                    "तेजोघिकरणम्॥?",
-                    "त्यात्मकत्वाघिकरणम्॥",
-                    "दहराधिकरणम्॥",
-                    "देवताघिकरणम्॥",
-                    "दोहयोगाघिकरणम्॥",
-                    "ध्युभ्याघिकरणम् ॥",
-                    "न प्रतीकाघिकरणम्॥",
-                    "न विलक्षणत्वाघिकरण्॥",
-                    "न शङ्खोपसङ्घहादिकरणम्(पञ्चजनाघिकरणम्)॥",
-                    "न सामान्याधकरणम्॥",
-                    "न स्थानतोऽप्यधिकरणम्॥",
-                    "नकास्मन्नाधकरणम्॥",
-                    "नवाघिकरणम्॥",
-                    "नवाधिकरणम्॥",
-                    "नातचिरणांधकरणम्॥",
-                    "नानाशब्दाघिकरणम्॥",
-                    "निर्धारणाधिकरणम्॥",
-                    "नैकस्मिन्नधिकरणम्॥?",
-                    "पञ्चवृत्���्यधिकरणम्॥?",
-                    "पत्युरघधिकरणम्॥",
-                    "परमताघधिकरणम्॥",
-                    "पराधिकरणम्॥",
-                    "पराभिध्यानाघिकरणम्॥",
-                    "परेणाधिकरणम्॥",
-                    "पादान्त्यप्राणाघिकरणम्॥",
-                    "पालकत्वाघिकरणम्॥",
-                    "पुंस्त्वाघिकरणम्॥?",
-                    "पुरुषाघिकरणम्॥",
-                    "पुरुषार्थाघिकरणम्॥",
-                    "पुरुषाष्माघिकरणम्॥",
-                    "पूर्वविकल्पाघिकरणम्॥",
-                    "प्रकृत्यधिकरणम्॥",
-                    "प्रथमाघिकरणम्॥",
-                    "प्रदानाघिकरणम्॥",
-                    "प्रबोधाघिकरणम्॥",
-                    "प्रभ्यातराधिकरणम्॥",
-                    "प्राणगत्यधिकरणम्॥",
-                    "प्राणाघिकरणम्॥",
-                    "प्राप्यधिरकणम्॥",
-                    "प्रियशिरस्त्वाधिकरणम्॥",
-                    "फलश्रुत्यधिकरणम्॥",
-                    "फलाधिकरणम्॥",
-                    "ब्रह्मणाघिकरणम्॥",
-                    "ब्रह्माघिकरणम्॥",
-                    "ब्राह्मणाघिकरणम्॥",
-                    "भाक्ताघिकरणम्॥",
-                    "भूताघिकरणम्॥",
-                    "भूमाघिकरणम्॥",
-                    "भूमाधिकरणम् ॥",
-                    "भोक्रघिकरणम्॥",
-                    "मन:प्राणाघिकरणम्॥",
-                    "मनोघिकरणम्॥",
-                    "मातरिश्वाघिकरणम्॥?",
-                    "मासाधिकरणम्॥",
-                    "मुक्ताघिकरणम्॥",
-                    "मुक्तिफलाधिकरणम्॥",
-                    "यथेताघिकरणम्॥",
-                    "यावदधिकरणम्॥?",
-                    "यावद्घिकरणम्॥",
-                    "योगयधिकरणम्॥",
-                    "योन्यधिकरणम्॥",
-                    "रचनानुपपत्त्यधिकरणम्॥?",
-                    "रताधकरणम्॥",
-                    "लिङ्गभूयस्त्वाधिकरणम्॥",
-                    "वाङ्मनसाधिकरणम्॥",
-                    "वामनाधिकरणम्॥",
-                    "वायुशब्दाधिकरणम्॥",
-                    "विकल्पाघिकरणम्॥",
-                    "विद्याधिकरणम्॥",
-                    "विध्याघिकरणम्॥",
-                    "विपययाघिकरणम्॥",
-                    "वियद्घिकरणम्॥?",
-                    "वृद्धिह्टासाधिकरणम्॥",
-                    "वेदाधिकरणम्॥",
-                    "वैद्युताघिकरणम्॥",
-                    "वैशेषिकाधिकरणम्॥?",
-                    "वैश्वनराधिकरणम्॥",
-                    "व्यतिहाराधिकरणम्॥",
-                    "शम्भृत्यधिकरणम्॥",
-                    "शास्त्रयोनित्वाघिकरणम्॥",
-                    "श्रुत्यधिकरणम्॥",
-                    "श्रेष्ठाधिकरणम्॥",
-                    "सङ्कल्पाघिकरणम्॥",
-                    "सङ्ज्ञाधिकरणम्॥?",
-                    "सत्याधिकरणम्॥",
-                    "सदधिकरणम्॥",
-                    "सन्ध्यादिकरणम्॥",
-                    "सप्तगात्यधिकरणम्॥",
-                    "समदायाघिकरणम्॥",
-                    "समन्वयाधिकरणम् ॥",
-                    "समाकर्षा���िकरणम्॥",
-                    "समानाधिकरणम्॥",
-                    "सम्पत्यघिकरणम्॥",
-                    "सम्पद्याघिकरणम्॥",
-                    "सर्वगतत्वाघिकरणम्॥",
-                    "सर्वभेदाधिकरणम्॥",
-                    "सुषुप्त्यधिकरणम्॥",
-                    "स्तित्यधिकरणम्॥",
-                    "स्थानविशेषाधिकरणम्॥",
-                    "स्थित्यधिकरणम्॥",
-                    "स्मृत्यधिकरणम्॥?",
-                    "हान्याघिकरणम्॥",
-                ]
-            ),
+            "lov": lambda: [
+                "Abadhikaranam",
+                "Abhavadhikaranam",
+                "Adaradhikaranam",
+                "Adhikaradhikaranam",
+                "Adhyakshadhikaranam",
+                "Adhyanadhikaranam",
+                "Adityadimatyadhikaranam",
+                "Adrisyatvadhikaranam",
+                "Agnihotradyadhikaranam",
+                "Agnindhanadyadhikaranam",
+                "Aihikadhikaranam",
+                "Aikatmyadhikaranam",
+                "Akasadhikaranam",
+                "Aksharadhikaranam",
+                "Aksharadhyadhikaranam",
+                "Amsadhikaranam",
+                "Anandadyadhikaranam",
+                "Anandamayadhikaranam",
+                "Anarabdhadhikaranam",
+                "Anavishkaradhikarnam",
+                "Angavabaddhadhikaranam",
+                "Anishtadikaryadhikaranam",
+                "Aniyamadhikaranam",
+                "Antaradhikaranam",
+                "Antaratvadhikaranam",
+                "Antaravijnanadhikaranam",
+                "Antaryamyadhikaranam",
+                "Anukrityadhikaranam",
+                "Anumanikadhikaranam",
+                "Anyadhisthitadhikaranam",
+                "Anyathatvadhikaranam",
+                "Apasudradhikaranam",
+                "Apratikalambanadhikaranam",
+                "Aprayanadhikaranam",
+                "Arambhanadhikaranam",
+                "Archiradyadhikaranam",
+                "Arthantaratvadivyapadesadhikaranam",
+                "Asambhavadhikaranam",
+                "Ashramakarmadhikaranam",
+                "Asinadhikaranam",
+                "Asrityupakramadhikaranam",
+                "Ativahikadhikaranam",
+                "Atmadhikaranam",
+                "Atmagrihityadhikaranam",
+                "Atmatvopasanadhikaranam",
+                "Attradhikaranam",
+                "Avibhagadhikaranam",
+                "Avibhagena drishtatvadhikaranam",
+                "Avrittyadhikaranam",
+                "Bahiradhikaranam",
+                "Balakyadhikaranam",
+                "Bhoktrapattyadhikaranam",
+                "Bhumadhikaranam",
+                "Brahmadhikaranam",
+                "Brahmadrishtyadhikaranam",
+                "Chamasadhikaranam",
+                "Characharavyapasrayadhikaranam",
+                "Daharadhikaranam",
+                "Dakshinayanadhikaranam",
+                "Devatadhikaranam",
+                "Dyubhvadyadhikaranam",
+                "Ekagratadhikaranam",
+                "Ekasminnasambhavadhikaranam",
+                "Gaterarthavattvadhikaranam",
+                "Guhapravishtadhikaranam",
+                "Hanyadhikaranam",
+                "Ikshatikarmavyapadesadhikaranam",
+                "Ikshatyadyadhikaranam",
+                "Indriyadhikaranam",
+                "Itarakshapanadhikaranam",
+                "Itarasamsleshadhikaranam",
+                "Itaravyapadesadhikaranam",
+                "Iyadadhikaranam",
+                "Jagadvyaparadhikaranam",
+                "Janmadyadhikaranam",
+                "Jijnasadhikaranam",
+                "Jnadhikaranam",
+                "Jyotiradhikaranam",
+                "Jyotiradyadhikaranam",
+                "Jyotischaranadhikaranam",
+                "Kamadyadhikaranam",
+                "Kampanadhikaranam",
+                "Kamyadhikaranam",
+                "Karanatvadhikaranam",
+                "Karmanusmritisabdavidhyadhikaranam",
+                "Kartradhikaranam",
+                "Karyadhikaranam",
+                "Karyakhyanadhikaranam",
+                "Kritatyayadhikaranam",
+                "Kritsnaprasaktyadhikaranam",
+                "Lingabhuyastvadhikaranam",
+                "Mahaddirghadhikaranam",
+                "Mano'dhikaranam",
+                "Matarisvadhikaranam",
+                "Mugdhe'rdhasampattyadhikaranam",
+                "Muktiphaladhikaranam",
+                "Na Vilakshanatvadhikaranam",
+                "Nabhavadhikaranam",
+                "Natichiradhikaranam",
+                "Paradhikaranam",
+                "Paramanujagadakaranatvadhikaranam",
+                "Paramarsadhikaranam",
+                "Parayattadhikaranam",
+                "Pariplavadhikaranam",
+                "Patyadhikaranam",
+                "Phaladhikaranam",
+                "Pradanadhikaranam",
+                "Pradipadhikaranam",
+                "Prakritaitavattvadhikaranam",
+                "Prakrtyadhikaranam",
+                "Pramitadhikaranam",
+                "Pranadhikaranam",
+                "Prananutvadhikaranam",
+                "Pranasraishthyadhikaranam",
+                "Pranotpattyadhikaranam",
+                "Pratardanadhikaranam",
+                "Pratikadhikaranam",
+                "Pratishedhadhikaranam",
+                "Prayojanatvadhikaranam",
+                "Prithivyadhikaranam",
+                "Purusharthadhikaranam",
+                "Purushavidyadhikaranam",
+                "Rachananupapattyadhikaranam",
+                "Rasmyadhikaranam",
+                "Sabdadibhedadhikaranam",
+                "Sabhavyapattyadhikaranam",
+                "Sahakaryantaravidhyadhikaranam",
+                "Samanadhikaranam",
+                "Samanvayadhikaranam",
+                "Sambandhadhikaranam",
+                "Sambhrityadhikaranam",
+                "Samjnamurtiklriptyadhikaranam",
+                "Sampadyavirbhavadhikaranam",
+                "Samparayadhikaranam",
+                "Samsaravyapadesadhikaranam",
+                "Samudayadhikaranam",
+                "Sandhyadhikaranam",
+                "Sankalpadhikaranam",
+                "Sankhyopasangrahadhikaranam",
+                "Saptagatyadhikaranam",
+                "Sarvabhedadhikaranam",
+                "Sarvadharmopapattyadhikaranam",
+                "Sarvannanumatyadhikaranam",
+                "Sarvapekshadhikaranam",
+                "Sarvatra Prasiddhyadhikaranam",
+                "Sarvavedantapratyayadhikaranam",
+                "Sarvavyakhyanadhikaranam",
+                "Sarvopetadhikaranam",
+                "Sastrayonitvadhikaranam",
+                "Satyadyadhikaranam",
+                "Section 3",
+                "Sishtaparigrahadhikaranam",
+                "Smrityadhikaranam",
+                "Sreshthanutvadhikaranam",
+                "Stutimatradhikaranam",
+                "Sushuptyutkrantyadhikaranam",
+                "Svamyadhikaranam",
+                "Tadabhavadhikaranam",
+                "Tadabhidhyanadhikaranam",
+                "Tadadhigamadhikaranam",
+                "Tadantarapratipattyadhikaranam",
+                "Tadbhutadhikaranam",
+                "Tadidadhikaranam",
+                "Tadoko'dhikaranam",
+                "Takshadhikaranam",
+                "Tannirdharanadhikaranam",
+                "Tejo'dhikaranam",
+                "Ubhayalingadhikaranam",
+                "Upasamharadarsanadhikaranam",
+                "Upasamharadhikaranam",
+                "Utkrantigatyadhikaranam",
+                "Utpattyasambhavadhikaranam",
+                "Vagadhikaranam",
+                "Vagadilayadhikaranam",
+                "Vaisamyanairghrinyadhikaranam",
+                "Vaisvanaradhikaranam",
+                "Vakyanvayadhikaranam",
+                "Vayukriyadhikaranam",
+                "Vayvadhikaranam",
+                "Vedhadyadhikaranam",
+                "Vidhuradhikaranam",
+                "Vidyajnanasadhanadhikaranam",
+                "Vikalpadhikaranam",
+                "Viparyayadhikaranam",
+                "Viyadadhikaranam",
+                "Vyaptyadhikaranam",
+                "Vyatiharadhikaranam",
+                "Yathasrayabhavadhikaranam",
+                "Yavadadhikaradhikaranam",
+                "Yogapratyuktyadhikaranam",
+            ],
             "is_unique": True,
         },
         {
@@ -242,7 +236,7 @@ brahma_sutra_config = {
             "is_unique": True,
         },
         {
-            "name": "pada_number",
+            "name": "section_number",
             "datatype": "int",
             "label": "Pada Number",
             "description": "Pada Number",
@@ -258,7 +252,7 @@ brahma_sutra_config = {
             "is_unique": True,
         },
         {
-            "name": "sutra_index",
+            "name": "sutra_number",
             "datatype": "int",
             "label": "Relative Sutra Number",
             "description": "Relative Sutra Number",
@@ -274,15 +268,29 @@ brahma_sutra_config = {
             "is_unique": True,
         },
         {
-            "name": "text",
+            "name": "sutra_text_sa",
             "label": "Lyrics in sanskrit",
             "datatype": "str",
             "description": "The original sutra in sanskrit.",
             "show_as_filter": True,
         },
+        {
+            "name": "sutra_text",
+            "label": "Lyrics in English",
+            "datatype": "str",
+            "description": "The original sutra in transliterated English.",
+            "show_as_filter": True,
+        },
+        {
+            "name": "commentary",
+            "label": "Detailed Commentary in English",
+            "datatype": "str",
+            "description": "Detailed commentary in English.",
+            "show_as_filter": True,
+        },
     ],
     "pdf_path": "./data/brahma_sutra.pdf",
-    "source": "https://sanskritdocuments.org/doc_z_misc_major_works/brahma_suutra.html",
+    "source": "https://www.swami-krishnananda.org/bs_1/bs_1.html",
     "language": "san+eng",
     "example_labels": [
         "Brahma Sutra",

modules/config/categories.py

@@ -11,7 +11,7 @@ class ScriptureCategoryConstants:
     PURANAM: str = "puranam"
     STOTRAM: str = "stotram"
     SOCIAL_MEDIA: str = "social"
-    SUTRA: str = "sutra"
+    VEDANTA: str = "vedanta"
 
 
 @dataclass
@@ -43,7 +43,7 @@ scripture_categories = ScriptureCategories(
             name=ScriptureCategoryConstants.SOCIAL_MEDIA, title="Social Media"
         ),
         ScriptureCategory(
-            name=ScriptureCategoryConstants.SUTRA, title="Sutras"
+            name=ScriptureCategoryConstants.VEDANTA, title="Vedanta"
         ),
     ]
 )