Better search UI.

.streamlit/config.toml

@@ -0,0 +1,5 @@
+[theme]
+backgroundColor="#222222"
+secondaryBackgroundColor="#111111"
+primaryColor="#44BBFF"
+textColor="#FFFFFF"

app.py

@@ -23,22 +23,20 @@ code {
 </style>
 """, unsafe_allow_html=True)
 
-# CACHING
-@st.cache_data
-def read_wisdom(fname):
-    return wisdom_extract.read_wisdom(fname)
-@st.cache_data
-def wx_embedding_similarity(queries, list):
-    return wisdom_extract.wx_embedding_similarity(queries, list)
-@st.cache_data
-def hf_embedding_similarity(queries, list):
-    wisdom_extract.hf_embedding_similarity(queries, list)
-@st.cache_data
-def closest_embedding(queries, wisdom):
-    return wisdom_extract.closest_embedding(queries, wisdom)
+
+@st.cache_resource
+def sim_model():
+    return wisdom_extract.hf_model()
+
+POETS = {
+    "sample/1.wis.txt": "زهير بن أبي سلمى",
+    "sample/2.wis.txt": "المتنبي",
+}
 @st.cache_data
-def query_transform(query):
-    return wisdom_extract.query_transform(query)
+def wisdom():
+    return wisdom_extract.read_wisdom(
+        sim_model(), POETS.keys())
+
 
 tabs = st.tabs(["بحث", "وزن", "إتمام"])
 
@@ -49,25 +47,35 @@ with tabs[0]:
         label="إبحث في الشعر",
         value=query,
     )
-    st.divider()
-    # FIND MATCHES
+
+    with st.spinner('جاري تحميل النموذج...'):
+        sim_model()
+    with st.spinner('جاري تجهيز الأشعار المحفوظة...'):
+        _, verses, meaning_embed, reason, srcs = wisdom()
+    with st.spinner('جاري تحليل كلمات البحث...'):
+        queries = wisdom_extract.query_transform(query)
+    with st.spinner('جاري البحث في الأشعار...'):
+        queries_embed = sim_model().encode(queries)
+        closest_poems = wisdom_extract.closest_embedding(
+                sim_model(), queries_embed, verses, meaning_embed, reason, srcs)
+
     table = []
-    for score, verse, reason in closest_embedding(
-                query_transform(query),
-                read_wisdom("sample/1.wis.txt"),
-            ):
-        table.append([verse, f"{score * 100:.1f}%", reason])
-    for idx, val in enumerate(table[:7]):
-        verse, score, reason = val
-        cols = st.columns([1, 8, 1, 1, 1])
+    for score, verse, reason, src in closest_poems:
+        table.append([verse, f"{score * 100:.1f}%", reason, src])
+
+    for idx, val in enumerate(table[:5]):
+        verse, score, reason, src = val
+        cols = st.columns([.5, 6.5, 2.5, 1, .5])
         with cols[0]:
             st.write(idx)
         with cols[1]:
             st.write(verse)
         with cols[2]:
-            st.write(score)
+            st.write(f"– {POETS[src]}")
         with cols[3]:
-            st.markdown("", help=reason[0][1])
+            st.write(score)
+        with cols[4]:
+            st.markdown("", help="\n\n".join(r[1] for i, r in enumerate(reason) if i < 3))
 
 with tabs[1]:
     BH = garood.config()['bahr']['kamil_1']
@@ -78,7 +86,7 @@ with tabs[1]:
             label="قم بوزن الشطر",
             value=query,
         )
-    st.divider()
+
     with cols[1]:
         st.selectbox("البحر", ["الكامل"], key="tab1")
     cols = st.columns([6, 3, 3])
@@ -105,7 +113,7 @@ with tabs[2]:
     with cols[1]:
         st.selectbox("البحر", ["الكامل"], key="tab2")
     with cols[0]:
-        AR = wisdom_extract.allam("allam/shakl.txt", {"input": query}).strip()    
+        AR = wisdom_extract.allam("allam/shakl.txt", {"input": query}).strip()
         with st.spinner('جاري توليد الإقتراحات...'):
             poss = complete.gen(query)
         with st.spinner(f"جاري التصفية من {len(poss)} اقتراحا..."):

complete.tmp

@@ -1,63 +1,151 @@
 SUGGESTING...
-كم حدث الأصحاب عن فتانا
-كم حدث الأصحاب عن هواننا
-كم حدث الأصحاب عن مكاننا
-كم حدث الأصحاب عن مفاخر
-كم حدث الأصحاب عن حكايات الجدات
-كم حدث الأصحاب عن علوم الطبيعة
-كم حدث الأصحاب عن قصص من قبل
-كم حدث الأصحاب من حركاته
-كم حدث الأصحاب عن آراء في السياسة
-كم حدث الأصحاب عن مزايدة
-كم حدث الأصحاب عما في غد
-كم حدث الأصحاب عن جرحكم
-كم حدث الأصحاب عن حبكم
-كم حدث الأصحاب عن زماننا
-كم حدث الأصحاب عن حرب وكدر
-كم حدث الأصحاب عن بطولات الأبطال
-كم حدث الأصحاب عن يومكم
-كم حدث الأصحاب عن أسرار
-كم حدث الأصحاب عن علم وخبر
-كم حدث الأصحاب عن حب وفرح
-كم حدث الأصحاب من بادرة
-كم حدث الأصحاب عن أشياخه
-كم حدث الأصحاب عن خير و شر
-كم حدث الأصحاب عن قصص التضحية
-كم حدث الأصحاب عن قصص الغابرين
-كم حدث الأصحاب عن تجارب السنين
-كم حدث الأصحاب عن نقاشات بين الدول
-كم حدث الأصحاب عن أساتذته
-كم حدث الأصحاب عن مغامرة
-كم حدث الأصحاب عن لقائنا
+كم حدث الأصحاب أن لا يظلموا
+كم حدث الأصحاب عن ذكر الحبيبة
+كم حدث الأصحاب أن لا يستنكفوا
+كم حدث الأصحاب في كل مجلس
+كم حدث الأصحاب أن لا يهاجروا
+كم حدث الأصحاب في العمل
+كم حدث الأصحاب في أي موطن
+كم حدث الأصحاب في كل منتدى
+كم حدث الأصحاب يوم الكريهة
+كم حدث الأصحاب من خبر قديم
+كم حدث الأصحاب في الأدب
+كم حدث الأصحاب من عجب
+كم حدث الأصحاب في حومة الوغى
+كم حدث الأصحاب عن رحل
+كم حدث الأصحاب يا سعد بعدهم
+كم حدث الأصحاب يا سعد عنهم
+كم حدث الأصحاب أن لا يفشوا
+كم حدث الأصحاب عن يوم عصيب
+كم حدث الأصحاب عن أمر فهاجوا
+كم حدث الأصحاب في الخجل
+كم حدث الأصحاب من خبر بعيد
+كم حدث الأصحاب أن لا يتطاولوا
 TASHKEELING...
-كَمْ حَدَّثَ الْأَصْحَابُ عَنْ فَتَانَا
-كَمْ حَدَّثَ الْأَصْحَابُ عَنْ جَرْحِكُمْ
-كَمْ حَدَّثَ الْأَصْحَابُ عَنْ حُبِّكُمْ
-كَمْ حَدَّثَ الْأَصْحَابُ عَنْ حِكَايَاتِ الْجَدَّاتِ
-كَمْ حَدَّثَ الْأَصْحَابُ عَنْ عُلُومِ الطَّبِيعَةِ
-كَمْ حَدَّثَ الْأَصْحَابُ عَنْ زَمَانِنَا
-كَمْ حَدَّثَ الْأَصْحَابَ عَنْ مَفَاخِرِ
-كَمْ حَدَّثَ الْأَصْحَابُ عَنْ مَزَايِدَةٍ
-كَمْ حَدْثَ الْأَصْحَابُ عَمَّا فِي غَدِ
-كَمْ حَدَثَ الْأَصْحَابَ مِنْ حَرَكَاتِهِ
-كَمْ حَدَّثَ الْأَصْحَابُ عَنِ حَرْبٍ وَكَدَرِ
-كَمْ حَدَّثَ الْأَصْحَابُ عَنْ قِصَصٍ مِنْ قَبْلُ
-كَمْ حَدَّثَ الْأَصْحَابَ عَنْ بَطَوَلَاتِ الْأَبْطَالِ
-كَمْ حَدَّثَ الْأَصْحَابُ عَن مَكَانِنا
-كَمْ حَدَّثَ الْأَصْحَابُ عَنْ أَرَاء فِي السِِّيَاسَةِ
-كَمْ حَدَّثَ الْأَصْحَابَ عَنْ هَوَانِنَا
-كَمْ حَدَّثَ الْأَصْحَابُ عَنْ أَسْرَارِ
-كَمْ حَدَّثَ الْأَصْحَابُ عَنِ أُسَاتِذَتِهِ
-كَمْ حَدَثَ الْأَصْحَابَ مِنْ بَادِرَةٍ
-كَمْ حَدَّثَ الْأَصْحَابُ عَنْ مُغَامَرَةٍ
-كَمْ حَدَّثَ الْأَصْحَابُ عَنْ أَشْيَاخِهِ
-كَمْ حَدَّثَ الْأَصْحَابُ عَنْ تَجَارُبِ السِّنِينَ
-كَمْ حَدَّثَ الْأَصْحَابَ عَن خَيْرٍ وَ شَرٍّ
-كَمْ حَدَّثَ الْأَصْحَابَ عَنْ قِصَصِ الْغَابِرِينَ
-كَمْ حَدَثَ الْأَصْحَابُ عَن قَصَصِ التَّضْحِيَةِ
-كَمْ حَدَّثَ الْأَصْحَابُ عَنْ نِقَاشَاتٍ بَيْنَ الدُّوَلِ
-كَمْ حَدَّثَ الْأَصْحَابُ عَنْ لِقَائِنَا
-كَمْ حَدَّثَ الْأَصْحَابُ عَن يَوْمِكُمْ * كَمْ حَدَّثَ الْأَحْصَابُ عَن يَوْمِكُمْ
-كَمْ حَدَّثَ الْأَصْحَابُ عَنْ عِلْمٍ وَخَبَرِ
-كَمْ حَدَثَ الْأَصْحَابُ عَنْ حُبٍّ وَفَرَحِ
+كَمْ حَدَّثَ الْأَصْحَابَ عَنْ رَحِلِ
+كَمْ حَدَثَ الْأَصْحَابُ يَوْمَ الْكَرِيهَةِ
+كَمْ حَدَّثَ الْأَصْحَابُ يَا سَعْدُ بَعْدَهُمْ
+كَمْ حَدَّثَ الْأَصْحَابُ فِي أَيِّ مَوَاطِنِ
+كَمْ حَدَثَ الْأَصْحَابُ مِنْ خَبَرٍ قَدِيمِ
+كَمْ حَدَّثَ الْأَصْحَابُ أَنَّ لَا يَظْلُمُوٓا
+كَمْ حَدَّثَ الْأَصْحَابُ فِي الْعَمَلِ
+كَمْ حَدَثَ الْأَصْحَابُ يَا سَعْدُ عَنْهُمْ
+كَمْ حَدَّثَ الْأَصْحَابُ فِي كُلِّ مَجْلِسِ
+كَمْ حَدَّثَ الْأَصْحَابُ فِي حَوْمَةِ الْوَغَى
+كَمْ حَدَثَ الْأَصْحَابُ فِي الْأَدَبِ
+كَمْ حَدَثَ الْأَصْحَابُ فِي كُلِّ مُنْتَدَى * مِنْ حُزْنِ مُوَلَّهِ أَوِ مِنْ سُحْرٍ مُسَتَجِدِ
+كَمْ حَدَثَ الْأَصْحَابُ مِنْ عَجَبِ
+كَمْ حَدَّثَ الْأَصْحَابُ أَنْ لَا يُهَاجِرُوا
+كَمْ حَدَّثَ الْأَصْحَابَ أَنْ لَا يَسْتَنْكِفُوا
+كَمْ حَدَّثَ الْأَصْحَابَ عَنْ ذِكْرِ الْحَبِيبَةِ
+كَمْ حَدَّثَ الْأَصْحَابُ عَنْ يَوْمٍ عَصِيبِ
+كَمْ حَدَثَ الْأَصْحَابُ فِي الْخَجَلِ
+كَمْ حَدَثَ الْأَصْحَابُ عَنْ أَمْرٍ فَشَبُّوا
+كَمْ حَدَّثَ الْأَصْحَابَ أَنْ لَا يُفْشُوا
+كَمْ حَدَّثَ الْأَصْحَابُ مِنْ خَبَرٍ بَعِيدِ
+كَمْ حَدَّثَ الْأَصْحَابُ أَنْ لَا يَتَطَاوَلُوا
+SUGGESTING...
+كم حدث الأصحاب عن مجد لنا
+كم حدث الأصحاب عني يا ترى
+كم حدث الأصحاب عن حب
+كم حدث الأصحاب عني بالحجا
+كم حدث الأصحاب عني بالنجا
+كم حدث الأصحاب عن ماضٍ لنا
+كم حدث الأصحاب عن حرب لنا
+كم حدث الأصحاب عني في الملا
+كم حدث الأصحاب عني بالغنى
+كم حدث الأصحاب عني من جفا
+كم حدث الأصحاب عني من وفا
+كم حدث الأصحاب في غشه
+كم حدث الأصحاب في حلمه
+كم حدث الأصحاب في عقله
+كم حدث الأصحاب عن كآبة
+كم حدث الأصحاب عن محبوبه
+كم حدث الأصحاب عن ثأر لنا
+كم حدث الأصحاب عن ألم
+كم حدث الأصحاب عني بالشجا
+كم حدث الأصحاب في يومه
+كم حدث الأصحاب في سيره
+كم حدث الأصحاب عني بالهوى
+كم حدث الأصحاب عن يوم لنا
+TASHKEELING...
+كَمْ حَدَّثَ الْأَصْحَابُ عَنْ مَحْبُوبِهِ
+كَمْ حَدَثَ الْأَصْحَابُ عَنِّي يَا تَرَى
+كَمْ حَدَثَ الْأَصْحَابُ فِي عَقْلِهِ
+كَمْ حَدَّثَ الْأَصْحَابُ عَنْ حُبِّ
+كَمْ حَدَّثَ الْأَصْحَابُ عَنِّي مِنْ وَفَا
+كَمْ حَدَثَ الْأَصْحَابُ عَنِّي مِنْ جَفَا
+كَمْ حَدَّثَ الْأَصْحَابُ عَنِّي فِي الْمَلَاحَمِيدُ
+كَمْ حَدَّثَ الْأَصْحَابُ عَن مَجْدٍ لَنَا
+كَمْ حَدَثَ الْأَصْحَابُ عَنْ حَرْبٍ لَنَا
+كَمْ حَدَّثَ الْأَصْحَابُ عَنْ كَأْبَةٍ
+كَمْ حَدَثَ الْأَصْحَابُ عَنِّي بِاْلْغِنَى * أَمْ كَمْ تَغَطَّى مِنْكُمُ الْهَائِمِ
+كَمْ حَدَثَ الْأَصْحَابُ فِي حُلُمِهِ
+كَمْ حَدَّثَ الْأَصْحَابَ فِي غِشِّهِ
+كَمْ حَدَّثَ الْأَصْحَابُ عَنْ مَااضٍ لَنَا
+كَمْ حَدَثَ الْأَصْحَابُ عَنِّي بِالْحَجَا * مَا ذَاكَ فِي خِصَالِ الْكَلْبِ مِنْ نَزَقِ
+كَمْ حَدَّثَ الْأَصْحَابُ عَنِّي بِالنَّجَا * كَمْ حَدَّثَ الْأَصْحَابُ عَنِّي بِالنَّجَا * كَمْ حَدَّثَ الْأَصْحَابُ عَنِّي بِالنَّجَا
+كَمْ حَدَّثَ الْأَصْحَابُ عَنِّي بِالشَّجَا
+كَمْ حَدَّثَ الْأَصْحَابُ عَنْ يَوْمٍ لَنَا
+كَمْ حَدَثَ الْأَصْحَابُ عَنْ أَلَمِ
+كَمْ حَدَّثَ الْأَصْحَاب�� عَنْ ثَأْرِ لَنَا
+كَمْ حَدَّثَ الْأَصْحَابُ عَنّي بِالهَوَى * مِنْ مُتَغَنٍّ سَامَحٍ سَخِينِ
+كَمْ حَدَثَ الْأَصْحَابُ فِي يَوْمِهِ
+كَمْ حَدَّثَ الْأَصْحَابُ فِي سَيْرِهِ
+SUGGESTING...
+كم حدث الأصحاب في يوم مباح
+كم حدث الأصحاب على متن الحصان
+كم حدث الأصحاب يا امرأة؟
+كم حدث الأصحاب عن عمر
+كم حدث الأصحاب عن ماضيينا
+كم حدث الأصحاب عن خير عيشة
+كم حدث الأصحاب عن علي
+كم حدث الأصحاب في خير بلدة
+كم حدث الأصحاب عن عمرو
+كم حدث الأصحاب عن يوم اللقاء
+كم حدث الأصحاب يا رفاق؟
+كم حدث الأصحاب يا هذا؟
+كم حدث الأصحاب يا فتي؟
+كم حدث الأصحاب عن جعفر
+كم حدث الأصحاب حتى بزغ نور الصباح
+كم حدث الأصحاب في ماض الزمان
+كم حدث الأصحاب حتى نامت العيون
+كم حدث الأصحاب عن بكر
+كم حدث الأصحاب عن خائن العصر
+كم حدث الأصحاب عن وقت الهناء
+كم حدث الأصحاب عن يوم الفراق
+كم حدث الأصحاب يا رجل؟
+كم حدث الأصحاب في شر ساعة
+كم حدث الأصحاب في يوم عراك
+كم حدث الأصحاب عن طيب مجلس
+كم حدث الأصحاب عن وقت الصفاء
+كم حدث الأصحاب يا قوم؟
+TASHKEELING...
+كَمْ حَدَثَ الْأَصْحَابُ يَا هَذَا
+كَمْ حَدَّثَ الْأَصْحَابُ عَنْ عَمْرُو
+كَمْ حَدَّثَ الْأَصْحَابُ عَنْ عَلِيِّ
+كَمْ حَدَّثَ الْأَصْحَابُ عَنْ جَعْفَرِ
+كَمْ حَدَّثَ الْأَصْحَابَ يَا فَتىً
+كَمْ حَدَّثَ الْأَصْحَابُ عَنْ عُمَرَ
+كَمْ حَدَثَ الْأَصْحَابُ يَا امْرَأَةَ
+كَمْ حَدَّثَ الْأَصْحَابُ عَنْ مَاضِيِينَا
+كَمْ حَدَّثَ الْأَصْحَابَ عَلَى مُتْنِ الْحِصَانِ
+كَمْ حَدَّثَ الْأَصْحَابُ حَتَّى بَزَغَ نُورُ الصَّبَاحِ
+كَمْ حَدَّثَ الْأَصْحَابُ فِي مَا ضِ الْزَّمَانِ
+كَمْ حَدَّثَ الْأَصْحَابُ عَن يَومِ اللِّقَاء
+كَمْ حَدَّثَ الْأَصْحَابُ فِي خَيْرِ بَلْدَةٍ * لَمْ أَرَ فِيهَا كَغَدِيرٍ وَحَوْحَلِ
+كَمْ حَدَثَ الْأَصْحَابُ يَا رِفَاقِ؟
+كَمْ حَدَّثَ الْأَصْحَابُ فِي يَوْمِ مُبَاحِ
+كَمْ حَدَّثَ الْأَصْحَابُ عَنْ خَيْرِ عِشْرَةٍ * كَمْ حَدَّثَ الْأَصْحَابُ عَنْ خَيْرِ عِشْرَةٍ * كَمْ حَدَّثَ الْأَصْحَابُ عَنْ خَيْرِ عِشْرَةٍ
+كَمْ حَدَّثَ الْأَصْحَابُ عَنْ وَقْتِ الْهَنَاءِ
+كَمْ حَدَّثَ الْأَصْحَابُ عَنْ بَكْرِ
+كَمْ حَدَّثَ الْأَصْحَابُ عَنْ يَوْمِ الْفِرَاقِ
+كَمْ حَدَّثَ الْأَصْحَابُ عَنْ خَائِنِ الْعَصْرِ
+كَمْ حَدَّثْتُ الْأَصْحَابَ حَتَّى نَامَتْ الْعُيُونُ
+كَمْ حَدَّثَ الْأَصْحَابُ فِي يَوْمِ عِرَاكِ
+كَمْ حَدَثَ الْأَصْحَابُ يَا قَوْمُ
+كَمْ حَدَّثَ الْأَصْحَابُ عَنْ وَقْتِ الصَّفَاءِ
+كَمْ حَدَّثَ الْأَصْحَابُ فِي شَرِّ سَاعَةٍ
+كَمْ حَدَّثَ الْأَصْحَابُ عَنْ طَيِّبِ مَجْلِسِ
+كَمْ حَدَّثَ الْأَصْحَابُ يَا رَجُلُ؟
 EVALUATING...

garood.tmp

@@ -1,3 +1,39 @@
+هَلْ غَادَرَ الشُّعَرَاءُ مِنْ مُتَرَدَّمِ
+a_axaaxx_xaaxoi_oaa_xi
+HLĠADRALŠŠGRAĀMNMTRDDM
+ 24    HL_ĠA_DRŠ_ŠGRA_ĀMN_MTRD_DM#_
+ 33    HLĠA_DRŠ_ŠGRA_ĀMN_MTRD_DM#_
+ 33    HL_ĠA_DRŠ_ŠGRA_ĀMN_MT_RD_DM#_
+ 33    HL_ĠA_DRŠ_ŠG_RA_ĀMN_MTRD_DM#_
+ 42    HLĠA_DRŠ_ŠGRA_ĀMN_MT_RD_DM#_
+ 42    HLĠA_DRŠ_ŠG_RA_ĀMN_MTRD_DM#_
+ 42    HL_ĠA_DRŠ_ŠG_RA_ĀMN_MT_RD_DM#_
+ 51    HLĠA_DRŠ_ŠG_RA_ĀMN_MT_RD_DM#_
+HL_ĠA_DRŠ_ŠGRA_ĀMN_MTRD_DM#_
+هَلْ غَادَرَ الشُّعَرَاءُ مِنْ مُتَرَدَّمِ
+a_axaaxx_xaaxoi_oaa_xi
+HLĠADRALŠŠGRAĀMNMTRDDM
+ 24    HL_ĠA_DRŠ_ŠGRA_ĀMN_MTRD_DM#_
+ 33    HLĠA_DRŠ_ŠGRA_ĀMN_MTRD_DM#_
+ 33    HL_ĠA_DRŠ_ŠGRA_ĀMN_MT_RD_DM#_
+ 33    HL_ĠA_DRŠ_ŠG_RA_ĀMN_MTRD_DM#_
+ 42    HLĠA_DRŠ_ŠGRA_ĀMN_MT_RD_DM#_
+ 42    HLĠA_DRŠ_ŠG_RA_ĀMN_MTRD_DM#_
+ 42    HL_ĠA_DRŠ_ŠG_RA_ĀMN_MT_RD_DM#_
+ 51    HLĠA_DRŠ_ŠG_RA_ĀMN_MT_RD_DM#_
+HL_ĠA_DRŠ_ŠGRA_ĀMN_MTRD_DM#_
+هَلْ غَادَرَ الشُّعَرَاءُ مِنْ مُتَرَدِّمِ
+a_axaaxx_xaaxoi_oaa_xi
+HLĠADRALŠŠGRAĀMNMTRDDM
+ 24    HL_ĠA_DRŠ_ŠGRA_ĀMN_MTRD_DM#_
+ 33    HLĠA_DRŠ_ŠGRA_ĀMN_MTRD_DM#_
+ 33    HL_ĠA_DRŠ_ŠGRA_ĀMN_MT_RD_DM#_
+ 33    HL_ĠA_DRŠ_ŠG_RA_ĀMN_MTRD_DM#_
+ 42    HLĠA_DRŠ_ŠGRA_ĀMN_MT_RD_DM#_
+ 42    HLĠA_DRŠ_ŠG_RA_ĀMN_MTRD_DM#_
+ 42    HL_ĠA_DRŠ_ŠG_RA_ĀMN_MT_RD_DM#_
+ 51    HLĠA_DRŠ_ŠG_RA_ĀMN_MT_RD_DM#_
+HL_ĠA_DRŠ_ŠGRA_ĀMN_MTRD_DM#_
 هَلْ غَادَرَ الشُّعَرَاءُ مِنْ مُتَرَدَّمِ
 a_axaaxx_xaaxoi_oaa_xi
 HLĠADRALŠŠGRAĀMNMTRDDM
@@ -10,61 +46,115 @@ HLĠADRALŠŠGRAĀMNMTRDDM
  42    HL_ĠA_DRŠ_ŠG_RA_ĀMN_MT_RD_DM#_
  51    HLĠA_DRŠ_ŠG_RA_ĀMN_MT_RD_DM#_
 HL_ĠA_DRŠ_ŠGRA_ĀMN_MTRD_DM#_
-كَمْ حَدَّثَ الْأَصْحَابُ عَنْ فَتَانَا
-a_a_xax_a_axoa_aaxax
-KMḤDDṮALĀṢḤABGNFTANA
- 82    KM_ḤD_DṮL_ĀṢ_ḤA_BG#_N#_F#_TNA_
- 82    KM_ḤD_DṮL_ĀṢ_ḤA_BG#_N#_F#_TNA_
- 91    KMḤD_DṮL_ĀṢ_ḤA_BG#_N#_F#_TNA_
- 91    KMḤD_DṮL_ĀṢ_ḤA_BG#_N#_F#_TNA_
- 91    KM_ḤD_DṮL_ĀṢḤA_BG#_N#_F#_TNA_
- 91    KM_ḤD_DṮL_ĀṢḤA_BG#_N#_F#_TNA_
- 95    KM_ḤD_DṮA_L#_Ā#_ṢḤA_BGNF_TNA_
-100    KMḤD_DṮL_ĀṢḤA_BG#_N#_F#_TNA_
-100    KMḤD_DṮL_ĀṢḤA_BG#_N#_F#_TNA_
-104    KMḤD_DṮA_L#_Ā#_ṢḤA_BGNF_TNA_
-119    KM_ḤD_DṮA_LĀṢ#_ḤB#_GNF#_TNA_
-128    KMḤD_DṮA_LĀṢ#_ḤB#_GNF#_TNA_
-كَمْ حَدَّثَ الْأَصْحَابُ عَنْ جَرْحِكُمْ
-a_a_xax_a_axoa_a_io_
-KMḤDDṮALĀṢḤABGNJRḤKM
- 37    KM_ḤD_DṮL_ĀṢ_ḤA_BGN_JR_Ḥ#_KM#_
- 37    KM_ḤD_DṮL_ĀṢ_ḤA_BGN_JR_Ḥ#_KM#_
- 46    KMḤD_DṮL_ĀṢ_ḤA_BGN_JR_Ḥ#_KM#_
- 46    KMḤD_DṮL_ĀṢ_ḤA_BGN_JR_Ḥ#_KM#_
- 46    KM_ḤD_DṮL_ĀṢḤA_BGN_JR_Ḥ#_KM#_
- 46    KM_ḤD_DṮL_ĀṢḤA_BGN_JR_Ḥ#_KM#_
- 46    KM_ḤD_DṮL_ĀṢ_ḤA_BGN_JRḤ#_KM#_
- 46    KM_ḤD_DṮL_ĀṢ_ḤA_BGN_JRḤ#_KM#_
- 55    KMḤD_DṮL_ĀṢḤA_BGN_JR_Ḥ#_KM#_
- 55    KMḤD_DṮL_ĀṢḤA_BGN_JR_Ḥ#_KM#_
- 55    KMḤD_DṮL_ĀṢ_ḤA_BGN_JRḤ#_KM#_
- 55    KMḤD_DṮL_ĀṢ_ḤA_BGN_JRḤ#_KM#_
- 55    KM_ḤD_DṮL_ĀṢḤA_BGN_JRḤ#_KM#_
- 55    KM_ḤD_DṮL_ĀṢḤA_BGN_JRḤ#_KM#_
- 64    KMḤD_DṮL_ĀṢḤA_BGN_JRḤ#_KM#_
- 64    KMḤD_DṮL_ĀṢḤA_BGN_JRḤ#_KM#_
-KM_ḤD_DṮL_ĀṢ_ḤA_BGN_JR_Ḥ#_KM#_
-كَمْ حَدَّثَ الْأَصْحَابُ عَنْ حُبِّكُمْ
-a_a_xax_a_axoa_o_xo_
-KMḤDDṮALĀṢḤABGNḤBBKM
- 37    KM_ḤD_DṮL_ĀṢ_ḤA_BGN_ḤB_B#_KM#_
- 37    KM_ḤD_DṮL_ĀṢ_ḤA_BGN_ḤB_B#_KM#_
- 46    KMḤD_DṮL_ĀṢ_ḤA_BGN_ḤB_B#_KM#_
- 46    KMḤD_DṮL_ĀṢ_ḤA_BGN_ḤB_B#_KM#_
- 46    KM_ḤD_DṮL_ĀṢḤA_BGN_ḤB_B#_KM#_
- 46    KM_ḤD_DṮL_ĀṢḤA_BGN_ḤB_B#_KM#_
- 46    KM_ḤD_DṮL_ĀṢ_ḤA_BGN_ḤBB#_KM#_
- 46    KM_ḤD_DṮL_ĀṢ_ḤA_BGN_ḤBB#_KM#_
- 55    KMḤD_DṮL_ĀṢḤA_BGN_ḤB_B#_KM#_
- 55    KMḤD_DṮL_ĀṢḤA_BGN_ḤB_B#_KM#_
- 55    KMḤD_DṮL_ĀṢ_ḤA_BGN_ḤBB#_KM#_
- 55    KMḤD_DṮL_ĀṢ_ḤA_BGN_ḤBB#_KM#_
- 55    KM_ḤD_DṮL_ĀṢḤA_BGN_ḤBB#_KM#_
- 55    KM_ḤD_DṮL_ĀṢḤA_BGN_ḤBB#_KM#_
- 64    KMḤD_DṮL_ĀṢḤA_BGN_ḤBB#_KM#_
- 64    KMḤD_DṮL_ĀṢḤA_BGN_ḤBB#_KM#_
-KM_ḤD_DṮL_ĀṢ_ḤA_BGN_ḤB_B#_KM#_
-كَمْ حَدَّثَ الْأَصْحَابُ عَنْ حِكَايَاتِ الْجَدَّاتِ
-a_a_xax_a_axoa_iaxaxix_a_xxi
-KMḤDDṮALĀṢḤABGNḤKAYATALJDDAT
+كَمْ حَدَثَ الْأَصْحَابُ يَا هَذَا
+a_aaax_a_axoaxaax
+KMḤDṮALĀṢḤABYAHḎA
+ 83    KM_Ḥ#_DṮA_L#_Ā#_ṢḤA_B#_YA_HḎA_
+ 92    KMḤ#_DṮA_L#_Ā#_ṢḤA_B#_YA_HḎA_
+106    K#_M#_ḤD#_ṮLĀ#_ṢḤA_B#_YA_HḎA_
+106    K#_M#_ḤD#_ṮLĀ#_ṢḤA_B#_YA_HḎA_
+107    K#_M#_ḤD#_ṮA_L#_ĀṢ#_ḤBYA_HḎA_
+كَمْ حَدَّثَ الْأَصْحَابُ عَنْ عَمْرُو
+a_a_xax_a_axoa_a_ox
+KMḤDDṮALĀṢḤABGNGMRW
+ 50    KM_ḤD_DṮL_ĀṢ_ḤA_BGN_G#_M#_RW#_
+ 50    KM_ḤD_DṮL_ĀṢ_ḤA_BGN_G#_M#_RW#_
+ 50    KM_ḤD_DṮL_ĀṢ_ḤA_BG#_N#_GM_RW#_
+ 50    KM_ḤD_DṮL_ĀṢ_ḤA_BG#_N#_GM_RW#_
+ 59    KMḤD_DṮL_ĀṢ_ḤA_BGN_G#_M#_RW#_
+ 59    KMḤD_DṮL_ĀṢ_ḤA_BGN_G#_M#_RW#_
+ 59    KMḤD_DṮL_ĀṢ_ḤA_BG#_N#_GM_RW#_
+ 59    KMḤD_DṮL_ĀṢ_ḤA_BG#_N#_GM_RW#_
+ 59    KM_ḤD_DṮL_ĀṢḤA_BGN_G#_M#_RW#_
+ 59    KM_ḤD_DṮL_ĀṢḤA_BGN_G#_M#_RW#_
+ 59    KM_ḤD_DṮL_ĀṢḤA_BG#_N#_GM_RW#_
+ 59    KM_ḤD_DṮL_ĀṢḤA_BG#_N#_GM_RW#_
+ 59    KM_ḤD_DṮL_ĀṢ_ḤA_BG#_NGM#_RW#_
+ 59    KM_ḤD_DṮL_ĀṢ_ḤA_BG#_NGM#_RW#_
+ 68    KMḤD_DṮL_ĀṢḤA_BGN_G#_M#_RW#_
+ 68    KMḤD_DṮL_ĀṢḤA_BGN_G#_M#_RW#_
+ 68    KMḤD_DṮL_ĀṢḤA_BG#_N#_GM_RW#_
+ 68    KMḤD_DṮL_ĀṢḤA_BG#_N#_GM_RW#_
+ 68    KMḤD_DṮL_ĀṢ_ḤA_BG#_NGM#_RW#_
+ 68    KMḤD_DṮL_ĀṢ_ḤA_BG#_NGM#_RW#_
+ 68    KM_ḤD_DṮL_ĀṢḤA_BG#_NGM#_RW#_
+ 68    KM_ḤD_DṮL_ĀṢḤA_BG#_NGM#_RW#_
+ 77    KMḤD_DṮL_ĀṢḤA_BG#_NGM#_RW#_
+ 77    KMḤD_DṮL_ĀṢḤA_BG#_NGM#_RW#_
+كَمْ حَدَّثَ الْأَصْحَابُ عَنْ عَلِيِّ
+a_a_xax_a_axoa_ai_x
+KMḤDDṮALĀṢḤABGNGLYY
+ 59    KM_ḤD_DṮL_ĀṢ_ḤA_BGN_G#_L#_YY#_
+ 59    KM_ḤD_DṮL_ĀṢ_ḤA_BGN_G#_L#_YY#_
+ 68    KMḤD_DṮL_ĀṢ_ḤA_BGN_G#_L#_YY#_
+ 68    KMḤD_DṮL_ĀṢ_ḤA_BGN_G#_L#_YY#_
+ 68    KM_ḤD_DṮL_ĀṢḤA_BGN_G#_L#_YY#_
+ 68    KM_ḤD_DṮL_ĀṢḤA_BGN_G#_L#_YY#_
+ 68    KM_ḤD_DṮL_ĀṢ_ḤA_BG#_NGL#_YY#_
+ 68    KM_ḤD_DṮL_ĀṢ_ḤA_BG#_NGL#_YY#_
+ 77    KMḤD_DṮL_ĀṢḤA_BGN_G#_L#_YY#_
+ 77    KMḤD_DṮL_ĀṢḤA_BGN_G#_L#_YY#_
+ 77    KMḤD_DṮL_ĀṢ_ḤA_BG#_NGL#_YY#_
+ 77    KMḤD_DṮL_ĀṢ_ḤA_BG#_NGL#_YY#_
+ 77    KM_ḤD_DṮL_ĀṢḤA_BG#_NGL#_YY#_
+ 77    KM_ḤD_DṮL_ĀṢḤA_BG#_NGL#_YY#_
+ 86    KMḤD_DṮL_ĀṢḤA_BG#_NGL#_YY#_
+ 86    KMḤD_DṮL_ĀṢḤA_BG#_NGL#_YY#_
+كَمْ حَدَّثَ الْأَصْحَابُ عَنْ جَعْفَرِ
+a_a_xax_a_axoa_a_ai
+KMḤDDṮALĀṢḤABGNJGFR
+ 50    KM_ḤD_DṮL_ĀṢ_ḤA_BGN_J#_G#_FR#_
+ 50    KM_ḤD_DṮL_ĀṢ_ḤA_BGN_J#_G#_FR#_
+ 50    KM_ḤD_DṮL_ĀṢ_ḤA_BG#_N#_JG_FR#_
+ 50    KM_ḤD_DṮL_ĀṢ_ḤA_BG#_N#_JG_FR#_
+ 59    KMḤD_DṮL_ĀṢ_ḤA_BGN_J#_G#_FR#_
+ 59    KMḤD_DṮL_ĀṢ_ḤA_BGN_J#_G#_FR#_
+ 59    KMḤD_DṮL_ĀṢ_ḤA_BG#_N#_JG_FR#_
+ 59    KMḤD_DṮL_ĀṢ_ḤA_BG#_N#_JG_FR#_
+ 59    KM_ḤD_DṮL_ĀṢḤA_BGN_J#_G#_FR#_
+ 59    KM_ḤD_DṮL_ĀṢḤA_BGN_J#_G#_FR#_
+ 59    KM_ḤD_DṮL_ĀṢḤA_BG#_N#_JG_FR#_
+ 59    KM_ḤD_DṮL_ĀṢḤA_BG#_N#_JG_FR#_
+ 59    KM_ḤD_DṮL_ĀṢ_ḤA_BG#_NJG#_FR#_
+ 59    KM_ḤD_DṮL_ĀṢ_ḤA_BG#_NJG#_FR#_
+ 68    KMḤD_DṮL_ĀṢḤA_BGN_J#_G#_FR#_
+ 68    KMḤD_DṮL_ĀṢḤA_BGN_J#_G#_FR#_
+ 68    KMḤD_DṮL_ĀṢḤA_BG#_N#_JG_FR#_
+ 68    KMḤD_DṮL_ĀṢḤA_BG#_N#_JG_FR#_
+ 68    KMḤD_DṮL_ĀṢ_ḤA_BG#_NJG#_FR#_
+ 68    KMḤD_DṮL_ĀṢ_ḤA_BG#_NJG#_FR#_
+ 68    KM_ḤD_DṮL_ĀṢḤA_BG#_NJG#_FR#_
+ 68    KM_ḤD_DṮL_ĀṢḤA_BG#_NJG#_FR#_
+ 77    KMḤD_DṮL_ĀṢḤA_BG#_NJG#_FR#_
+ 77    KMḤD_DṮL_ĀṢḤA_BG#_NJG#_FR#_
+كَمْ حَدَّثَ الْأَصْحَابَ يَا فَتىً
+a_a_xax_a_axaaxaa_
+KMḤDDṮALĀṢḤABYAFTN
+ 70    KM_ḤD_DṮA_L#_Ā#_ṢḤA_B#_YA_FTN_
+ 79    KMḤD_DṮA_L#_Ā#_ṢḤA_B#_YA_FTN_
+ 91    KM_ḤD_DṮA_LĀṢ#_ḤB#_YA_F#_TN#_
+ 91    KM_ḤD_DṮA_L#_Ā#_ṢḤA_BYF#_TN#_
+100    KMḤD_DṮA_LĀṢ#_ḤB#_YA_F#_TN#_
+100    KMḤD_DṮA_L#_Ā#_ṢḤA_BYF#_TN#_
+108    K#_M#_ḤD#_DṮL#_ĀṢ#_ḤBYA_FTN_
+108    K#_M#_ḤD#_DṮL#_ĀṢ#_ḤBYA_FTN_
+132    KMḤ#_DD#_ṮLĀ#_ṢḤA_BYF#_TN#_
+132    KMḤ#_DD#_ṮLĀ#_ṢḤA_BYF#_TN#_
+كَمْ حَدَّثَ الْأَصْحَابُ عَنْ عُمَرَ
+a_a_xax_a_axoa_oaa
+KMḤDDṮALĀṢḤABGNGMR
+ 63    KM_ḤD_DṮL_ĀṢ_ḤA_BG#_N#_G#_MR#_
+ 63    KM_ḤD_DṮL_ĀṢ_ḤA_BG#_N#_G#_MR#_
+ 72    KMḤD_DṮL_ĀṢ_ḤA_BG#_N#_G#_MR#_
+ 72    KMḤD_DṮL_ĀṢ_ḤA_BG#_N#_G#_MR#_
+ 72    KM_ḤD_DṮL_ĀṢḤA_BG#_N#_G#_MR#_
+ 72    KM_ḤD_DṮL_ĀṢḤA_BG#_N#_G#_MR#_
+ 76    KM_ḤD_DṮA_L#_Ā#_ṢḤA_BGNG_MR#_
+ 81    KMḤD_DṮL_ĀṢḤA_BG#_N#_G#_MR#_
+ 81    KMḤD_DṮL_ĀṢḤA_BG#_N#_G#_MR#_
+ 85    KMḤD_DṮA_L#_Ā#_ṢḤA_BGNG_MR#_
+100    KM_ḤD_DṮA_LĀṢ#_ḤB#_GNG#_MR#_
+109    KMḤD_DṮA_LĀṢ#_ḤB#_GNG#_MR#_
+كَمْ حَدَثَ الْأَصْحَابُ يَا امْرَأَةَ
+a_aaax_a_axoaxx_aaa
+KMḤDṮALĀṢḤABYAAMRĀT

wisdom_extract.py

@@ -30,40 +30,44 @@ def read_poems(poem_fname):
                 ans[-1].append(txt)
     return ans
 
-def read_wisdom(fname):
-    with open(fname, "r", encoding="utf-8") as file:
-        ans = []
-        for line in file:
-            txt = line.strip()
-            if len(txt) == 0: continue
-            if "*" in txt:
-                ans.append({"verse": txt, "reword": [], "wisdom": []})
-            elif txt.startswith("= "):
-                ans[-1]["reword"].append(txt[2:])
-            elif txt.startswith("- "):
-                ans[-1]["wisdom"].append(txt[2:])
-    return ans
-
-def wx_embedding():
-    from ibm_watsonx_ai import Credentials
-    from ibm_watsonx_ai.metanames import EmbedTextParamsMetaNames
-    from ibm_watsonx_ai.foundation_models import Embeddings
-
-    embed_params = {
-        EmbedTextParamsMetaNames.TRUNCATE_INPUT_TOKENS: 3,
-        EmbedTextParamsMetaNames.RETURN_OPTIONS: {"input_text": True},
-    }
+def read_wisdom(model, fnames):
+    wisdom = []
+    for fname in fnames:
+        with open(fname, "r", encoding="utf-8") as file:
+            for line in file:
+                txt = line.strip()
+                if len(txt) == 0: continue
+                if "*" in txt:
+                    wisdom.append({"verse": txt, "reword": [], "wisdom": [], "src": fname})
+                elif txt.startswith("= "):
+                    wisdom[-1]["reword"].append(txt[2:])
+                elif txt.startswith("- "):
+                    wisdom[-1]["wisdom"].append(txt[2:])
+    # make parallel list
+    verses = []
+    meaning = []
+    reason = []
+    srcs = []
+    for v in wisdom:
+        verses.append(v["verse"])
+        meaning.append(v["verse"])
+        reason.append("نص: " + v["verse"])
+        srcs.append(v["src"])
+        for r in v["reword"]:
+            verses.append(v["verse"])
+            meaning.append(r)
+            reason.append("شرح: " + r)
+            srcs.append(v["src"])
+        for r in v["wisdom"]:
+            verses.append(v["verse"])
+            meaning.append(r)
+            reason.append("حكمة: " + r)
+            srcs.append(v["src"])
+    return wisdom, verses, model.encode(meaning), reason, srcs
 
-    watsonx_embedding = Embeddings(
-        model_id="intfloat/multilingual-e5-large",
-        credentials=Credentials(
-            api_key = 'iYwxSbn8Kxe3UjV2OMS9tSe1dxPlgndTamTwET6-_GLX',
-            url="https://eu-de.ml.cloud.ibm.com",
-        ),
-        project_id="89e6b2dd-fcc5-4ee2-af0b-8e6d735493ed",
-        params=embed_params,
-    )
-    return watsonx_embedding
+def hf_model():
+    from sentence_transformers import SentenceTransformer
+    return SentenceTransformer("BAAI/bge-m3")
 
 def allam(template_fname, args):
     from ibm_watsonx_ai import Credentials
@@ -127,76 +131,63 @@ def poem_wisdom(poem_fname, wis_fname):
                 file.write("\n")
                 file.flush()
 
-def wx_embedding_similarity(queries, list):
-    from sklearn.metrics.pairwise import cosine_similarity
-    embedder = wx_embedding()
-    return cosine_similarity(
-        embedder.embed_documents(queries),
-        embedder.embed_documents(list),
-    )
-
-def hf_embedding_similarity(queries, list):
-    from sentence_transformers import SentenceTransformer
-    model = SentenceTransformer("BAAI/bge-m3")
-    return model.similarity(
-        model.encode(queries),
-        model.encode(list),
-    )
+def _query_transform(query):
+    ans = []
+    while len(ans) < 5:
+        for line in allam("allam/trans1.txt", {"input": query}).split("\n"):
+            txt = line.strip()
+            if len(txt) < 10: continue
+            if txt.startswith("- "):
+                ans.append(txt[2:])
+            elif txt.startswith("$شعر$ "):
+                ans.append(txt[6:])
+    return ans
 
-def closest_embedding(queries, wisdom):
+def query_transform(query):
+    N = 5
+    from concurrent.futures import ThreadPoolExecutor, as_completed
+    trans = set([query])
+    with ThreadPoolExecutor(max_workers=N) as executor:
+        futures = [
+            executor.submit(_query_transform, query)
+            for _ in range(N)
+        ]
+        for future in as_completed(futures):
+            for p in future.result(): trans.add(p)
+    return list(trans)
+
+def closest_embedding(model, queries_embed, verses, meaning_embed, reason, src):
     import numpy as np
     from collections import defaultdict
-    # make parallel list
-    verses = []
-    meaning = []
-    reason = []
-    for v in wisdom:
-        verses.append(v["verse"])
-        meaning.append(v["verse"])
-        reason.append("نص: " + v["verse"])
-        for r in v["reword"]:
-            verses.append(v["verse"])
-            meaning.append(r)
-            reason.append("شرح: " + r)
-        for r in v["wisdom"]:
-            verses.append(v["verse"])
-            meaning.append(r)
-            reason.append("حكمة: " + r)
     # find similarity
-    sim = np.array(hf_embedding_similarity(queries, meaning))
+    sim = np.array(model.similarity(queries_embed, meaning_embed))
     sim_sum = sim.sum(axis=0) / len(sim)
     # aggregate per verse
-    verse2score = defaultdict(lambda: [0, []])
-    for score, verse, reason in zip(sim_sum, verses, reason):
+    verse2score = defaultdict(lambda: [0, [], None])
+    for score, verse, reason, src in zip(sim_sum, verses, reason, src):
         verse2score[verse][0] += score
         verse2score[verse][1].append((score, reason))
+        verse2score[verse][2] = src
     # sort
     ans_list = [
-        (stuff[0] / len(stuff[1]), verse, sorted(stuff[1], reverse=True))
+        (stuff[0] / len(stuff[1]), verse, sorted(stuff[1], reverse=True), stuff[2])
         for verse, stuff in verse2score.items()
     ]
     return sorted(ans_list, reverse=True)
 
-def query_transform(query):
-    ans = [query]
-    while len(ans) < 5:
-        for line in allam("allam/trans1.txt", {"input": query}).split("\n"):
-            txt = line.strip()
-            if len(txt) < 10: continue
-            if txt.startswith("- "):
-                ans.append(txt[2:])
-            elif txt.startswith("$شعر$ "):
-                ans.append(txt[6:])
-    return ans
-
-def embed_find_rank(wis_fname, wis, verse):
-    verse_index = [a[1] for a in closest_embedding(
-            query_transform(wis),
-            read_wisdom(wis_fname),
-        )].index(verse)
+def embed_find_rank(model, wis_fnames, query, verse):
+    _, verses, meaning_embed, reason, src = read_wisdom(model, wis_fnames)
+    verse_index = [
+        a[1] for a in closest_embedding(
+            model, 
+            model.encode(query_transform(query)),
+            verses, meaning_embed, reason, src
+        )
+    ].index(verse)
     return verse_index
 
 if __name__ == "__main__":
+    model = hf_model()
     # poem_wisdom("sample/2.verses.txt", "sample/2.wis.txt")
     test_count = 0
     test_pass_count = 0
@@ -206,7 +197,7 @@ if __name__ == "__main__":
         wisdom = t[1]
         for w in wisdom:
             test_count += 1
-            rank = embed_find_rank("sample/2.wis.txt", w, verse)
+            rank = embed_find_rank(model, ["sample/2.wis.txt"], w, verse)
             print(f"{rank} {w}")
             if rank < 3:
                 test_pass_count += 1