update

app.py

@@ -706,10 +706,12 @@ def split_data(df_string, word_base=100000):
     
     return segments
 
-def generate_content_by_open_ai(sys_content, user_content, response_format=None):
+def generate_content_by_open_ai(sys_content, user_content, response_format=None, model_name=None):
     print("LLM using OPEN AI")
-    # model = "gpt-4-turbo"
-    model = "gpt-4o"
+    if model_name == "gpt-4-turbo":
+        model = "gpt-4-turbo"
+    else:
+        model = "gpt-4o"
     print(f"model: {model}")
 
     messages = [
@@ -753,7 +755,7 @@ def generate_content_by_open_ai(sys_content, user_content, response_format=None)
 #     content = response_body.get('content')[0].get('text')
 #     return content
 
-def generate_content_by_LLM(sys_content, user_content, response_format=None, LLM_model=None):
+def generate_content_by_LLM(sys_content, user_content, response_format=None, LLM_model=None, model_name=None):
     # 使用 OpenAI 生成基于上传数据的问题
 
     # if LLM_model == "anthropic-claude-3-sonnet":
@@ -761,7 +763,8 @@ def generate_content_by_LLM(sys_content, user_content, response_format=None, LLM
     #     content = generate_content_by_bedrock(sys_content, user_content)
     # else:
     print(f"LLM: {LLM_model}")
-    content = generate_content_by_open_ai(sys_content, user_content, response_format)
+    print(f"model_name: {model_name}")
+    content = generate_content_by_open_ai(sys_content, user_content, response_format, model_name=model_name)
 
     print("=====content=====")
     print(content)
@@ -815,22 +818,28 @@ def generate_reading_passage(df_string, LLM_model=None):
     print("===generate_reading_passage===")
     segments = split_data(df_string, word_base=100000)
     all_content = []
+    model_name = "gpt-4-turbo"
+    # model_name = "gpt-4o"
 
     for segment in segments:
         sys_content = "你是一個擅長資料分析跟影片教學的老師，user 為學生，請精讀資料文本，自行判斷資料的種類，使用 zh-TW"
         user_content = f"""
-          請根據 {segment}
-          文本自行判斷資料的種類
-          幫我組合成 Reading Passage
-          並潤稿讓文句通順
-          請一定要使用繁體中文 zh-TW，並用台灣人的口語
-          產生的結果不要前後文解釋，也不要敘述這篇文章怎麼產生的
-          只需要專注提供 Reading Passage，字數在 500 字以內
-          敘述中，請把數學或是專業術語，用 Latex 包覆（$...$），並且不要去改原本的文章
-          加減乘除、根號、次方等等的運算式口語也換成 LATEX 數學符號
-          請直接給出文章，不用介紹怎麼處理的或是文章字數等等
-      """
-        content = generate_content_by_LLM(sys_content, user_content, response_format=None, LLM_model=LLM_model)
+          # 文本 {segment}
+
+          # rules:
+          - 根據文本，抓取重點
+          - 去除人類講課時口語的問答句，重新拆解成文章，建立適合閱讀語句通順的 Reading Passage
+          - 只需要專注提供 Reading Passage，字數在 500 字以內
+          - 敘述中，請把數學或是專業術語，用 Latex 包覆（$...$）
+          - 加減乘除、根號、次方等等的運算式口語也換成 LATEX 數學符號
+          
+          # restrictions:
+          - 請一定要使用繁體中文 zh-TW，這很重要
+          - 產生的結果不要前後文解釋，也不要敘述這篇文章怎麼產生的
+          - 請直接給出文章，不用介紹怎麼處理的或是文章字數等等
+          - 字數在 500 字以內  
+        """
+        content = generate_content_by_LLM(sys_content, user_content, response_format=None, LLM_model=LLM_model, model_name=model_name)
         all_content.append(content + "\n")
 
     # 將所有生成的閱讀理解段落合併成一個完整的文章
@@ -899,7 +908,7 @@ def generate_mind_map(df_string, LLM_model=None):
             注意：不需要前後文敘述，直接給出 markdown 文本即可
             這對我很重要
         """
-        content = generate_content_by_LLM(sys_content, user_content, response_format=None, LLM_model=LLM_model)
+        content = generate_content_by_LLM(sys_content, user_content, response_format=None, LLM_model=LLM_model, model_name=None)
         all_content.append(content + "\n")
 
     # 將所有生成的閱讀理解段落合併成一個完整的文章
@@ -1019,7 +1028,7 @@ def generate_summarise(df_string, metadata=None, LLM_model=None):
             ## ❓ 延伸小問題
                 - (一個 bullet point....請圍繞「課程名稱」為學習重點，進行重點整理，不要整理跟情境故事相關的問題)
         """
-        content = generate_content_by_LLM(sys_content, user_content, response_format=None, LLM_model=LLM_model)
+        content = generate_content_by_LLM(sys_content, user_content, response_format=None, LLM_model=LLM_model, model_name=None)
         all_content.append(content + "\n")
 
     if len(all_content) > 1:
@@ -1058,7 +1067,7 @@ def generate_summarise(df_string, metadata=None, LLM_model=None):
             ## ❓ 延伸小問題
                 - ( {all_content_cnt}  個 bullet point....請圍繞「課程名稱」為學習重點，進行重點整理，不要整理跟情境故事相關的問題)
         """
-        final_content = generate_content_by_LLM(sys_content, user_content, response_format=None, LLM_model=LLM_model)
+        final_content = generate_content_by_LLM(sys_content, user_content, response_format=None, LLM_model=LLM_model, model_name=None)
     else:
         final_content = all_content[0]
 
@@ -1140,7 +1149,7 @@ def generate_questions(df_string, LLM_model=None):
         }}
     """
     response_format = { "type": "json_object" }
-    questions = generate_content_by_LLM(sys_content, user_content, response_format, LLM_model)
+    questions = generate_content_by_LLM(sys_content, user_content, response_format, LLM_model, model_name=None)
     questions_list = json.loads(questions)["questions"]
     print("=====json_response=====")
     print(questions_list)
@@ -1200,7 +1209,7 @@ def generate_questions_answers(df_string, LLM_model=None):
             }}
         """
         response_format = { "type": "json_object" }
-        content = generate_content_by_LLM(sys_content, user_content, response_format, LLM_model)
+        content = generate_content_by_LLM(sys_content, user_content, response_format, LLM_model, model_name=None)
         content_json = json.loads(content)["questions_answers"]
         all_content += content_json
 
@@ -1303,14 +1312,21 @@ def generate_key_moments(formatted_simple_transcript, formatted_transcript, LLM_
     for segment in segments:
         sys_content = "你是一個擅長資料分析跟影片教學的老師，user 為學生，請精讀資料文本，自行判斷資料的種類，使用 zh-TW"
         user_content = f"""
-            請根據 {segment} 文本，提取出重點摘要，並給出對應的時間軸
-            1. 小範圍切出不同段落的相對應時間軸的重點摘要，
-            2. 每一小段最多不超過 1/5 的總內容，也就是大約 3~5段的重點（例如五～十分鐘的影片就一段大約1~2分鐘，最多三分鐘，但如果是超過十分鐘的影片，那一小段大約 2~3分鐘，以此類推）
-            3. 注意不要遺漏任何一段時間軸的內容 從零秒開始
-            4. 如果頭尾的情節不是重點，特別是打招呼或是介紹人物、或是say goodbye 就是不重要的情節，就不用擷取
-            5. 以這種方式分析整個文本，從零秒開始分析，直到結束。這很重要
-            6. 關鍵字從transcript  extract to keyword，保留專家名字、專業術語、年份、數字、期刊名稱、地名、數學公式
-            7. text, keywords please use or transfer zh-TW, it's very important
+            # 文本：{segment} 
+
+            # Rule
+            1. 請根據文本，提取出 5 段重點摘要，並給出對應的時間軸，每一段重點的時間軸範圍大於1分鐘，但小於 1/3 總逐字稿長度
+            2. 內容當中，如果有列舉方法、模式或是工具，就用 bulletpoint 或是 編號方式 列出，並在列舉部分的頭尾用[]匡列（example: FAANG 是以下五間公司： [1. A公司 2.B公司 3.C公司 4.D公司 5.E公司 ]，...）
+            3. 注意不要遺漏任何一段時間軸的內容 從零秒開始，以這種方式分析整個文本，從零秒開始分析，直到結束。這很重要
+            4. 結尾的時間如果有總結性的話，也要擷取
+            5. 如果頭尾的情節不是重點，特別是打招呼或是介紹自己是誰、或是finally say goodbye 就是不重要的情節，就不用擷取
+            6. 關鍵字從transcript extract to keyword，保留專家名字、專業術語、年份、數字、期刊名稱、地名、數學公式
+            7. 最後再檢查一遍，text, keywords please use or transfer to zh-TW, it's very important
+
+            # restrictions
+            1. 請一定要用 zh-TW，這非常重要！
+            2. 如果是疑似主播、主持人的圖片場景，且沒有任何有用的資訊，請不要選取
+            3. 如果頭尾的情節不是重點，特別是打招呼或是介紹自己是誰、或是finally say goodbye 就是不重要的情節，就不用擷取
 
             Example: retrun JSON 
             {{key_moments:[{{
@@ -1322,7 +1338,7 @@ def generate_key_moments(formatted_simple_transcript, formatted_transcript, LLM_
             }}
         """
         response_format = { "type": "json_object" }
-        content = generate_content_by_LLM(sys_content, user_content, response_format, LLM_model)
+        content = generate_content_by_LLM(sys_content, user_content, response_format, LLM_model, model_name=None)
         key_moments = json.loads(content)["key_moments"]
 
         # "transcript": get text from formatted_simple_transcript
@@ -1370,7 +1386,7 @@ def generate_key_moments_keywords(transcript, LLM_model=None):
             不用給上���文，直接給出關鍵字，使用 zh-TW，用逗號分隔， example: 關鍵字1, 關鍵字2
             transcript：{segment}
         """
-        content = generate_content_by_LLM(sys_content, user_content, response_format=None, LLM_model=LLM_model)
+        content = generate_content_by_LLM(sys_content, user_content, response_format=None, LLM_model=LLM_model, model_name=None)
         keywords = content.strip().split(",")
         all_content += keywords
     
@@ -1389,18 +1405,20 @@ def generate_key_moments_suggested_images(key_moment, LLM_model=None):
     # Prepare the user prompt with text and keywords
     sys_content = "你是一個擅長資料分析跟影片教學的老師，user 為學生，請精讀資料文本，自行判斷資料的種類，使用 zh-TW"
     user_content = f"""
+    - 文本: {text}
+    - 關鍵字: {keywords}
+    
     # Rule:
     1. 保留有圖表或是數據的圖片
-    2.根據以下的文本和關鍵字，選擇出最合適的圖片。
-        - 文本: {text}
-        - 關鍵字: {keywords}
+    2. 根據文本和關鍵字，選擇出最合適的圖片。
     3. 總是保留最後一張，除非他是一張空白圖片，或是一張沒有任何內容的圖片
     
     # Restrictions: 
-    1. 不要有相似或是概念重複的圖片
-    2. 移除整張圖片是黑色、藍色或是白色的圖片
-    3. 移除沒有任何內容的圖片
-    4. 不需要理會字幕的差益，只需要看圖片的內容
+    1. 如果是疑似主播、主持人的圖片場景，且沒有任何有用的資訊，請不要選取，這很重要
+    2. 不要有相似或是概念重複的圖片
+    3. 移除整張圖片是黑色、藍色或是白色的圖片
+    4. 移除沒有任何內容的圖片
+    5. 不需要理會字幕的差益，只需要看圖片的內容
 
     請根據這些信息，圖片列表如下:
     {images_list_prompt}
@@ -1413,7 +1431,7 @@ def generate_key_moments_suggested_images(key_moment, LLM_model=None):
     """
 
     response_format = { "type": "json_object" }
-    response = generate_content_by_LLM(sys_content, user_content, response_format, LLM_model)
+    response = generate_content_by_LLM(sys_content, user_content, response_format, LLM_model, model_name=None)
     print("===generate_key_moments_suggested_images===")
     print(response)
     print("===generate_key_moments_suggested_images===")
@@ -1603,7 +1621,10 @@ def get_key_moments_html(key_moments):
     key_moments_html = css
 
     for i, moment in enumerate(key_moments):
-        images = moment['suggested_images']
+        if "suggested_images" in moment:
+            images = moment['suggested_images']
+        else:
+            images = moment['images']
         image_elements = ""
         
         for j, image in enumerate(images):