Duplicate from Yasu777/BabyWriter3

.gitattributes

@@ -0,0 +1,34 @@
+*.7z filter=lfs diff=lfs merge=lfs -text
+*.arrow filter=lfs diff=lfs merge=lfs -text
+*.bin filter=lfs diff=lfs merge=lfs -text
+*.bz2 filter=lfs diff=lfs merge=lfs -text
+*.ckpt filter=lfs diff=lfs merge=lfs -text
+*.ftz filter=lfs diff=lfs merge=lfs -text
+*.gz filter=lfs diff=lfs merge=lfs -text
+*.h5 filter=lfs diff=lfs merge=lfs -text
+*.joblib filter=lfs diff=lfs merge=lfs -text
+*.lfs.* filter=lfs diff=lfs merge=lfs -text
+*.mlmodel filter=lfs diff=lfs merge=lfs -text
+*.model filter=lfs diff=lfs merge=lfs -text
+*.msgpack filter=lfs diff=lfs merge=lfs -text
+*.npy filter=lfs diff=lfs merge=lfs -text
+*.npz filter=lfs diff=lfs merge=lfs -text
+*.onnx filter=lfs diff=lfs merge=lfs -text
+*.ot filter=lfs diff=lfs merge=lfs -text
+*.parquet filter=lfs diff=lfs merge=lfs -text
+*.pb filter=lfs diff=lfs merge=lfs -text
+*.pickle filter=lfs diff=lfs merge=lfs -text
+*.pkl filter=lfs diff=lfs merge=lfs -text
+*.pt filter=lfs diff=lfs merge=lfs -text
+*.pth filter=lfs diff=lfs merge=lfs -text
+*.rar filter=lfs diff=lfs merge=lfs -text
+*.safetensors filter=lfs diff=lfs merge=lfs -text
+saved_model/**/* filter=lfs diff=lfs merge=lfs -text
+*.tar.* filter=lfs diff=lfs merge=lfs -text
+*.tflite filter=lfs diff=lfs merge=lfs -text
+*.tgz filter=lfs diff=lfs merge=lfs -text
+*.wasm filter=lfs diff=lfs merge=lfs -text
+*.xz filter=lfs diff=lfs merge=lfs -text
+*.zip filter=lfs diff=lfs merge=lfs -text
+*.zst filter=lfs diff=lfs merge=lfs -text
+*tfevents* filter=lfs diff=lfs merge=lfs -text

README.md

@@ -0,0 +1,15 @@
+---
+title: BabyWriter
+emoji: 📉
+colorFrom: red
+colorTo: pink
+python_version: 3.9.13
+pip_version: 23.1.2
+sdk: streamlit
+sdk_version: 1.21.0
+app_file: app.py
+pinned: false
+duplicated_from: Yasu777/BabyWriter3
+---
+
+Check out the configuration reference at https://huggingface.co/docs/hub/spaces-config-reference

app.py

@@ -0,0 +1,215 @@
+import streamlit as st
+import os
+import subprocess
+from urllib.parse import urlparse
+import warnings
+from bs4 import BeautifulSoup
+import re
+from tinydb import TinyDB, Query
+from googleapiclient.discovery import build
+import urllib.request
+import urllib.error
+import datetime
+
+@st.cache_resource
+def get_top_urls_and_keyword(keyword):
+    # SecretsからGoogle APIキーとカスタム検索エンジンIDを取得
+    GOOGLE_API_KEY = os.getenv("GOOGLE_API_KEY")
+    CUSTOM_SEARCH_ENGINE_ID = os.getenv("CUSTOM_SEARCH_ENGINE_ID")
+
+    # Google Customサーチ結果を取得
+    service = build("customsearch", "v1", developerKey=GOOGLE_API_KEY)
+    response = service.cse().list(
+        q=keyword,
+        cx=CUSTOM_SEARCH_ENGINE_ID,
+        lr="lang_ja",
+        num=3,
+        start=1
+    ).execute()
+
+    # 上位3つのサイトURLを取得
+    urls = [item['link'] for item in response["items"][:3]]
+
+    return urls, keyword
+
+def get_valid_url(urls):
+    for url in urls:
+        try:
+            response = urllib.request.urlopen(url)
+            charset = response.headers.get_content_charset()
+            html = response.read().decode(charset)
+            soup = BeautifulSoup(html, "html.parser")
+            # 抽出したテキストが日本語であるかどうかを判定
+            if is_japanese_text(soup.get_text()):
+                return url
+        except urllib.error.URLError as e:
+            print(f"URLエラー: {e.reason}")
+        except urllib.error.HTTPError as e:
+            print(f"HTTPエラー: {e.code}")
+        except:
+            print("予期せぬエラーが発生しました。")
+
+    return None
+
+
+def is_japanese_text(text):
+    # 日本語のテキストであるかどうかを判定する条件を定義
+    japanese_pattern = r"[\p{Hiragana}\p{Katakana}\p{Han}ー〜、。「」【】]"
+    return bool(re.search(japanese_pattern, text))
+
+def is_valid_html(html):
+    with warnings.catch_warnings(record=True) as w:
+        warnings.simplefilter('always')
+        BeautifulSoup(html, 'html.parser')
+        return len(w) == 0
+
+# データベースへの接続を確立
+db = TinyDB("db.json")
+
+# 1日前のタイムスタンプを取得
+current_time = datetime.datetime.now()
+one_day_ago = current_time - datetime.timedelta(days=1)
+
+# データベースから1日前のタイムスタンプ以前のログを削除
+db.remove(Query().timestamp.test(lambda x: datetime.datetime.fromisoformat(x) <= one_day_ago))
+
+# Webアプリのタイトルと説明
+st.title("記事生成ウェブアプリ")
+st.write("このアプリは、与えられたキーワードを使用して記事を生成します。")
+
+# キーワード入力
+new_keyword = st.text_input("キーワード:")
+
+# キーワードごとにデータを保存するための識別子
+keyword_id = re.sub(r"\W+", "", new_keyword) if new_keyword else None
+
+# データベースから前回のキーワードを取得
+last_keyword = db.search(Query().keyword_id.exists())
+
+if new_keyword and (not last_keyword or last_keyword[0]['keyword_id'] != keyword_id):
+
+    # キーワードが変更された場合は、データベースから前回の結果を削除
+    if last_keyword:
+        db.remove(Query().keyword_id == last_keyword[0]['keyword_id'])
+    # output1.txt、output2.txt、output3.txtの内容をクリアする
+    with open("output1.txt", "w") as f:
+        f.write("")
+    with open("output2.txt", "w") as f:
+        f.write("")
+    with open("output3.txt", "w") as f:
+        f.write("")
+    # output0-1.txt、output0-2.txt、output0-3.txtを削除する
+    for i in range(1, 4):
+        filename = f"output0-{i}.txt"
+        if os.path.exists(filename):
+            os.remove(filename)
+            
+# 新しいキーワードが入力されたときにGoogle検索を行う
+if new_keyword:
+    urls, keyword = get_top_urls_and_keyword(new_keyword)
+    if len(urls) < 3:  # Google検索の結果が3つ以上であることを確認
+        st.error("Google検索の結果が3つ未満です。別のキーワードを試してみてください。")
+    else:
+        url1, url2, url3 = urls
+
+if keyword_id:  # キーワードIDが存在することを確認
+        # 出力欄
+        output1 = st.empty()
+        output2 = st.empty()
+        output3 = st.empty()
+
+        # データベースから編集済みの "output2.txt" を読み込む処理を追加
+        result = db.search((Query().name == "output2.txt") & (Query().keyword_id == keyword_id))
+        if result:
+            editable_output2 = result[0]["content"]
+        else:
+            editable_output2 = ""
+
+        # runボタン
+        if st.button("記事構成作成", key=f"run_button_{keyword_id}"):
+            with st.spinner("タイトル・見出し作成中..."):
+                urls, keyword = get_top_urls_and_keyword(new_keyword)
+                url1, url2, url3 = urls
+
+                # 重複チェックと同じサイト内のページチェッ���
+                parsed_urls = [urlparse(url) for url in urls]
+                if len(urls) != len(set(urls)):
+                    st.error("異なるURLを入力してください。")
+                    st.stop()
+                elif len(set([url.netloc for url in parsed_urls])) != len(urls):
+                    st.error("異なるサイトのURLを入力してください。")
+                    st.stop()
+
+                subprocess.run(["python3", "first.py", url1, url2, url3])
+
+            with open("output1.txt", "r", encoding="utf-8") as f:
+                content = f.read()
+            # "関連するテキスト部分:"とそれ以降の部分を削除
+            content = re.sub(r"\n関連するテキスト部分:.*", "", content, flags=re.DOTALL)
+            output1.text(content)
+            db.upsert({"name": "output1.txt", "content": content, "keyword_id": keyword_id},
+                      (Query().name == "output1.txt") & (Query().keyword_id == keyword_id))  # データベースに結果を保存
+
+            subprocess.run(["python3", "second.py", keyword])
+            with open("output2.txt", "r", encoding="utf-8") as f:
+                editable_output2 = f.read()
+                soup = BeautifulSoup(editable_output2, "html.parser")
+                h_tags = soup.find_all(re.compile("^h[1-3]$"))
+                output2.text(editable_output2)
+                existing_docs = db.search((Query().name == "output2.txt") & (Query().keyword_id == keyword_id))
+                if existing_docs:
+                    db.update(
+                        {"content": editable_output2, "tags": str(h_tags)},
+                        doc_ids=[doc.doc_id for doc in existing_docs],
+                    )
+                else:
+                    db.insert(
+                        {"name": "output2.txt", "content": editable_output2, "tags": str(h_tags),
+                         "timestamp": current_time.isoformat(), "keyword_id": keyword_id}
+                    )
+
+            st.success("処理が完了しました。")
+
+        # 編集欄を表示し、編集後の内容をeditable_output2に更新
+        editable_output2 = st.text_area("output2.txtを編集してください:", value=editable_output2)
+
+        # Plan-and-Execute Agentsのrun_third.py経由の処理
+        if st.button("記事作成"):
+            with st.spinner("記事作成中..."):
+                subprocess.run(["python3", "run_third.py", editable_output2, keyword_id])
+
+            # output3.txtの内容を読み込み、出力欄に表示
+            with open("output3.txt", "r", encoding="utf-8") as f:
+                content = f.read()
+            output3.text(content)
+
+        # 保存ボタン
+        if st.button("保存"):
+            # h2, h3タグのリミット
+            h2_limit = 5
+            h3_limit = 10
+
+            # 編集後のテキストからh2, h3タグの数をカウント
+            soup = BeautifulSoup(editable_output2, "html.parser")
+            h2_count = len(soup.find_all("h2"))
+            h3_count = len(soup.find_all("h3"))
+            
+            # h2, h3タグの数がリミットを超えていないかを確認
+            if h2_count > h2_limit or h3_count > h3_limit:
+                st.error(f"h2タグの数が{h2_limit}を、h3タグの数が{h3_limit}を超えています。")
+            elif not is_valid_html(editable_output2):
+                st.error("入力されたテキストは正しいHTML形式ではありません。")
+            else:
+                content = editable_output2
+                with open("output2.txt", "w", encoding="utf-8") as f:
+                    f.write(content)
+                db.upsert({"name": "output2.txt", "content": content, "timestamp": current_time.isoformat(),
+                "keyword_id": keyword_id}, (Query().name == "output2.txt") & (Query().keyword_id == keyword_id))  # データベースに変更を保存
+                st.write("output2.txt に変更が保存されました。")
+
+        # クリアボタン
+        if st.button("データクリア"):
+            db.remove(Query().keyword_id == keyword_id)
+            st.write("データベースがクリアされました。")
+else:
+    st.warning("キーワードを入力してください。")

first.py

@@ -0,0 +1,229 @@
+# -*- coding: utf-8 -*-
+
+import os
+import requests
+import re
+import jaconv
+import sys
+import openai
+from janome.tokenizer import Tokenizer
+from bs4 import BeautifulSoup
+from sklearn.feature_extraction.text import TfidfVectorizer
+from sklearn.decomposition import LatentDirichletAllocation
+import langchain
+from langchain import OpenAI
+from langchain.text_splitter import TokenTextSplitter
+from langchain.prompts import PromptTemplate
+from langchain.chains import LLMChain
+from langchain.chains.combine_documents.map_reduce import MapReduceDocumentsChain
+from langchain.chains.combine_documents.stuff import StuffDocumentsChain
+from typing import Any, List, Mapping, Optional
+from langchain.chat_models import ChatOpenAI
+import cchardet
+
+# APIキーの設定
+openai.api_key = os.getenv("OPENAI_API_KEY")
+
+url1 = sys.argv[1]
+url2 = sys.argv[2]
+url3 = sys.argv[3]
+
+urls = [url1, url2, url3]
+
+# エラーが発生したURLを保存するファイル
+error_url_file = "error_urls.txt"
+
+# エラーが発生したURLを読み込む
+try:
+    with open(error_url_file, "r") as f:
+        error_urls = f.read().splitlines()
+except FileNotFoundError:
+    error_urls = []
+
+texts = []
+num_topics = 3
+tfidf_threshold = 0.1  # TF-IDFの閾値
+n_top_words = 10  # 各トピックのトップNのキーワードを抽出
+
+stop_words = ["こちら","の", "に", "は", "を", "た", "が", "で", "て", "と", "し", "れ", "さ", "ある", "いる", "も", "する", "から", "な", "こと", "として", "い", "や", "れる", "など", "なっ", "ない", "この", "ため", "その", "あっ", "よう", "また", "もの", "という", "あり", "まで", "られ", "なる", "へ", "か", "だ", "これ", "によって", "により", "おり", "より", "による", "ず", "なり", "られる", "において", "ば", "なかっ", "なく", "しかし", "について", "せ", "だっ", "その後", "できる", "それ", "う", "ので", "なお", "のみ", "でき", "き", "つ", "における", "および", "いう", "さらに", "でも", "ら", "たり", "その他", "または", "ながら", "つつ", "とも", "これら", "ところ", "ここ", "です", "ます", "ましょ", "ください"]
+
+# janomeの初期化
+t = Tokenizer()
+
+def url_to_filepath(url):
+    return url.replace("https://", "").replace("/", "_").replace("?", "_").replace("&", "_")
+
+def extract_text_from_url(url, output_file):
+    try:
+        response = requests.get(url)
+        response.raise_for_status()  # Raises stored HTTPError, if one occurred.
+        encoding = cchardet.detect(response.content)['encoding']
+        response.encoding = encoding
+        text = response.text
+        text = re.sub(r"\d{3,}", "", text)
+        text = re.sub(r"<table.*?/table>", "", text, flags=re.DOTALL)
+        text = jaconv.h2z(text, kana=False, digit=True, ascii=True)
+        text = jaconv.z2h(text, kana=True, digit=False, ascii=True)
+
+        # ノーブレークスペースを通常のスペースに置換
+        text = text.replace('\xa0', ' ')
+
+        soup = BeautifulSoup(text, "html.parser")
+        p_tags = soup.find_all("p")
+        output_text = ""
+        for p in p_tags:
+            output_text += p.get_text()
+        output_text = output_text.replace("\n", "")
+        
+        # ノーブレークスペースを通常のスペースに置換
+        output_text = output_text.replace('\xa0', ' ')
+
+        output_dir = os.path.dirname(os.path.abspath(output_file))
+        os.makedirs(output_dir, exist_ok=True)  # ディレクトリを作成
+
+        with open(output_file, "w", encoding=encoding) as f:
+            f.write(output_text)
+
+        return output_text
+    except requests.HTTPError as http_err:
+        print(f'HTTP error occurred: {http_err}')  # Python 3.6
+    except Exception as err:
+        print(f'Other error occurred: {err}')  # Python 3.6
+    # エラーが発生したURLを記録
+    error_urls.append(url)
+    with open(error_url_file, "w") as f:
+        for error_url in error_urls:
+            f.write(error_url + "\n")
+    return None
+
+def extract_text_from_urls(urls: List[str]) -> List[str]:
+    extracted_texts = []
+    for i, url in enumerate(urls):
+        output_file = f"output0-{i+1}.txt"
+        if os.path.exists(output_file):
+            print(f"File already exists: {output_file}")
+            with open(output_file, "r", encoding="utf-8") as f:
+                text = f.read()
+        else:
+            print(f"Extracting text from: {url}")
+            text = extract_text_from_url(url, output_file)
+        if text and text != "エラー":
+            extracted_texts.append(text)
+    print("Extracted texts:", extracted_texts)  # テキストの出力
+    return extracted_texts
+
+# エラーが発生したURLをスキップ
+urls = [url for url in urls if url not in error_urls]
+
+extracted_texts = extract_text_from_urls(urls)
+
+combined_text = ""  # 合わせたテキスト
+for i, url in enumerate(urls):
+    output_file = f"output0-{i+1}.txt"
+    output_text = extract_text_from_url(url, output_file)
+    texts.append(output_text)
+    combined_text += output_text + " "  # 合わせたテキストに追加
+    
+# LDA for combined text
+combined_text = combined_text.lower()  # テキストを小文字に変換
+tokens = [token.surface for token in t.tokenize(combined_text)]  # テキストをトークン化
+words = [word for word in tokens if word not in stop_words]  # ストップワードを削除
+
+if words:
+    vectorizer = TfidfVectorizer(stop_words=stop_words)
+    X = vectorizer.fit_transform([' '.join([token.surface for token in t.tokenize(text)]) for text in texts])
+    print("Number of texts:", len(texts))  # テキストの数を出力
+    print("Shape of X:", X.shape)  # Xの形状を出力
+    feature_names = vectorizer.get_feature_names_out()
+
+    # LDA
+    lda = LatentDirichletAllocation(n_components=num_topics)
+    X_lda = lda.fit_transform(X)
+
+    # Extract top keywords for each topic
+    topic_keywords = [[] for _ in range(num_topics)]  # Store topic keywords
+    for topic_idx, topic in enumerate(lda.components_):
+        top_keyword_indices = topic.argsort()[:-n_top_words - 1:-1]
+        topic_keywords[topic_idx].extend([feature_names[i] for i in top_keyword_indices])
+
+    # Write topic keywords to output1.txt
+    with open("output1.txt", "w", encoding="utf-8") as f:
+        f.write("出現頻度の高いキーワードTOP{} :\n".format(n_top_words))
+        f.write("\n".join([", ".join(topic) for topic in topic_keywords]))
+        f.write("\n\n")
+else:
+    print("No words found for LDA processing.")
+
+# TF-IDF Vectorization
+vectorizer = TfidfVectorizer(stop_words=stop_words)
+X = vectorizer.fit_transform([' '.join([token.surface for token in t.tokenize(text)]) for text in texts])
+feature_names = vectorizer.get_feature_names_out()
+
+# TF-IDFスコアが閾値以上の特徴語を抽出
+high_tfidf_features = []
+for text_id in range(len(texts)):
+    text = texts[text_id].lower()  # テキストを小文字に変換
+    tokens = [token.surface for token in t.tokenize(text)]  # テキストをトークン化
+    words = [word for word in tokens if word not in stop_words]  # ストップワードを削除
+
+    if not words:
+        continue
+
+    vectorizer = TfidfVectorizer(stop_words=stop_words)
+    X = vectorizer.fit_transform([' '.join(words)])  # ボキャブラリを作成するためにテキストを使用
+    feature_names = vectorizer.get_feature_names_out()
+
+    feature_index= X.nonzero()[1]
+    top_keywords = [feature_names[i] for i in feature_index if X[0, i] >= tfidf_threshold][:n_top_words]
+    high_tfidf_features.append(top_keywords)
+
+    # Write high TF-IDF features to output1.txt
+    with open("output1.txt", "a", encoding="utf-8") as f:
+        f.write("重要なキーワード:\n")
+        f.write(", ".join(top_keywords))
+        f.write("\n\n")
+
+# Extract text subjects and related text parts
+model_name = "gpt-3.5-turbo-0613"
+llm = ChatOpenAI(model_name=model_name, temperature=0.7)
+text_splitter = TokenTextSplitter(chunk_size=5000, chunk_overlap=500)
+document_splits = []
+
+for file_path in ["output0-1.txt", "output0-2.txt", "output0-3.txt"]:
+    with open(file_path, "rb") as file:
+        content = file.read()
+    encoding = cchardet.detect(content)['encoding']
+    if encoding is None:
+        print(f"Warning: Could not determine encoding for {file_path}. File might contain binary data. Skipping this file.")
+        continue
+    try:
+        text = content.decode(encoding)
+        document_splits.extend(text_splitter.create_documents([text]))
+    except UnicodeDecodeError:
+        print(f"Error: Failed to decode {file_path} using {encoding}. Skipping this file.")
+        continue
+
+prompt_subject = PromptTemplate(
+    input_variables=["text"],
+    template="""Text: {text}
+Textの主題を抽出し、主題:〇〇という形で教えてください。Please tell me in Japanese.:
+*主題:
+*"""
+)
+
+chain_subject = LLMChain(llm=llm, prompt=prompt_subject, verbose=True)
+map_reduce_chain = MapReduceDocumentsChain(
+    llm_chain=chain_subject,
+    combine_document_chain=StuffDocumentsChain(llm_chain=chain_subject, verbose=True),
+    verbose=True
+)
+
+subjects = map_reduce_chain.run(input_documents=document_splits, token_max=50000)
+print(subjects)
+
+# Write the extracted subjects to output1.txt
+with open("output1.txt", "a", encoding="utf-8") as f:
+    f.write("主題:\n")
+    for subject in subjects:
+        f.write(subject + " ")
+    f.write("\n")

requirements.txt

@@ -0,0 +1,17 @@
+streamlit==1.23.1
+openai==0.27.2
+beautifulsoup4==4.11.2
+lxml==4.9.2
+jaconv==0.3.4
+requests==2.28.2
+tinydb==4.7.1
+scikit-learn==1.2.2
+janome==0.4.2
+langchain==0.0.228
+tiktoken==0.4.0
+google-api-python-client==2.87.0
+oauth2client<4.0.0
+cchardet==2.1.7
+wikipedia==1.4.0
+asyncio==3.4.3
+momento==1.6.1

run_third.py

@@ -0,0 +1,9 @@
+import sys
+import third
+
+editable_output2 = sys.argv[1]
+keyword_id = sys.argv[2]
+
+if __name__ == "__main__":
+    import asyncio
+    asyncio.run(third.main(editable_output2, keyword_id))

second.py

@@ -0,0 +1,45 @@
+# -*- coding: utf-8 -*-
+
+import openai
+import os
+import sys
+
+# APIキーの設定
+openai.api_key = os.getenv("OPENAI_API_KEY")
+
+# 検索キーワード
+keyword = sys.argv[1]
+
+# output.txtからテキストを読み込む
+with open("output1.txt", "r", encoding="utf-8") as f:
+    output1_text = f.read()
+
+# GPT-3モデルを使用して、指定されたキーワードとテキストに基づいて見出しを生成する
+response = openai.ChatCompletion.create(
+            model="gpt-3.5-turbo-0613",
+            messages=[
+                {"role": "system", "content": "あなたはライティングの専門家です。PREP法（結論・理由・具体例・結論の流れ）に則って見出しを構成してください。テキストは必ず日本語で生成してください。テキスト内に似た文章を作らないでください。同じ単語は3回まで使っていいものとします。"},
+                {"role": "user", "content": f'（検索キーワード）の感情分析を行った結果に基づいて、興味や関心を引きつける「（検索キーワード）を含めたタイトル」、興味や関心を引きつける「見出し」を生成してください。そしてそれぞれの見出しに沿って「小見出し」を適宜生成してください。タイトル、見出し、小見出しはPREP法に基づいて一貫性のあるものとしてください。タイトル、見出しおよび小見出しは順に「<h1>（検索キーワード）を含めたタイトル</h1>」「<h2>見出し</h2>」「<h3>1-1 小見出し</h3>、<h3>1-2 小見出し</h3>」という形にしてください。タイトル、見出し、そして小見出しは検索者が求める情報を整理して記載するようにしてください。トピッククラスターモデルを意識し、（テキスト）内の異なるトピックに明確な関連性がある場合は異なるトピックをまとめ「記事を一つ作成=タイトルを一つ作成」します。異なるトピックに明確な関連性がない場合は「記事を適宜複数作成=タイトルを適宜複数作成」してください。（テキスト）および（検索キーワード）から検索ニーズを考慮してください。なお、似たような見出しは避けてください。テキスト：\"{output1_text}\" 検索キーワード：\"{keyword}\"'
+                },
+            ],
+            temperature=0.7,
+            max_tokens=2000,
+
+        )
+result = response.choices[0]["message"]["content"].strip()
+
+# output2.txtにまとめたテキストを書き込む
+with open("output2.txt", "w", encoding="utf-8") as f:
+    f.write(result)
+
+# output2.txtが存在するか確認
+if os.path.exists("output2.txt"):
+    print("output2.txt exists.")
+else:
+    print("output2.txt does not exist.")
+
+# output2.txtの内容を表示
+with open("output2.txt", "r", encoding="utf-8") as f:
+    content = f.read()
+    print("Content of output2.txt:")
+    print(content)

third.py

@@ -0,0 +1,99 @@
+# -*- coding: utf-8 -*-
+
+import os
+import openai
+import json
+from langchain.chat_models import ChatOpenAI
+from langchain.experimental.plan_and_execute import PlanAndExecute, load_agent_executor, load_chat_planner
+from langchain.llms import OpenAI
+from langchain.utilities import GoogleSearchAPIWrapper
+from langchain.agents.tools import Tool
+from bs4 import BeautifulSoup
+import asyncio
+from datetime import timedelta
+
+# APIキーと検索エンジンIDの設定
+openai.api_key = os.getenv("OPENAI_API_KEY")
+GOOGLE_API_KEY = os.getenv("GOOGLE_API_KEY")
+CUSTOM_SEARCH_ENGINE_ID = os.getenv("CUSTOM_SEARCH_ENGINE_ID")
+
+async def main(editable_output2, keyword_id):
+    search = GoogleSearchAPIWrapper(google_cse_id=CUSTOM_SEARCH_ENGINE_ID, google_api_key=GOOGLE_API_KEY)
+
+    tools = [
+        Tool(
+            name = "Search",
+            func=search.run,
+            description="useful for when you need to answer questions about current events"
+        ),
+    ]
+
+    # 「Planner」,「Executor」, および Agentの定義
+    model_name = "gpt-3.5-turbo-16k"
+    llm = ChatOpenAI(model_name=model_name, temperature=0, max_tokens=1000)
+    planner = load_chat_planner(llm)
+    executor = load_agent_executor(llm, tools, verbose=True)
+    agent = PlanAndExecute(planner=planner, executor=executor, verbose=True, 
+    suffix='Answer should be in Japanese.')
+
+    # editable_output2 is the text of the article structure (h1, h2, h3...).
+    soup = BeautifulSoup(editable_output2, 'html.parser')
+
+    # Use the text of the h1 tag as the purpose.
+    h1_text = soup.find('h1').get_text()
+
+    # Use the text of the h2 tags as part of the purpose.
+    h2_texts = [h2.get_text() for h2 in soup.find_all('h2')]
+
+    # Use the text of the h3 tags as part of the purpose.
+    h3_texts = [h3.get_text() for h3 in soup.find_all('h3')]
+
+    # Generate the purpose.
+    purpose = f"about {h1_text}, focusing particularly on {' and '.join(h2_texts)}, to investigate the latest information and details"
+
+    # Specify the type of information you want to research.
+    if "人物" in h1_text or any("人物" in h2_text for h2_text in h2_texts):
+        # If the topic is about a person, specify that you want to research their name and career.
+        purpose += " including the person's name and career"
+    elif "商品" in h1_text or any("商品" in h2_text for h2_text in h2_texts):
+        # If the topic is about a product, specify that you want to research the brand name, product name, and price.
+        purpose += " including the brand name, product name, and price"
+    elif "イベント" in h1_text or any("イベント" in h2_text for h2_text in h2_texts):
+        # If the topic is about an event, specify that you want to research the event's content, schedule, and venue.
+        purpose += " including the event's content, schedule, and venue"
+
+    # Convert the purpose into an instruction in the form of a question.
+    instruction = f"Can you research {purpose} and include specific details such as names, ages, careers, product names, service names, store names, locations, and times in your response?"
+
+    # Run the instruction
+    output_text = agent.run(instruction)
+
+    # Prepare the system message
+    system_message = {
+        "role": "system",
+        "content": "あなたはプロのライターです。"
+    }
+
+    # Prepare the user message
+    user_message = {
+        "role": "user",
+        "content": f'"{h1_text}"という記事タイトルに沿った導入文を日本語で作成してください。その後、各見出し"{", ".join(h2_texts)}"についての導入文を作成してください。導入文はそれぞれの見出しの直下にある"{", ".join(h3_texts)}"の内容を考慮に入れて作成してください。その後、"{", ".join(h3_texts)}"についての詳細な本文を提供してください。各セクションは、読者の興味を引き、記事の主題を明確に示すものであるべきです。最後に、記事全体のまとめ、<h2>まとめ</h2>としてクローズしてください。以下に取得した情報を示します：{output_text}'
+    }
+
+    # Generate a new text using the ChatCompletion API
+    response = openai.ChatCompletion.create(
+        model="gpt-3.5-turbo-16k",
+        messages=[system_message, user_message],
+        temperature=0.7,
+    )
+    result = response.choices[0]["message"]["content"]
+    
+    # Save the generated message to output3.txt
+    with open('output3.txt', 'w', encoding='utf-8') as f:
+        if isinstance(result, dict):
+            f.write(json.dumps(result, ensure_ascii=False, indent=4))
+        else:
+            f.write(result)
+            
+    # Print the generated message
+    print(result)