企画データのビルドスクリプトを作成

config/files.json

@@ -1,5 +1,11 @@
 {
-    "sudachi_config": "scripts/sudachi.json",
-    "user_dict": "resources/user_dict.csv",
-    "user_dict_generated": "data/generated/user.dic"
+    "sudachi": {
+        "sudachi_config": "scripts/sudachi.json",
+        "user_dict": "resources/user_dict.csv",
+        "user_dict_generated": "data/generated/user.dic"
+    },
+    "projects": {
+        "original_csv": "resources/test_data.csv",
+        "projects_json": "data/generated/projects.json"
+    }
 }

scripts/2_create_projects_data.py

@@ -0,0 +1,66 @@
+import os
+import sys
+import pandas as pd
+
+sys.path.append(os.path.abspath(os.path.join(os.path.dirname(__file__), "..")))
+
+from utils.logger import setup_logger
+from utils.path import get_file_path_from_config
+from utils.text_process import remove_invisible_chars
+from utils.io import json_dumps
+import schemas.projects as projects
+
+# --- ロギングの設定 ---
+log = setup_logger(__name__)
+
+
+def main():
+    """
+    CSVファイルを読み込み、Projectオブジェクトのリストを生成し、
+    project.jsonに書き出すスクリプト
+    """
+
+    log.info("企画データの生成を開始します。")
+    original_csv_path = get_file_path_from_config(
+        "original_csv", "resources/original_projects.csv"
+    )
+    output_json_path = get_file_path_from_config(
+        "output_json", "data/generated/projects.json"
+    )
+
+    # CSVファイルの読み込み
+    try:
+        df = pd.read_csv(original_csv_path, encoding="utf-8")
+    except FileNotFoundError:
+        log.error(f"CSVファイルが見つかりません: {original_csv_path}")
+        return
+    except pd.errors.ParserError as e:
+        log.error(f"CSVファイルの解析中にエラーが発生しました: {e}")
+        return
+    except Exception as e:
+        log.error(f"予期しないエラーが発生しました: {e}")
+        return
+
+    # テキスト列に対して不要な文字の除去を行う
+    for col in df.select_dtypes(include=["object"]).columns:
+        df[col] = df[col].apply(
+            lambda x: remove_invisible_chars(x) if isinstance(x, str) else x
+        )
+
+    # 一旦全列 object にしてから欠損値を None に変換
+    df = df.astype("object").where(pd.notnull(df), None)
+
+    # Projectオブジェクトに変換
+    # 列名がキーと一致している前提
+    projects_list: list[projects.Project] = [
+        projects.Project(**row) for row in df.to_dict(orient="records")
+    ]
+
+    # JSON に書き出し
+    json_dumps(projects_list, output_json_path)
+
+    log.info(f"企画データの生成が完了しました: {output_json_path}")
+
+
+if __name__ == "__main__":
+    main()

utils/io.py

@@ -0,0 +1,17 @@
+import json
+from pathlib import Path
+from typing import Any
+
+
+def _write_atomic(path: Path, data: str) -> None:
+    temp = path.with_suffix(path.suffix + ".tmp")
+    temp.write_bytes(data)
+    temp.replace(path)
+
+
+def json_dumps(obj: Any, path: str | Path) -> None:
+    """
+    オブジェクトをJSON形式のファイルに書き出す。
+    """
+    json_bytes = json.dumps(obj, ensure_ascii=False, indent=2).encode("utf-8")
+    _write_atomic(Path(path), json_bytes)

utils/text_process.py

@@ -0,0 +1,14 @@
+import re
+
+# U+202a (LRE) やその他の目に見えない制御文字を除去するための正規表現
+# ref: https://www.compart.com/en/unicode/category/Cf
+INVISIBLE_CHARS_PATTERN = re.compile(r"[\u200b-\u200c\u200e-\u200f\u202a-\u202e\ufeff]")
+
+
+def remove_invisible_chars(text: str) -> str:
+    """
+    文字列から目に見えない制御文字やフォーマット文字を除去する。
+    """
+    if not isinstance(text, str):
+        return text
+    return INVISIBLE_CHARS_PATTERN.sub("", text)