refactoring

- App.pyの処理内容をSaliencyMapクラスに分割。
- 実行ログ出力用としてreporter.pyを追加。

src/app.py

@@ -6,54 +6,73 @@ import argparse
 from datetime import datetime
 import sys
 
-import cv2
 import gradio as gr
 import numpy as np
 
 import utils
-
+from saliency import SaliencyMap, convertColorMap
+from reporter import get_current_reporter
+        
 PROGRAM_NAME = 'SaliencyMapDemo'
 __version__ = utils.get_package_version()
+log = get_current_reporter()
 
-def compute_saliency(image: np.ndarray):
+def jetTab_Selected(image: np.ndarray):
+    #print(f"{datetime.now()}#jet")
+    saliency = SaliencyMap("SpectralResidual")
+    success, saliencyMap = saliency.computeSaliency(image)
+    retval = convertColorMap(image, saliencyMap, "jet")
+    #print(f"{datetime.now()}#jet")
+    
+    return retval
+    
+def hotTab_Selected(image: np.ndarray):
+    #print(f"{datetime.now()}#hot")
+    saliency = SaliencyMap("SpectralResidual")
+    success, saliencyMap = saliency.computeSaliency(image)
+    retval = convertColorMap(image, saliencyMap, "hot")
+    #print(f"{datetime.now()}#hot")
+    
+    return retval
+
+def submit_Clicked(image: np.ndarray, algorithm: str):
     """
-        入力画像から顕著性マップを作成しJET画像を返します。
-        Parameters
-    ----------
-    param1 : np.ndarray
-        入力画像
- 
-    Returns
-    -------
-    np.ndarray
-        カラーマップのJET画像
+    入力画像を元に顕著マップを計算します。
+
+    Parameters:
+        image: 入力画像
+        str: 顕著性マップのアルゴリズム
+    Returns:
+        np.ndarray: JET画像
+        np.ndarray: HOT画像
     """
-    # OpenCVのsaliencyを作成
-    saliency = cv2.saliency.StaticSaliencySpectralResidual_create()
-    # 画像の顕著性を計算
+    log.info(f"#submit_Clicked")
+    watch = utils.Stopwatch.startNew()
+    
+    saliency = SaliencyMap(algorithm)
     success, saliencyMap = saliency.computeSaliency(image)
+    log.info(f"#SaliencyMap computeSaliency()")
 
-    if success:
-        # 顕著性マップをカラーマップに変換
-        saliencyMap = (saliencyMap * 255).astype("uint8")
-        saliencyMap = cv2.applyColorMap(saliencyMap, cv2.COLORMAP_JET)
-        
-        #overlay = saliencyMap
-        # 元の画像とカラーマップを重ね合わせ
-        overlay = cv2.addWeighted(image, 0.5, saliencyMap, 0.5, 0)
-        
-        return overlay
-    else:
-        return image  # エラーが発生した場合は元の画像を返す
+    if not success:
+        return image, image # エラーが発生した場合は入力画像を返します。
+
+    log.info(f"#jet")        
+    jet = convertColorMap(image, saliencyMap, "jet")
+    #jet = None
+    log.info(f"#hot")
+    hot = convertColorMap(image, saliencyMap, "hot")
+    
+    saliency = None
+    log.info(f"#submit_Clicked End{watch.stop():.3f}")
+    return jet, hot
 
 def run(args: argparse.Namespace, watch: utils.Stopwatch) -> None:
     """
-        アプリの画面を作成し、Gradioサービスを起動します。
-    ----------
-    param1 : argparse.Namespace
-        コマンドライン引数
-    param2 : utils.Stopwatch
-        起動したスタート時間
+    アプリの画面を作成し、Gradioサービスを起動します。
+
+    Parameters:
+        args: コマンドライン引数
+        watch: 起動したスタート時間
     """
     # analytics_enabled=False
     # https://github.com/gradio-app/gradio/issues/4226
@@ -68,22 +87,32 @@ def run(args: argparse.Namespace, watch: utils.Stopwatch) -> None:
         gr.Markdown(
         """
         # Saliency Map demo.
-        1. inputタブで画像を選択します。
-        2. Submitボタンを押します。
-           ※画像は外部送信していません。ローカルで処理が完結します。
-        3. 結果は、overlayタブに表示します。
         """)
+        with gr.Accordion("取り扱い説明書", open=False):
+            gr.Markdown(
+            """
+            1. inputタブで画像を選択します。
+            2. Submitボタンを押します。
+               ※画像は外部送信していません。ローカルで処理が完結します。
+            3. 結果は、JETタブとHOTタブに表示します。  
+            """)
+
+        algorithmType = gr.Radio(["SpectralResidual", "FineGrained"], label="Saliency", value="SpectralResidual", interactive=True)
 
         submit_button = gr.Button("submit")
-        
+
         with gr.Row():
-            with gr.Tab("input"):
-                image_input = gr.Image()
-            with gr.Tab("overlay"):
-                image_overlay = gr.Image(interactive=False)
+            with gr.Tab("input", id="input"):
 
+                image_input = gr.Image(sources = ["upload", "clipboard"], interactive=True)
+            with gr.Tab("overlay(JET)"):
+                image_overlay_jet = gr.Image(interactive=False)
+                #tab_jet.select(jetTab_Selected, inputs=[image_input], outputs=image_overlay_jet)
+            with gr.Tab("overlay(HOT)"):
+                image_overlay_hot = gr.Image(interactive=False)
+                #tab_hot.select(hotTab_Selected, inputs=[image_input], outputs=image_overlay_hot, api_name=False)
         
-        submit_button.click(compute_saliency, inputs=image_input, outputs=image_overlay)
+        submit_button.click(submit_Clicked, inputs=[image_input, algorithmType], outputs=[image_overlay_jet, image_overlay_hot])
 
         gr.Markdown(
         f"""
@@ -93,7 +122,12 @@ def run(args: argparse.Namespace, watch: utils.Stopwatch) -> None:
         
         demo.queue(default_concurrency_limit=5)
         
-        print(f"{datetime.now()}:アプリ起動完了({watch.stop():.3f}s)")
+        log.info(f"#アプリ起動完了({watch.stop():.3f}s)")
         
         # https://www.gradio.app/docs/gradio/blocks#blocks-launch
-        demo.launch(max_file_size=args.max_file_size, server_port=args.server_port, inbrowser=True, share=False)
+        demo.launch(
+            max_file_size=args.max_file_size,
+            server_port=args.server_port,
+            inbrowser=True,
+            share=False,
+        )

src/launch.py

@@ -6,15 +6,18 @@ import argparse
 from datetime import datetime
 
 from utils import get_package_version, Stopwatch
+from reporter import get_current_reporter
 
 def main():
 	"""
 		エントリーポイント
-		コマンドライン引数の解析を行います
+		1, コマンドライン引数の解析を行います
+		2, アプリを起動します。
 	"""
-	print(f"{datetime.now()}:アプリ起動中")
+	log = get_current_reporter()
+	log.info("#アプリ起動中")
 	watch = Stopwatch.startNew()
-
+	
 	import app
 
 	parser = argparse.ArgumentParser(prog=app.PROGRAM_NAME, description="SaliencyMapDemo")
@@ -25,4 +28,4 @@ def main():
 	app.run(parser.parse_args(), watch)
 
 if __name__ == "__main__":
-	main()
+    main()

src/reporter.py

@@ -0,0 +1,49 @@
+# -*- coding: utf-8 -*-
+"""
+    Reporter
+    ログハンドラーが重複登録されるのを防ぐために1箇所で生成してログハンドラーを返します。
+    Example:
+        from reporter import get_current_reporter
+        
+        logger = get_current_reporter()
+        logger.info("message");
+"""
+from logging import Logger, getLogger, Formatter, StreamHandler
+from logging import DEBUG
+
+_reporters = []
+
+def get_current_reporter() -> Logger:
+    return _reporters[-1]
+
+def __make_reporter(name: str='SaliencyMapDemo') -> None:
+    """
+    ログハンドラーを生成します。
+    @see https://docs.python.jp/3/howto/logging-cookbook.html#logging-to-a-single-file-from-multiple-processes
+    
+    Parameters:
+        name: アプリ名
+    """
+    handler = StreamHandler() # コンソールに出力します。
+    formatter = Formatter('%(asctime)s%(message)s')
+    handler.setFormatter(formatter)
+    handler.setLevel(DEBUG)
+    
+    logger = getLogger(name)
+    logger.setLevel(DEBUG)
+    logger.addHandler(handler)
+    _reporters.append(logger)
+
+__make_reporter()
+
+def main():
+    """
+        Entry Point
+    """
+    assert len(_reporters) == 1
+    
+    logger = get_current_reporter()
+    logger.debug("main")
+
+if __name__ == "__main__":
+    main()

src/saliency.py

@@ -0,0 +1,75 @@
+# -*- coding: utf-8 -*-
+from typing import Literal
+
+import numpy as np
+import cv2
+
+
+class SaliencyMap:
+    """
+    SaliencyMap 顕著性マップを計算するクラスです。
+    Example:
+        from lib.saliency import SaliencyMap
+        
+        saliency = SaliencyMap("SpectralResidual")
+        success, saliencyMap = saliency.computeSaliency(image)
+    """
+    def __init__(
+        self,
+        algorithm: Literal["SpectralResidual", "FineGrained"] = "SpectralResidual",
+        ):
+        self.algorithm = algorithm
+        # OpenCVのsaliencyを作成します。
+        if algorithm == "SpectralResidual":
+            self.saliency = cv2.saliency.StaticSaliencySpectralResidual_create()
+        else:
+            self.saliency = cv2.saliency.StaticSaliencyFineGrained_create()
+        
+
+    def computeSaliency(self, image: np.ndarray):
+        """
+        入力画像から顕著性マップを作成します。
+
+        Parameters:
+            image: 入力画像
+
+        Returns:
+           bool:
+               true: SaliencyMap computed, false:NG
+           np.ndarray: 顕著性マップ               
+        """
+        # 画像の顕著性を計算します。
+        return self.saliency.computeSaliency(image)
+
+def convertColorMap(
+    image: np.ndarray,
+    saliencyMap: np.ndarray,
+    colormap_name: Literal["jet", "hot"] = "jet"):
+    """
+    顕著性マップをカラーマップに変換後に、入力画像に重ね合わせします。
+    
+    Parameters:
+        image: 入力画像
+        saliencyMap: 顕著性マップ
+        colormap_name: カラーマップの種類
+
+    Returns:
+        np.ndarray: 重ね合わせた画像(RGBA形式)
+    """
+    #image = (image * 255).astype("uint8")
+    #
+    #return cv2.applyColorMap(image, cv2.COLORMAP_JET)
+    
+    
+    # 顕著性マップをカラーマップに変換
+    saliencyMap = (saliencyMap * 255).astype("uint8")
+    if colormap_name == "jet":        
+        saliencyMap = cv2.applyColorMap(saliencyMap, cv2.COLORMAP_JET)
+    else:
+        saliencyMap = cv2.applyColorMap(saliencyMap, cv2.COLORMAP_HOT)
+    #return saliencyMap
+    # 入力画像とカラーマップを重ね合わせ
+    overlay = cv2.addWeighted(image, 0.5, saliencyMap, 0.5, 0)
+    #return overlay
+    
+    return cv2.cvtColor(overlay, cv2.COLOR_BGR2RGBA)