Force streamer.end() in finally — transformers 5.x doesn't always auto-call it

src/kpaa/llm/zerogpu_backend.py

@@ -159,9 +159,17 @@ class ZeroGPUBackend:
                         print(f"[kpaa.zerogpu] generate() returned normally", flush=True)
                     except Exception as e:
                         print(f"[kpaa.zerogpu] generate() raised: {type(e).__name__}: {e}", flush=True)
-                        # streamer 의 종료 신호 — 이게 없으면 next(streamer) 가 영원히 블록.
-                        streamer.end()
                         raise
+                    finally:
+                        # transformers 5.x 에서 streamer.end() 가 generate 종료 시점에
+                        # 자동 호출되지 않는 케이스가 있음 → next(streamer) 가 영원히
+                        # 블록. 성공/실패 모두 명시적으로 end() 호출해 stop_signal
+                        # 을 큐에 넣어 consumer 의 StopIteration 을 보장.
+                        try:
+                            streamer.end()
+                            print(f"[kpaa.zerogpu] streamer.end() called", flush=True)
+                        except Exception as e:
+                            print(f"[kpaa.zerogpu] streamer.end() failed: {e}", flush=True)
 
                 gen_thread = Thread(target=_generate_target, daemon=True)
                 gen_thread.start()