Spaces:
Sleeping
Sleeping
Video Generation Flows
Overview
┌─────────────────────────────────────────────────────────────────────────────┐
│ VIDEO GENESIS STUDIO │
├─────────────────────────────────────────────────────────────────────────────┤
│ │
│ ┌─────────────┐ ┌─────────────┐ │
│ │ │ │ │ │
│ │ KLING AI │ OR │ REPLICATE │ │
│ │ (KIE) │ │ │ │
│ └──────┬──────┘ └──────┬──────┘ │
│ │ │ │
│ ▼ ▼ │
│ ┌─────────────┐ ┌─────────────┐ │
│ │ GPT-4o │ │ Simple │ │
│ │ Segmentation│ │ Prompt │ │
│ └──────┬──────┘ └──────┬──────┘ │
│ │ │ │
│ ▼ ▼ │
│ ┌─────────────┐ ┌─────────────┐ │
│ │ Multi-Video │ │ Single │ │
│ │ Generation │ │ Video Gen │ │
│ └─────────────┘ └─────────────┘ │
│ │
└─────────────────────────────────────────────────────────────────────────────┘
Flow 1: Kling AI (Recommended)
This is the advanced flow for professional UGC and talking head videos.
Two Generation Modes
Mode A: 🎯 Frame Continuity (Recommended)
Best for visual consistency - mirrors the Replicate approach from standalone_video_creator.py
┌─────────────────────────────────────────────────────────────────────────────┐
│ FRAME CONTINUITY FLOW │
├─────────────────────────────────────────────────────────────────────────────┤
│ │
│ Segment 1: │
│ ┌────────────────┐ ┌────────────────┐ ┌────────────────┐ │
│ │ Original Image │ ───► │ Generate Video │ ───► │ Extract Last │ │
│ │ (your upload) │ │ Segment 1 │ │ Frame │ │
│ └────────────────┘ └────────────────┘ └───────┬────────┘ │
│ │ │
│ ▼ │
│ Segment 2: ┌────────────────┐ │
│ ┌────────────────┐ ┌────────────────┐ │ Last Frame │ │
│ │ Frame from │ ◄─── │ Generate Video │ ◄─│ from Seg 1 │ │
│ │ Segment 1 │ │ Segment 2 │ │ (new reference)│ │
│ └────────────────┘ └───────┬────────┘ └────────────────┘ │
│ │ │
│ ▼ │
│ Segment 3: ┌────────────────┐ │
│ ┌────────────────┐ │ Extract Last │ │
│ │ Frame from │ ◄────│ Frame │ │
│ │ Segment 2 │ └────────────────┘ │
│ └────────────────┘ │
│ │ │
│ ▼ │
│ ... continues until all segments complete ... │
│ │
└─────────────────────────────────────────────────────────────────────────────┘
✅ BENEFITS:
• Perfect visual continuity - each segment starts exactly where previous ended
• Character appearance stays consistent across all segments
• Scene/lighting matches between segments
• Same approach that makes Replicate flow work so well
Mode B: ➕ Extend API
Faster but potentially less consistent - uses Kling's native extend functionality
┌─────────────────────────────────────────────────────────────────────────────┐
│ EXTEND API FLOW │
├─────────────────────────────────────────────────────────────────────────────┤
│ │
│ ┌────────────────┐ ┌────────────────┐ │
│ │ Original Image │ ───► │ Generate Video │ ───► taskId_1 │
│ │ │ │ Segment 1 │ │
│ └────────────────┘ └────────────────┘ │
│ │ │
│ │ extend(taskId_1) │
│ ▼ │
│ ┌────────────────┐ │
│ │ Extend Video │ ───► taskId_2 │
│ │ Segment 2 │ │
│ └────────────────┘ │
│ │ │
│ │ extend(taskId_2) │
│ ▼ │
│ ┌────────────────┐ │
│ │ Extend Video │ ───► taskId_3 │
│ │ Segment 3 │ │
│ └────────────────┘ │
│ │
└─────────────────────────────────────────────────────────────────────────────┘
⚠️ TRADEOFFS:
• Faster (no frame extraction step)
• May have slight visual drift between segments
• Relies on Kling's internal continuity handling
Complete Step-by-Step Flow
USER INPUT BACKEND EXTERNAL APIs
─────────────────────────────────────────────────────────────────────────────
┌──────────────────┐
│ 1. Enter Script │
│ + Upload Image│
│ + Settings │
│ + SELECT MODE │ ◄── NEW: Choose Frame Continuity or Extend
└────────┬─────────┘
│
▼
┌──────────────────┐ ┌──────────────────┐
│ 2. Submit Form │────────►│ /api/generate- │
│ │ │ prompts │
└──────────────────┘ └────────┬─────────┘
│
▼
┌──────────────────┐ ┌──────────────────┐
│ 3. GPT-4o │────────►│ OpenAI API │
│ Analysis │ │ (GPT-4o Vision) │
└────────┬─────────┘ └──────────────────┘
│
│ Returns structured
│ segments with:
│ - Character description
│ - Scene continuity
│ - Action timeline
│ - Dialogue sync
▼
┌──────────────────┐ ┌──────────────────┐
│ 4. See segments │◄────────│ Segments payload │
│ preview │ │ (2-10 segments) │
└────────┬─────────┘ └──────────────────┘
│
│ For each segment:
▼
┌──────────────────┐ ┌──────────────────┐ ┌──────────────────┐
│ 5. Generating... │────────►│ /api/veo/ │────────►│ KIE Veo 3.1 API │
│ (progress UI) │ │ generate │ │ │
└──────────────────┘ └────────┬─────────┘ └────────┬─────────┘
│ │
│ SSE Events │
│◄───────────────────────────┘
│
▼
┌──────────────────┐ ┌──────────────────┐
│ 6. Video Ready │◄────────│ /api/veo/events/ │
│ Download │ │ {taskId} │
└──────────────────┘ └──────────────────┘
│
│ IF Frame Continuity mode:
│ └── Extract last frame → Use as next reference
│ IF Extend mode:
│ └── Use extend API with current taskId
▼
┌──────────────────┐
│ 7. All Complete │
│ Download All │
└──────────────────┘
Detailed Steps
Step 1: User Input
┌─────────────────────────────────────────────────────────────┐
│ GENERATION FORM │
├─────────────────────────────────────────────────────────────┤
│ │
│ 📝 Script (Required) │
│ ┌─────────────────────────────────────────────────────┐ │
│ │ "Hey everyone! Today I want to share something │ │
│ │ amazing with you. This product changed my life... │ │
│ │ Let me show you how it works..." │ │
│ └─────────────────────────────────────────────────────┘ │
│ Word count: 85 words → ~5 segments estimated │
│ │
│ 🖼️ Character Image (Required) │
│ ┌───────────────────┐ │
│ │ [Drag & Drop] │ │
│ │ Your photo │ │
│ └───────────────────┘ │
│ │
│ ⚙️ Settings │
│ ┌────────────┐ ┌────────────┐ ┌────────────┐ │
│ │ Voice: Deep│ │Energy: Med │ │Camera: Std │ │
│ └────────────┘ └────────────┘ └────────────┘ │
│ ┌────────────┐ ┌────────────┐ ┌────────────┐ │
│ │Ratio: 9:16 │ │Seed: 12005 │ │Style: UGC │ │
│ └────────────┘ └────────────┘ └────────────┘ │
│ │
│ [🚀 Generate Video with AI] │
│ │
└─────────────────────────────────────────────────────────────┘
Step 2-3: GPT-4o Prompt Generation
The backend sends your script + image to GPT-4o which:
- Analyzes the script for natural breakpoints
- Splits into ~8 second segments (based on speaking pace)
- Generates detailed prompts for each segment:
{
"segments": [
{
"segment_info": {
"segment_number": 1,
"total_segments": 5,
"duration": "8s",
"continuity_markers": {
"start_position": "facing camera, centered",
"end_position": "slight lean forward",
"start_expression": "neutral, friendly",
"end_expression": "engaged, excited"
}
},
"character_description": {
"current_state": "Young woman, warm smile, casual attire",
"voice_matching": "Deep, confident, natural pace"
},
"scene_continuity": {
"environment": "Modern living room, natural light",
"camera_position": "Medium shot, eye level",
"lighting_state": "Warm, soft shadows"
},
"action_timeline": {
"dialogue": "Hey everyone! Today I want to share...",
"synchronized_actions": {
"0:00-0:02": "Wave hello, direct eye contact",
"0:02-0:04": "Hands gesture outward",
"0:04-0:06": "Touch chest (sincerity)",
"0:06-0:08": "Lean slightly forward"
}
}
}
]
}
Step 4-5: Video Generation Loop
For each segment:
┌─────────────────────────────────────────────────────────────┐
│ GENERATION PROGRESS │
├─────────────────────────────────────────────────────────────┤
│ │
│ ╭──────────╮ │
│ ( ) │
│ │ 45% │ │
│ ( ) │
│ ╰──────────╯ │
│ │
│ 🎬 Generating video 2 of 5... │
│ │
│ ●────────────●────────────○────────────○────────────○ │
│ ✓ ✓ ⟳ │
│ Seg 1 Seg 2 Seg 3 Seg 4 Seg 5 │
│ │
│ ┌─────────────────────────────────────────────────────┐ │
│ │ Processing: Uploaded image → KIE API → Rendering... │ │
│ └─────────────────────────────────────────────────────┘ │
│ │
│ ⏱️ Estimated time: 1-2 minutes per segment │
│ │
└─────────────────────────────────────────────────────────────┘
Step 6-7: Completion & Download
┌─────────────────────────────────────────────────────────────┐
│ GENERATION COMPLETE! ✅ │
├─────────────────────────────────────────────────────────────┤
│ │
│ 5 videos generated successfully │
│ │
│ ┌─────────┐ ┌─────────┐ ┌─────────┐ ┌─────────┐ ┌─────────┐
│ │ Seg 1 │ │ Seg 2 │ │ Seg 3 │ │ Seg 4 │ │ Seg 5 │
│ │ ▶️ │ │ ▶️ │ │ ▶️ │ │ ▶️ │ │ ▶️ │
│ │ ~8s │ │ ~8s │ │ ~8s │ │ ~8s │ │ ~8s │
│ │ [⬇️] │ │ [⬇️] │ │ [⬇️] │ │ [⬇️] │ │ [⬇️] │
│ └─────────┘ └─────────┘ └─────────┘ └─────────┘ └─────────┘
│ │
│ [📥 Download All Videos] [🔄 Generate More] │
│ │
└─────────────────────────────────────────────────────────────┘
Flow 2: Replicate (Flexible)
This is the simple flow for creative experimentation.
Step-by-Step Flow
USER INPUT BACKEND EXTERNAL APIs
─────────────────────────────────────────────────────────────────────────────
┌──────────────────┐
│ 1. Enter Prompt │
│ + Settings │
└────────┬─────────┘
│
▼
┌──────────────────┐ ┌──────────────────┐ ┌──────────────────┐
│ 2. Submit │────────►│ /api/replicate/ │────────►│ Replicate API │
│ │ │ generate │ │ (Various Models) │
└──────────────────┘ └────────┬─────────┘ └────────┬─────────┘
│ │
│ │
▼ │
┌──────────────────┐ ┌──────────────────┐ │
│ 3. Polling │◄────────│ /api/replicate/ │◄────────────────┘
│ for status │ │ status/{id} │
└────────┬─────────┘ └──────────────────┘
│
▼
┌──────────────────┐
│ 4. Video Ready │
│ Download │
└──────────────────┘
Available Models
┌─────────────────────────────────────────────────────────────┐
│ REPLICATE MODELS │
├─────────────────────────────────────────────────────────────┤
│ │
│ ┌─────────────────────────────────────────────────────┐ │
│ │ 🎬 minimax/video-01 │ │
│ │ High-quality text-to-video generation │ │
│ │ Duration: 5s | Best for: General content │ │
│ └─────────────────────────────────────────────────────┘ │
│ │
│ ┌─────────────────────────────────────────────────────┐ │
│ │ 🎥 luma/ray │ │
│ │ Cinematic video generation │ │
│ │ Duration: Variable | Best for: Artistic content │ │
│ └─────────────────────────────────────────────────────┘ │
│ │
│ ┌─────────────────────────────────────────────────────┐ │
│ │ 🖼️ stability-ai/stable-video-diffusion │ │
│ │ Image-to-video generation │ │
│ │ Duration: 4s | Best for: Animating images │ │
│ └─────────────────────────────────────────────────────┘ │
│ │
└─────────────────────────────────────────────────────────────┘
API Endpoints Reference
Kling AI Endpoints
| Endpoint | Method | Description |
|---|---|---|
/api/generate-prompts-stream |
POST | Streaming prompt generation (GPT-5.2) |
/api/upload-image |
POST | Upload character reference image |
/api/veo/generate |
POST | Start video generation |
/api/veo/extend |
POST | Extend existing video |
/api/veo/events/{taskId} |
GET | SSE stream for real-time updates |
/api/veo/status/{taskId} |
GET | Check generation status |
/api/veo/download |
GET | Download generated video |
Replicate Endpoints
| Endpoint | Method | Description |
|---|---|---|
/api/replicate/generate |
POST | Start video generation |
/api/replicate/status/{id} |
GET | Check prediction status |
/api/replicate/models |
GET | List available models |
/api/replicate/cancel/{id} |
POST | Cancel running prediction |
Comparison
| Feature | Kling (Frame Continuity) | Kling (Extend) | Replicate |
|---|---|---|---|
| Script Segmentation | ✅ GPT-4o auto | ✅ GPT-4o auto | ✅ GPT-4o auto |
| Multi-segment | ✅ Yes | ✅ Yes | ✅ Yes |
| Visual Consistency | ✅✅ Best | ⚠️ Good | ✅✅ Best |
| Speed | ⚠️ Slower | ✅ Fast | ⚠️ Slower |
| Frame Extraction | ✅ Yes | ❌ No | ✅ Yes |
| Voice/Audio | ✅ Yes | ✅ Yes | ❌ No |
| Best for | Consistent UGC | Quick drafts | Creative work |
Why Frame Continuity Works Better
The secret from standalone_video_creator.py:
┌────────────────────────────────────────────────────────────────────────────┐
│ │
│ PROBLEM with Extend API: │
│ • AI tries to "continue" but may drift visually │
│ • Character appearance can subtly change │
│ • Lighting/scene may shift between segments │
│ │
│ SOLUTION with Frame Continuity: │
│ • Extract the EXACT last frame of each video │
│ • Use it as the reference image for next segment │
│ • AI sees exactly what it needs to continue from │
│ • Result: Perfect visual match between segments │
│ │
│ This is why the Replicate flow in standalone_video_creator.py │
│ produces such consistent results! │
│ │
└────────────────────────────────────────────────────────────────────────────┘
Technical Architecture
┌──────────────────────────────────────────────────────────────────────────┐
│ FRONTEND │
│ (React + Vite + TS) │
│ │
│ ┌────────────────┐ ┌────────────────┐ ┌────────────────┐ │
│ │ ProviderSelect │ │ GenerationForm │ │ GenerationProg │ │
│ └───────┬────────┘ └───────┬────────┘ └───────┬────────┘ │
│ │ │ │ │
│ └───────────────────┼───────────────────┘ │
│ │ │
│ ┌─────────▼─────────┐ │
│ │ GenerationContext │ │
│ │ (State Mgmt) │ │
│ └─────────┬─────────┘ │
│ │ │
│ ┌─────────▼─────────┐ │
│ │ API Client │ │
│ │ (utils/api.ts) │ │
│ └─────────┬─────────┘ │
└──────────────────────────────┼───────────────────────────────────────────┘
│ HTTP / SSE
▼
┌──────────────────────────────────────────────────────────────────────────┐
│ BACKEND │
│ (FastAPI + Python) │
│ │
│ ┌────────────────┐ ┌────────────────┐ ┌────────────────┐ │
│ │ video_ │ │ replicate_ │ │ prompt_ │ │
│ │ generation.py │ │ service.py │ │ generation.py │ │
│ └───────┬────────┘ └───────┬────────┘ └───────┬────────┘ │
│ │ │ │ │
│ └───────────────────┼───────────────────┘ │
│ │ │
│ ┌─────────▼─────────┐ │
│ │ main.py │ │
│ │ (FastAPI App) │ │
│ └─────────┬─────────┘ │
└──────────────────────────────┼───────────────────────────────────────────┘
│ HTTPS
▼
┌──────────────────────────────────────────────────────────────────────────┐
│ EXTERNAL APIs │
│ │
│ ┌────────────────┐ ┌────────────────┐ ┌────────────────┐ │
│ │ KIE/Kling │ │ Replicate │ │ OpenAI │ │
│ │ Veo 3.1 │ │ (Models) │ │ GPT-4o │ │
│ └────────────────┘ └────────────────┘ └────────────────┘ │
│ │
└──────────────────────────────────────────────────────────────────────────┘
Quick Start
Start Backend:
cd /Users/sushil/Desktop/python-backend source venv/bin/activate python main.pyStart Frontend:
cd frontend npm run devOpen Browser: http://localhost:3000
Choose Provider → Enter script → Generate!