""",
unsafe_allow_html=True,
)
st.write("")
st.subheader("Translate Image")
direction_labels = {
"minecraft_to_real": "Minecraft -> Real -> Minecraft",
"real_to_minecraft": "Real -> Minecraft -> Real",
}
if hasattr(st, "segmented_control"):
direction = st.segmented_control(
"Direction",
options=list(direction_labels.keys()),
default="minecraft_to_real",
selection_mode="single",
format_func=lambda value: direction_labels[value],
width="stretch",
)
else:
direction = st.radio(
"Direction",
options=list(direction_labels.keys()),
format_func=lambda value: direction_labels[value],
horizontal=True,
)
uploaded = st.file_uploader(
"Upload one image from one of the domains",
type=["png", "jpg", "jpeg", "webp"],
accept_multiple_files=False,
help="The app accepts exactly one image and runs a full CycleGAN pass with reconstruction.",
)
run_button = st.button("Translate image", type="primary", width="stretch")
if uploaded is not None:
image = Image.open(uploaded).convert("RGB")
if run_button:
with st.spinner("Generating translation..."):
result = translate_image(model, image, direction=direction, device=device)
if direction == "minecraft_to_real":
input_label = "A: Uploaded Minecraft scene"
output_label = "B: Translated real landscape"
else:
input_label = "B: Uploaded real landscape"
output_label = "A: Translated Minecraft-like scene"
render_result(result, input_label, output_label)
st.warning(
"""
Качество результата всё ещё оставляет желать лучшего. Это ожидаемо для CycleGAN:
модель хорошо переносит общую структуру сцены, но заметно слабее справляется с мелкими деталями,
локальными текстурами и стабильной цветопередачей.
Часто видны такие проблемы:
- смазывание или потеря мелких объектов и фактуры;
- упрощение геометрии и превращение деталей в более грубые пятна;
- цветовые сдвиги, неестественные оттенки и местами "грязная" палитра.
Что удалось частично улучшить в обучении:
- `ReplayBuffer` помог сделать обучение дискриминатора стабильнее и немного снизить резкие артефакты и хаотичные скачки стиля;
- `VggPerceptualLoss` / perceptual fine-tuning помог лучше сохранять общую визуальную структуру и частично уменьшил самые грубые проблемы с цветом:
менее случайные цветовые сдвиги, меньше выцветания и чуть более связная палитра.
Но полностью убрать эти ограничения не удалось: для тонкой прорисовки деталей и аккуратной работы с цветом базовый CycleGAN всё равно довольно ограничен.
"""
)
else:
st.image(image, caption="Uploaded image", width="stretch")
else:
st.info("Upload an image and click `Translate image` to run the model.")
st.write("")
st.subheader("Submission Artifacts")
st.markdown(
"""
- Notebook: `notebooks/lab5.ipynb`
- Checkpoint: `checkpoints/cycle_gan_color_fix#0_epoch_10.pt`
- Example gallery in repo: `demo_gallery/` (5 + 5 random images); full training data stays under `data/datasets/` when unpacked locally
"""
)
st.write("")
st.markdown("---")
st.subheader("Dataset Examples")
st.caption("Reference samples from both domains. This section is intentionally separated from the working inference interface.")
galleries = load_example_gallery()
if not galleries["minecraft"] and not galleries["real"]:
st.info(
"Example gallery is empty: ensure `demo_gallery/` is present in the app checkout, or restore `data/datasets/` from the Yandex Disk link above."
)
block_a, block_b = st.columns(2)
with block_a:
st.markdown(
"""
Domain A
Minecraft forestlike
""",
unsafe_allow_html=True,
)
st.write("")
cols = st.columns(2)
for idx, image_path in enumerate(galleries["minecraft"]):
cols[idx % 2].image(str(image_path), caption=image_path.name, width="stretch")
with block_b:
st.markdown(
"""
Domain B
Real nature landscape
""",
unsafe_allow_html=True,
)
st.write("")
cols = st.columns(2)
for idx, image_path in enumerate(galleries["real"]):
cols[idx % 2].image(str(image_path), caption=image_path.name, width="stretch")
if __name__ == "__main__":
app()