intial commit

.gitignore

@@ -0,0 +1,4 @@
+photos/
+.venv/
+.vscode/
+unsplash*

app.py

@@ -0,0 +1,79 @@
+from sentence_transformers import SentenceTransformer, util
+from PIL import Image
+import pickle
+import os
+import gradio as gr
+import zipfile
+
+# Load CLIP model
+text_model = SentenceTransformer('clip-ViT-B-32-multilingual-v1')
+
+image_model = SentenceTransformer('clip-ViT-B-32')
+image_model.parallel_tokenization = False
+
+img_folder = '.\\photos\\'
+if not os.path.exists(img_folder) or len(os.listdir(img_folder)) == 0:
+    os.makedirs(img_folder, exist_ok=True)
+
+    photo_filename = 'unsplash-25k-photos.zip'
+    if not os.path.exists(photo_filename):  # Download dataset if does not exist
+        util.http_get('http://sbert.net/datasets/' +
+                      photo_filename, photo_filename)
+
+    # Extract all images
+    with zipfile.ZipFile(photo_filename, 'r') as zf:
+        for member in zf.infolist():
+            zf.extract(member, img_folder)
+
+
+emb_filename = ".\\unsplash-25k-photos-embeddings.pkl"
+if not os.path.exists(emb_filename):
+    util.http_get(
+        'http://sbert.net/datasets/unsplash-25k-photos-embeddings.pkl', emb_filename)
+
+with open(emb_filename, 'rb') as fIn:
+    img_names, img_emb = pickle.load(fIn)
+
+
+img_folder = ".\\photos\\"
+duplicates = util.paraphrase_mining_embeddings(img_emb)
+
+
+def search_duplicates(threshold=100):
+
+    threshold /= 100
+    near_duplicates = [entry for entry in duplicates if entry[0] <= threshold]
+    images = []
+    for score, idx1, idx2 in near_duplicates[0:5]:
+        img1_path = os.path.join(img_folder, img_names[idx1])
+        img2_path = os.path.join(img_folder, img_names[idx2])
+        img1 = Image.open(img1_path)
+        img2 = Image.open(img2_path)
+        images.append((img1, ""))
+        images.append((img2, score))
+    return images
+
+
+description = '''
+Приложение для поиска одинаковых изображений - это мощный инструмент, который помогает пользователям выявлять одинаковые изображения и, например, управлять ими.
+Это приложение использует передовые алгоритмы компьютерного зрения и машинного обучения для обнаружения похожих или идентичных изображений и представляет их в понятном и организованном виде.
+Пользователи могут загружать изображения в приложение и быстро определять похожие изображения либо дупликаты, которые могут существовать в их коллекции. 
+Приложение может потенциально предоставить инструменты для управления дубликатами, например, возможность их удаления или объединения.
+Приложение для поиска дубликатов изображений идеально подходит для тех, кому необходимо управлять большой коллекцией изображений, например, для фотографов, графических дизайнеров или менеджеров социальных сетей. 
+Выявляя дубликаты изображений и управляя ими, пользователи могут сэкономить время и оптимизировать свои рабочие процессы.
+Благодаря удобному интерфейсу и мощным алгоритмам приложение для поиска дубликатов изображений является отличным примером того, как ИИ может быть использован для повышения производительности и оптимизации рабочих процессов.
+'''
+
+iface_duplicates = gr.Interface(
+    title="Поиск похожих изображений - d8a.ai",
+    description=description,
+    allow_flagging="never",
+    fn=search_duplicates,
+    inputs=[gr.inputs.Slider(91, 100, step=1, default=100,
+                             label="Процент вероятности")],
+    outputs=gr.Gallery(
+        label="Найденные похожие изображения", elem_id="gallery"
+    ).style(grid=[2], height="auto")
+)
+
+iface_duplicates.launch()

requirements.txt

@@ -0,0 +1,2 @@
+sentence-transformers
+Pillow