TextRearrange/DBSCAN.py

import os
import glob
import time
import numpy as np
from os import path
import pandas as pd
import seaborn as sns
import matplotlib.pyplot  as plt
from sklearn.cluster import DBSCAN
from sklearn.preprocessing import StandardScaler
import arrange as DbscanArrange
import directories as Dir

"""

이전 프로세스:
    image detection을 통해 handwritten text image에서
    각각의 word image를 추출했으나,
    순서를 알지 못하게 단어만 확인이 되어
    원래 글의 의미를 잃어버리는 문제가 있었음.
    다만 추출 시에 단어의 좌표값을 포함시킬 수 있었기에
    각 단어의 이름에 x,y좌표값과 w,h 정보를 포함하여
    단어 이미지 파일을 생성


현재 프로세스:
    yolo model을 통해 crop된 이미지들은
    파일 이름에 crop되기 전 raw image에서의 좌표 정보를 포함합니다.
    x89y147w199h184.jpg
    x10y148w157h184.jpg
    x28y149w108h180.jpg

    raw image파일에서 같은 line에 있던 word들은
    가까운 y값을 갖고있을 것이므로,
    밀도기반 군집화 알고리즘을 사용하여
    같은 line에 있을 것이라고 예상하는 word값들은
    동일 클러스터에 속하게 됨.
    이렇게 동일 클러스터에 속하는 y값들의 평균을 구하여
    word의 새로운 y값으로 label.
    단어 이미지 파일 rename할 때, y값이 먼저 오게 한다.
    yyyy_xxxx.jpg

    y값에 대한 정렬이 되고
    x값에 대해 오름차순으로 정렬됨.
    0148_0010.jpg
    0148_0028.jpg
    0148_0089.jpg
    word file의 순서가 자동적으로 원래 text의 의미를 가지게 된다.

코드 설명:
    extract_text_from_filename(),
    get_folder_contents_with_text() 함수를 이용해
    파일 이름에서 x값과 y값을 추출.
    StandardScaler로 표준화.
    Get Clustered y values using DBSCAN.
    rename_file()을 이용해서 rename image files with y-clustered values.

"""
# 사용 예시
# Get cropped word images
# folder_path = "C:/Users/ban/TEXTAI/yolov5/runs/detect/yujin_paper/crops/word" -> cropped word folder

x_texts, y_texts, name_jpg = DbscanArrange.get_folder_contents_with_text("/home/user/app"+Dir.yolo_dir+Dir.folder_path)
file_name = pd.DataFrame(name_jpg)
file_name.columns=['file_name']

#더미 리스트 생성, 넘파이 변환 후 reshape (-1, 1)
zero_list = [0 for _ in range(len(y_texts))] #2차원 맞추기 위한 zero 리스트 
zero_list = np.array([zero_list]).reshape(-1, 1)
y_text = np.array([y_texts]).reshape(-1, 1)
#print('y_text\n', y_text)
#print('zero_list\n', zero_list)


#####################################
# 표준화
scalerX = StandardScaler() # 스케일 함수 가져와서
scalerX.fit(y_text.data) # 스케일
std_y_text = scalerX.transform(y_text.data).reshape(-1, 1) #스케일 완료

feature = pd.DataFrame(std_y_text) # 스케일된 넘파이 자료형을 데이터프레임 형태로 변환
feature.columns=['feature']

data_list = [std_y_text,zero_list] # 표준화된 데이터와 더미 삽입
data = pd.DataFrame(data_list[0])  #
labels = pd.DataFrame(data_list[1])

# 데이터 컬럼명 설정
labels.columns=['labels']
data.columns=['y']
# 두 데이터열 병합
datadf = pd.concat([data,labels],axis=1)


###################################
# create model and prediction
model = DBSCAN(eps=0.04,min_samples=2)
predict = pd.DataFrame(model.fit_predict(feature))
predict.columns=['predict']

# file_name, feature, predict 병합
r = pd.concat([file_name,feature,predict],axis=1)

#r.to_csv('C:\\Users\\ban\\Desktop\\predict_final.csv')
###########################################################



###########################################################
r = r.sort_values(by=['predict'])
#print(type(set(r['predict']))[0])
predict_list = list(set(r['predict'])) # predict 의 숫자들을 수집
unknown_words = []
same_line = []
whole_word_map = []
final_result = {'y_mean' : [],
                'x_value' : [],
                'file_name' : []}
df_final_result = pd.DataFrame(final_result)
whole_word_map_df = pd.DataFrame(whole_word_map)

for _,line in enumerate(predict_list): # 하나씩 추출 -1, 0, 1, 2, ...진짜 힘들다
    if line >= 0: # predict 값이 0 이상이면,
        y_list = [] # 클러스팅된 y값들의 평균을 구하기 위한 리스트
        print(type(r['predict']))
        same_line = r[r['predict'] == line] # r 데이터프레임에서 X인 predict를 가지고 있는 열을 가져와서
        file_num = 0
        y_mean_column = []
        total_word_map = []
        total_word_map_df = pd.DataFrame(total_word_map)
        for filename in same_line['file_name']: # 같은 클러스터에서 파일 하나씩 뽑아서
            x_data, y_data = DbscanArrange.extract_text_from_filename(filename) # 해당 파일의 x, y값을 뽑아서
            y_list.append(int(y_data)) # y값 평균을 위한 y값 리스트에 삽입
            #x_file = {x_data:filename} # key값에 x값, value값에 file_name, n_line 데이터프레임에 삽입
            file_num += 1
            word_map = {'x_value' : [int(x_data)],
                        'file_name' : [filename]}

            word_map_df = pd.DataFrame(word_map)
            total_word_map_df = pd.concat([total_word_map_df, word_map_df])
            total_word_map_df = total_word_map_df.sort_values(by=['x_value'])

        y_mean = int(np.mean(y_list)) # 한 줄에 대한 평균값 얻음 #y_mean 열에 삽입
        total_word_map_df['y_mean'] = y_mean # 추가된 행 수만큼 y_mean 열 추가

    else:
        total_word_map = []
        same_line = r[r['predict'] == line]
        for filename in same_line['file_name']:
            x_data, y_data = DbscanArrange.extract_text_from_filename(filename)
            unknown_words = [r['predict']==line]
            y_mean = int(y_data)
            word_map = {'y_mean' : [y_mean],
                        'x_value' : [x_data],
                        'file_name' : [filename]}
            word_map_df = pd.DataFrame(word_map)
            total_word_map_df = pd.concat([total_word_map_df, word_map_df])

    whole_word_map_df = pd.concat([whole_word_map_df,total_word_map_df])


file_name = list(whole_word_map_df['file_name'])
x_value = list(whole_word_map_df['x_value'])
y_mean = list(whole_word_map_df['y_mean'])
whole_list = [file_name,x_value,y_mean]


cnum = 0
timestr = time.strftime("%Y%m%d%H%M%S")

#전체 데이터 셋에 대해서 하나씩 추출하여 패딩 후 이름 변환
for i in range(len(file_name)): #_, x_value, file_name, y_mean
    old_path = "/home/user/app"+ str(Dir.yolo_dir) + str(Dir.folder_path) +"/"+ str(file_name[i])
    new_path = "/home/user/app"+ str(Dir.yolo_dir) + str(Dir.folder_path) +"/"+ str(y_mean[i]).zfill(4) +"_"+ str(x_value[i]).zfill(4) + ".jpg"

    DbscanArrange.rename_file(old_path, new_path)

if os.listdir(Dir.folder_path) == True:
    folder_contents = os.listdir(Dir.folder_path)
    print('UNKNOWN WORDS: \n',folder_contents)