import pandas as pd

df1 = pd.read_csv('data/raw/phishing.csv')
df2 = pd.read_csv('data/raw/legitimate.csv')

df2.columns = df2.columns.str.lower()

combined_df = pd.concat([df1, df2], ignore_index=True)

combined_df = combined_df.drop_duplicates()

combined_df.to_csv('data/processed/clean_dataset.csv', index=False)

print(f"Datasety boli úspešne spojené")
print(f"Počet záznamov v prvom súbore: {len(df1)}")
print(f"Počet záznamov v druhom súbore: {len(df2)}")
print(f"Celkový počet záznamov: {len(combined_df)}")
print(f"\nPrvých 5 riadkov spojeného datasetu:")
print(combined_df.head())