Multi_Layer_Perceptron.py

import numpy as np

# --- 1. Dữ liệu XOR gate ---
X = np.array([[0, 0],
              [0, 1],
              [1, 0],
              [1, 1]])
y = np.array([[0], [1], [1], [0]])  # output XOR


# --- 2. Hàm sigmoid & derivative ---
def sigmoid(x):
    return 1 / (1 + np.exp(-x))


def sigmoid_derivative(x):
    return x * (1 - x)


# --- 3. Khởi tạo weights & bias ---
np.random.seed(42)
input_dim = 2
hidden_dim = 2 # thử đổi thành 3, 4, 5...
'''
Ảnh hưởng:
2 neurons: học XOR ổn
1 neuron: không học được
2 neurons: học nhanh hơn, loss giảm mạnh 👉 Đây là chỗ dễ thấy sự thay đổi nhất. 
'''
output_dim = 1
lr = 0.5 # thử 0.1, 1.0, 2.0
'''
Ảnh hưởng:
lr nhỏ → học chậm, mượt
lr lớn → lúc học rất nhanh, lúc bị “nhảy loạn”, dễ diverge 👉 Thay đổi learning rate luôn thấy kết quả khác.
'''
epochs = 10000 # thử 3000, 50000
'''
Ảnh hưởng:
ít epoch → chưa học hết, dự đoán sai
nhiều epoch → XOR học hoàn hảo hơn
'''

# weights: input -> hidden
w1 = np.random.randn(input_dim, hidden_dim) # Có thể thử nhân thêm weight với 0.1 hoặc 0.001
'''
Hiệu ứng: khi nhân với 0.1
Train rất mượt
Loss giảm đều
Tốc độ học nhanh
Đây là “sweet spot”.

Hiệu ứng: khi nhân với 0.001
Activation gần 0 → mô hình học chậm
Loss giảm nhưng rất từ từ
'''
b1 = np.zeros((1, hidden_dim))

# weights: hidden -> output
w2 = np.random.randn(hidden_dim, output_dim)
b2 = np.zeros((1, output_dim)) # Có thể thử Bias random:  b1 = np.random.randn((1, output_dim))
'''
Hiệu ứng CÓ THỂ THẤY RÕ:
Decision boundary bắt đầu lệch → học XOR nhanh hơn
Loss giảm nhanh từ những bước đầu tiên
Output có thể ra đúng từ rất sớm (epoch 10–20)
'''

# --- 4. Huấn luyện bằng Backpropagation ---
for epoch in range(epochs):
    # Forward pass
    z1 = np.dot(X, w1) + b1
    h = sigmoid(z1)
    z2 = np.dot(h, w2) + b2
    y_pred = sigmoid(z2)

    # Tính lỗi
    error = y - y_pred

    # Backward pass
    d_y_pred = error * sigmoid_derivative(y_pred)
    d_h = d_y_pred.dot(w2.T) * sigmoid_derivative(h)

    # Cập nhật weights & bias
    w2 += h.T.dot(d_y_pred) * lr
    b2 += np.sum(d_y_pred, axis=0, keepdims=True) * lr
    w1 += X.T.dot(d_h) * lr
    b1 += np.sum(d_h, axis=0, keepdims=True) * lr

# --- 5. Test MLP ---
print("Testing trained MLP:")
z1 = np.dot(X, w1) + b1
h = sigmoid(z1)
z2 = np.dot(h, w2) + b2
y_pred = sigmoid(z2)
print(np.round(y_pred))

'''
✅ Tóm tắt học thuật:
| Tiêu chí                  | Single Layer Perceptron (SLP)         | Multi-Layer Perceptron (MLP)                                           |
| ------------------------- | ------------------------------------- | ---------------------------------------------------------------------- |
| **Số lớp**                | 1 lớp (input → output)                | Nhiều lớp (input → hidden → output)                                    |
| **Hàm học**               | Tuyến tính                            | Phi tuyến tính (nhờ lớp ẩn và activation)                              |
| **Hàm kích hoạt**         | Step function                         | Sigmoid, ReLU, Tanh hoặc các hàm phi tuyến khác                        |
| **Khả năng học XOR**      | Không                                 | Có                                                                     |
| **Thuật toán huấn luyện** | Perceptron learning rule              | Backpropagation + gradient descent                                     |
| **Ứng dụng**              | Phân loại tuyến tính cơ bản (AND, OR) | Classification, regression, nhận dạng hình ảnh, NLP, dữ liệu phi tuyến |
| **Ưu điểm**               | Đơn giản, dễ hiểu                     | Học được phi tuyến, khả năng biểu diễn cao                             |
| **Hạn chế**               | Chỉ học tuyến tính                    | Dễ overfitting, cần tuning hyperparameters, tốn tài nguyên             |
'''

'''
Epoch không phải là weight hay bias, nhưng về thuật toán học, nó được coi là hyperparameter.
Hyperparameter = tham số do người đặt trước khi huấn luyện (khác với parameter là giá trị học được từ dữ liệu).
Các hyperparameters phổ biến:
  Learning rate (𝜂)
  Batch size
  Số epoch
  Số lớp ẩn, số neuron
  Hàm kích hoạt
Như vậy: Epoch → hyperparameter, ảnh hưởng trực tiếp đến quá trình huấn luyện.
3. Epoch ảnh hưởng đến quá trình học như thế nào
Quá ít epoch → underfitting, model chưa học đủ.
Quá nhiều epoch → overfitting, model nhớ dữ liệu training quá mức, generalization kém.
Kết hợp với learning rate → số epoch quyết định model có hội tụ hay không.
4. Kết luận
Epoch là hyperparameter, nhưng nó không phải parameter học được từ dữ liệu.
Chọn epoch phù hợp = một phần quan trọng trong tuning hyperparameters để đạt hiệu quả tối ưu.
'''