Anvlooo/russian-with-accents

Описание модели

Данная модель предназначена для распознавания русской речи, произнесенной с иностранным акцентом. Она построена на архитектуре LSTM с использованием функции потерь CTC (Connectionist Temporal Classification).

• Назначение: Распознавание речи (Automatic Speech Recognition).
• Особенность: Устойчивость к специфическому произношению и нетипичным для носителей языка фонетическим паттернам.
• Формат весов: .pth (PyTorch).

Архитектура (PyTorch)

import torch
import torch.nn as nn
import torch.nn.functional as F

class ASR_LSTM_Model(nn.Module):
    def __init__(self, n_mels=128, vocab_size=36, num_accents=6):
        super().__init__()
        self.lstm = nn.LSTM(n_mels, 512, num_layers=4, dropout=0.3, bidirectional=True, batch_first=True)
        self.ctc_head = nn.Linear(1024, vocab_size)
        self.accent_head = nn.Linear(1024, num_accents)

    def forward(self, x):
        out, _ = self.lstm(x)
        ctc_log_probs = F.log_softmax(self.ctc_head(out), dim=2)
        pooled_out = out.mean(dim=1)
        accent_logits = self.accent_head(pooled_out)
        return ctc_log_probs, accent_logits