File size: 2,297 Bytes
4f7c5e6 32954ce 4f7c5e6 32954ce 4f7c5e6 32954ce c6b68ec 32954ce 4f7c5e6 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 |
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>EDMI - Erida Dynamic Model Injection</title>
<style>
body { font-family: Arial, sans-serif; max-width: 800px; margin: 40px auto; line-height: 1.6; }
h1 { color: #2c3e50; }
p { margin-bottom: 1em; }
code { background: #f4f4f4; padding: 2px 5px; border-radius: 3px; }
</style>
</head>
<body>
<h1>EDMI</h1>
<p>
EDMI - модуль для LLM, который динамически усиливает скрытые состояния модели.
Он обнаруживает слабые токены, вычисляет небольшое улучшение через усилитель
и внедряет его обратно, не нарушая генерацию.
</p>
<p>
Принцип работы прост: для каждого слоя выбираются несколько наиболее слабых токенов,
их скрытые состояния корректируются через внутренние параметры, а сила влияния регулируется
небольшим параметром scale.
</p>
<p><strong>Пример кода:</strong></p>
<pre>
import torch
import torch.nn as nn
class EDMI(nn.Module):
def __init__(self, d_model, top_k=2, layer_idx=0):
super().__init__()
self.top_k = top_k
self.scale = nn.Parameter(torch.tensor(4e-4 * (0.75 ** layer_idx)))
self.detector = nn.Linear(d_model, 1, bias=False)
self.enhancer = nn.Sequential(
nn.Linear(d_model, d_model // 4),
nn.GELU(),
nn.Linear(d_model // 4, d_model)
)
self.gate = nn.Sigmoid()
def forward(self, h):
b, seq_len = h.shape[0], h.shape[1]
weakness = torch.sigmoid(self.detector(h)).squeeze(-1)
k = min(self.top_k, seq_len)
if k == 0:
return h
topk_idx = torch.topk(weakness, k=k, dim=1, largest=True).indices
mask = torch.zeros_like(weakness).scatter_(1, topk_idx, 1.0).unsqueeze(-1)
delta = self.scale * mask * self.gate(self.enhancer(h))
return h + delta
</pre>
</body>
</html>
|