Upload README.md with huggingface_hub
Browse files
README.md
CHANGED
|
@@ -1,72 +1,206 @@
|
|
| 1 |
-
# اقتراح: دعم أصلي لعمليات المتجهات (Vector Operations) في Node.js Core
|
| 2 |
|
| 3 |
-
##
|
| 4 |
|
| 5 |
-
|
| 6 |
|
| 7 |
-
|
| 8 |
|
| 9 |
-
|
| 10 |
|
| 11 |
-
1.
|
| 12 |
-
2.
|
| 13 |
-
3.
|
|
|
|
| 14 |
|
| 15 |
-
|
| 16 |
|
| 17 |
-
|
| 18 |
|
| 19 |
-
|
| 20 |
|
| 21 |
-
|
| 22 |
-
|
| 23 |
-
|
| 24 |
-
|
| 25 |
-
* المعيار (Norm) وطول المتجه.
|
| 26 |
-
* التحويلات (Transformations) مثل التوحيد (Normalization).
|
| 27 |
-
* **التكامل مع V8:** الاستفادة من التحسينات المحتملة في محرك V8 لعمليات المتجهات، وربما دمج تعليمات SIMD مباشرة في الكود الذي يولده V8.
|
| 28 |
-
* **واجهة برمجة تطبيقات متسقة:** تصميم API سهل الاستخدام ومتسق مع فلسفة Node.js.
|
| 29 |
|
| 30 |
-
|
| 31 |
|
| 32 |
-
|
| 33 |
-
import { Vector } from 'node:vector'; // وحدة جديدة مقترحة
|
| 34 |
|
| 35 |
-
|
| 36 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 37 |
|
| 38 |
-
|
| 39 |
-
const dotProduct = vecA.dot(vecB); // قد يستخدم SIMD داخليًا
|
| 40 |
-
console.log(dotProduct); // 32.0
|
| 41 |
|
| 42 |
-
|
| 43 |
-
const sumVec = vecA.add(vecB);
|
| 44 |
-
console.log(sumVec.toArray()); // [5.0, 7.0, 9.0]
|
| 45 |
|
| 46 |
-
|
| 47 |
-
|
| 48 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 49 |
```
|
| 50 |
|
| 51 |
-
|
| 52 |
|
| 53 |
-
|
| 54 |
-
* **تبسيط التطوير:** تقليل الحاجة إلى مكتبات خارجية معقدة أو ملحقات C++.
|
| 55 |
-
* **توسيع نطاق استخدام Node.js:** جعل Node.js خيارًا أكثر قوة وجاذبية للمطورين في مجالات AI/ML والحوسبة العلمية.
|
| 56 |
-
* **تحسين تجربة المطور:** توفير واجهات برمجة تطبيقات مدمجة ومحسّنة.
|
| 57 |
|
| 58 |
-
|
| 59 |
|
| 60 |
-
|
| 61 |
-
|
| 62 |
-
|
| 63 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
| 64 |
|
| 65 |
-
|
| 66 |
|
| 67 |
-
|
| 68 |
|
| 69 |
-
|
| 70 |
|
| 71 |
-
[1]
|
| 72 |
-
[2]
|
|
|
|
|
|
|
|
|
| 1 |
|
| 2 |
+
## دليل عملي: بناء محرك بحث دلالي (Semantic Search) باستخدام Node.js و Shopify Hydrogen
|
| 3 |
|
| 4 |
+
### المقدمة
|
| 5 |
|
| 6 |
+
يمثل البحث الدلالي (Semantic Search) نقلة نوعية من البحث التقليدي القائم على الكلمات المفتاحية إلى البحث القائم على المعنى. باستخدام تقنيات الذكاء الاصطناعي، يمكننا فهم نية المستخدم بشكل أفضل وتقديم نتائج أكثر دقة وذات صلة. يوضح هذا الدليل كيفية بناء محرك بحث دلالي بسيط باستخدام Node.js، والاستفادة من نماذج Embeddings من Hugging Face، وكيفية دمج ذلك مع متجر Shopify Hydrogen.
|
| 7 |
|
| 8 |
+
### المكونات الأساسية
|
| 9 |
|
| 10 |
+
1. **نماذج Embeddings:** لتحويل النصوص إلى متجهات رقمية (Vector Embeddings) تمثل معناها الدلالي. سنستخدم نماذج `sentence-transformers` من Hugging Face.
|
| 11 |
+
2. **قاعدة بيانات المتجهات (Vector Database):** لتخزين المتجهات والبحث السريع عن المتجهات المتشابهة. يمكن استخدام حلول مثل Pinecone أو Weaviate، أو حتى حلول بسيطة في الذاكرة للمشاريع الصغيرة.
|
| 12 |
+
3. **Node.js Backend:** لمعالجة طلبات البحث، واستدعاء نماذج Embeddings، والتفاعل مع قاعدة بيانات المتجهات.
|
| 13 |
+
4. **Shopify Hydrogen Frontend:** لدمج واجهة البحث وعرض النتائج للمستخدم.
|
| 14 |
|
| 15 |
+
### الخطوات التنفيذية
|
| 16 |
|
| 17 |
+
#### 1. إعداد بيئة Node.js
|
| 18 |
|
| 19 |
+
تأكد من تثبيت Node.js و npm/yarn. سنحتاج إلى مكتبات مثل `axios` للتفاعل مع Hugging Face API، وربما مكتبة للتعامل مع المتجهات (إذا لم يكن هناك دعم أصلي في Node.js Core بعد).
|
| 20 |
|
| 21 |
+
```bash
|
| 22 |
+
npm init -y
|
| 23 |
+
npm install axios
|
| 24 |
+
```
|
|
|
|
|
|
|
|
|
|
|
|
|
| 25 |
|
| 26 |
+
#### 2. استخراج المتجهات (Embeddings) باستخدام Hugging Face
|
| 27 |
|
| 28 |
+
يمكننا استخدام Hugging Face Inference API لتحويل النصوص إلى متجهات. ستحتاج إلى `HF_TOKEN` للحصول على معدل طلبات أعلى.
|
|
|
|
| 29 |
|
| 30 |
+
```javascript
|
| 31 |
+
// semanticSearchService.js
|
| 32 |
+
import axios from 'axios';
|
| 33 |
+
|
| 34 |
+
const HF_INFERENCE_API_URL = "https://api-inference.huggingface.co/models/sentence-transformers/all-MiniLM-L6-v2";
|
| 35 |
+
const HF_TOKEN = process.env.HF_TOKEN; // تأكد من تعيينه كمتغير بيئة
|
| 36 |
+
|
| 37 |
+
async function getEmbeddings(texts) {
|
| 38 |
+
try {
|
| 39 |
+
const response = await axios.post(
|
| 40 |
+
HF_INFERENCE_API_URL,
|
| 41 |
+
{ inputs: texts },
|
| 42 |
+
{
|
| 43 |
+
headers: {
|
| 44 |
+
Authorization: `Bearer ${HF_TOKEN}`,
|
| 45 |
+
},
|
| 46 |
+
}
|
| 47 |
+
);
|
| 48 |
+
return response.data;
|
| 49 |
+
} catch (error) {
|
| 50 |
+
console.error("Error getting embeddings:", error.response ? error.response.data : error.message);
|
| 51 |
+
throw error;
|
| 52 |
+
}
|
| 53 |
+
}
|
| 54 |
+
|
| 55 |
+
export { getEmbeddings };
|
| 56 |
+
```
|
| 57 |
|
| 58 |
+
#### 3. بناء فهرس البحث الدلالي
|
|
|
|
|
|
|
| 59 |
|
| 60 |
+
لنفترض أن لدينا قائمة بمنتجات Shopify. سنقوم بإنشاء Embeddings لأوصاف هذه المنتجات وتخزينها مع معرفات المنتجات.
|
|
|
|
|
|
|
| 61 |
|
| 62 |
+
```javascript
|
| 63 |
+
// indexProducts.js
|
| 64 |
+
import { getEmbeddings } from './semanticSearchService.js';
|
| 65 |
+
|
| 66 |
+
// مثال لمنتجات Shopify (يمكن جلبها من Shopify Storefront API)
|
| 67 |
+
const products = [
|
| 68 |
+
{ id: 'prod1', title: 'قميص قطني أزرق', description: 'قميص مريح وعصري مصنوع من القطن الخالص.' },
|
| 69 |
+
{ id: 'prod2', title: 'بنطال جينز كلاسيكي', description: 'بنطال جينز متين بتصميم كلاسيكي يناسب جميع الأوقات.' },
|
| 70 |
+
{ id: 'prod3', title: 'فستان سهرة أنيق', description: 'فستان طويل بتصميم فاخر مثالي للمناسبات الخاصة.' },
|
| 71 |
+
];
|
| 72 |
+
|
| 73 |
+
let productVectors = [];
|
| 74 |
+
|
| 75 |
+
async function buildSemanticIndex() {
|
| 76 |
+
const descriptions = products.map(p => p.description);
|
| 77 |
+
const embeddings = await getEmbeddings(descriptions);
|
| 78 |
+
|
| 79 |
+
productVectors = products.map((p, index) => ({
|
| 80 |
+
id: p.id,
|
| 81 |
+
title: p.title,
|
| 82 |
+
vector: embeddings[index],
|
| 83 |
+
}));
|
| 84 |
+
console.log('Semantic index built successfully.');
|
| 85 |
+
// في تطبيق حقيقي، سيتم تخزين productVectors في قاعدة بيانات متجهات
|
| 86 |
+
}
|
| 87 |
+
|
| 88 |
+
// دالة بسيطة لحساب التشابه (cosine similarity)
|
| 89 |
+
function cosineSimilarity(vec1, vec2) {
|
| 90 |
+
const dotProduct = vec1.reduce((sum, a, idx) => sum + a * vec2[idx], 0);
|
| 91 |
+
const magnitude1 = Math.sqrt(vec1.reduce((sum, a) => sum + a * a, 0));
|
| 92 |
+
const magnitude2 = Math.sqrt(vec2.reduce((sum, a) => sum + a * a, 0));
|
| 93 |
+
return dotProduct / (magnitude1 * magnitude2);
|
| 94 |
+
}
|
| 95 |
+
|
| 96 |
+
async function semanticSearch(query) {
|
| 97 |
+
if (productVectors.length === 0) {
|
| 98 |
+
await buildSemanticIndex();
|
| 99 |
+
}
|
| 100 |
+
|
| 101 |
+
const queryEmbedding = (await getEmbeddings([query]))[0];
|
| 102 |
+
|
| 103 |
+
const results = productVectors.map(p => ({
|
| 104 |
+
...p,
|
| 105 |
+
similarity: cosineSimilarity(queryEmbedding, p.vector),
|
| 106 |
+
}))
|
| 107 |
+
.sort((a, b) => b.similarity - a.similarity)
|
| 108 |
+
.slice(0, 3); // أفضل 3 نتائج
|
| 109 |
+
|
| 110 |
+
return results;
|
| 111 |
+
}
|
| 112 |
+
|
| 113 |
+
// مثال للاستخدام
|
| 114 |
+
// semanticSearch('ملابس مريحة').then(res => console.log(res));
|
| 115 |
+
|
| 116 |
+
export { buildSemanticIndex, semanticSearch };
|
| 117 |
```
|
| 118 |
|
| 119 |
+
#### 4. دمج البحث الدلالي في Shopify Hydrogen
|
| 120 |
|
| 121 |
+
يمكنك استدعاء وظيفة `semanticSearch` من الواجهة الخلفية لـ Node.js (عبر API Endpoint) من مكونات Hydrogen الخاصة بك.
|
|
|
|
|
|
|
|
|
|
| 122 |
|
| 123 |
+
**مثال لـ API Endpoint في Node.js (باستخدام Express أو Fastify):**
|
| 124 |
|
| 125 |
+
```javascript
|
| 126 |
+
// api/search.js (مثال باستخدام Express)
|
| 127 |
+
import express from 'express';
|
| 128 |
+
import { semanticSearch, buildSemanticIndex } from '../indexProducts.js';
|
| 129 |
+
|
| 130 |
+
const app = express();
|
| 131 |
+
app.use(express.json());
|
| 132 |
+
|
| 133 |
+
// بناء الفهرس عند بدء تشغيل الخادم
|
| 134 |
+
buildSemanticIndex();
|
| 135 |
+
|
| 136 |
+
app.post('/semantic-search', async (req, res) => {
|
| 137 |
+
const { query } = req.body;
|
| 138 |
+
if (!query) {
|
| 139 |
+
return res.status(400).json({ error: 'Query is required' });
|
| 140 |
+
}
|
| 141 |
+
try {
|
| 142 |
+
const results = await semanticSearch(query);
|
| 143 |
+
res.json(results);
|
| 144 |
+
} catch (error) {
|
| 145 |
+
res.status(500).json({ error: 'Failed to perform semantic search' });
|
| 146 |
+
}
|
| 147 |
+
});
|
| 148 |
+
|
| 149 |
+
app.listen(3001, () => console.log('Semantic Search API running on port 3001'));
|
| 150 |
+
```
|
| 151 |
+
|
| 152 |
+
**مثال لاستدعاء API من مكون Hydrogen (React):**
|
| 153 |
+
|
| 154 |
+
```jsx
|
| 155 |
+
// components/SemanticSearch.jsx (مثال في Hydrogen)
|
| 156 |
+
import React, { useState } from 'react';
|
| 157 |
+
|
| 158 |
+
export function SemanticSearch() {
|
| 159 |
+
const [query, setQuery] = useState('');
|
| 160 |
+
const [results, setResults] = useState([]);
|
| 161 |
+
|
| 162 |
+
const handleSearch = async () => {
|
| 163 |
+
try {
|
| 164 |
+
const response = await fetch('http://localhost:3001/semantic-search', {
|
| 165 |
+
method: 'POST',
|
| 166 |
+
headers: { 'Content-Type': 'application/json' },
|
| 167 |
+
body: JSON.stringify({ query }),
|
| 168 |
+
});
|
| 169 |
+
const data = await response.json();
|
| 170 |
+
setResults(data);
|
| 171 |
+
} catch (error) {
|
| 172 |
+
console.error('Error fetching semantic search results:', error);
|
| 173 |
+
}
|
| 174 |
+
};
|
| 175 |
+
|
| 176 |
+
return (
|
| 177 |
+
<div>
|
| 178 |
+
<input
|
| 179 |
+
type="text"
|
| 180 |
+
value={query}
|
| 181 |
+
onChange={(e) => setQuery(e.target.value)}
|
| 182 |
+
placeholder="ابحث بالمعنى..."
|
| 183 |
+
/>
|
| 184 |
+
<button onClick={handleSearch}>بحث دلالي</button>
|
| 185 |
+
<div>
|
| 186 |
+
{results.map((product) => (
|
| 187 |
+
<div key={product.id}>
|
| 188 |
+
<h3>{product.title}</h3>
|
| 189 |
+
<p>التشابه: {(product.similarity * 100).toFixed(2)}%</p>
|
| 190 |
+
</div>
|
| 191 |
+
))}
|
| 192 |
+
</div>
|
| 193 |
+
</div>
|
| 194 |
+
);
|
| 195 |
+
}
|
| 196 |
+
```
|
| 197 |
|
| 198 |
+
### الخلاصة
|
| 199 |
|
| 200 |
+
يوفر هذا الدليل إطارًا عمليًا لبناء محرك بحث دلالي قوي باستخدام Node.js ودمجه مع Shopify Hydrogen. من خلال الاستفادة من قوة نماذج Embeddings من Hugging Face، يمكن للمتاجر الإلكترونية تقديم تجربة بحث أكثر ذكاءً وتخصيصًا، مما يعزز رضا العملاء ويزيد المبيعات.
|
| 201 |
|
| 202 |
+
### المراجع
|
| 203 |
|
| 204 |
+
[1] Hugging Face Inference API. [https://huggingface.co/docs/api-inference/index](https://huggingface.co/docs/api-inference/index)
|
| 205 |
+
[2] Shopify Hydrogen. [https://shopify.dev/custom-storefronts/hydrogen](https://shopify.dev/custom-storefronts/hydrogen)
|
| 206 |
+
[3] `sentence-transformers/all-MiniLM-L6-v2` model. [https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2](https://huggingface.co/sentence-transformers/all-MiniLM-L6-v2)
|