Mike0307
/

text2vec-base-chinese-rag

@@ -41,4 +41,39 @@ embeddings = mean_pooling(model_output, encode_output['attention_mask'])
 torch.cosine_similarity(embeddings[0], embeddings[1], dim=0)
 # tensor(0.7002)
-```

 torch.cosine_similarity(embeddings[0], embeddings[1], dim=0)
 # tensor(0.7002)
+```
+### Example of Langchain Retriever
+First, install the langchain package
+```bash
+pip install --upgrade --quiet  langchain langchain-community
+```
+Download Huggingface model through langchain_community
+```python
+from langchain_community.embeddings.huggingface import HuggingFaceEmbeddings
+model_name = "Mike0307/text2vec-base-chinese-rag"
+embeddings = HuggingFaceEmbeddings(model_name=model_name)
+```
+An example of retriever by meta FAISS vectorstore
+```python
+from langchain.schema import Document
+from langchain_community.vectorstores.faiss import FAISS
+documents = [
+    Document(page_content="埃及聖䴉（學名：），又名埃及聖朱鷺、埃及聖鷺、聖䴉，是撒哈拉以南非洲、伊拉克東南部及以往埃及的一種朱鷺。牠們在埃及備受尊敬，經常被製成木乃伊當做托特的象徵。牠們也被引入到法國、義大利、西班牙及美國。現在，在臺灣西部濱海地區也可看到牠們。保守估計全臺灣約有1200至1500只的族群量。埃及聖䴉成鳥長68釐米，身體全白，後羽黑色。頭部及頸部都是禿及黑色的，喙厚而彎，腳也是黑色的。飛行時雙翼張開後邊有一道黑色羽毛。雄鳥及雌鳥相似，雛鳥呈灰白色，喙較少，頸上有一些羽毛。埃及聖䴉在樹上築巢，會與其他水鳥（如鷺科）一同生活。牠們很多時會在猴麵包樹上以樹枝築巢，每次產2-3顆蛋。埃及聖䴉在沼澤溼地及泥濘出沒，有時會到訪農地及垃圾站。牠們主要吃魚類、青蛙及其他水中生物，包括昆蟲與螺類。埃及聖䴉很靜，但有時也會發出一些哇聲。引入到南歐的埃及聖䴉急速破壞了燕鷗等動物的棲息地，且與牛背鷺及白鷺競爭築巢的地方。牠們很能適應環境，在冬天的時候會吃垃圾來補充牠們的食物。埃及聖䴉是《非洲-歐亞大陸遷徙水鳥保護協定》中所保護的物種之一。在古埃及，埃及聖䴉倍受尊崇，且會被製成木乃伊，成為托特的象徵。希羅多德及老普林尼都指埃及聖䴉可以對抗蛇。另亦有指只要將埃及聖䴉作為祭牲，就可以殺死帶來瘟疫的蒼蠅。"),
+    Document(page_content="隨著科技的不斷發展和革新，人工智能已經成為了眾多企業和機構的重點關注對象。機器學習、自然語言處理、深度神經網絡等技術的應用，已經開始推動著人工智能產業的快速發展。從目前的發展情況來看，人工智能不僅可以提高工作效率，降低人力成本，還可以促進產業升級，改善生活質量。 人工智能在醫療行業的應用，可以大大提高醫療效率和準確性。尤其在疾病的診斷方面，人工智能已經可以通過分析醫療影像和數據，輔助醫生診斷，並提供科學的治療建議。此外，人工智能還可以通過大數據分析，預測疾病的發生和傳播趨勢，幫助政府和公共衛生機構做出科學的決策。 除了醫療行業，人工智能在教育、金融、交通、能源等各行業都有廣泛的應用。在教育方面，人工智能已經可以通過自適應性學習，為學生提供個性化的教育服務。在金融行業，人工智能可以幫助進行風險評估、客戶群體分析和智能投資決策。在交通行業，人工智能可以應用於交通規劃和實時路況預測。在能源行業，人工智能可以幫助提高能源的利用率和效率。 總之，人工智能已經逐漸成為推動社會進步和促進產業升級的重要支撐。未來，人工智能還將繼續加速發展，為各行各業創造更多的價值。，總結上面這段文本的摘要。"),
+    Document(page_content="Apache Hadoop是一款支持數據密集型分佈式應用程序並以Apache 2.0許可協議發佈的開源軟體框架。它支持在商品硬件構建的大型集群上運行的應用程序。Hadoop是根據谷歌公司發表的MapReduce和Google檔案系統的論文自行實作而成。所有的Hadoop模塊都有一個基本假設，即硬件故障是常見情況，應該由框架自動處理。Hadoop框架透明地為應用提供可靠性和數據移動。它實現了名為MapReduce的編程範式：應用程序被分割成許多小部分，而每個部分都能在集群中的任意節點上執行或重新執行。此外，Hadoop還提供了分佈式文件系統，用以存儲所有計算節點的數據，這為整個集群帶來了非常高的帶寬。MapReduce和分佈式文件系統的設計，使得整個框架能夠自動處理節點故障。它使應用程序與成千上萬的獨立計算的電腦和PB級的數據連接起來。現在普遍認為整個Apache Hadoop“平臺”包括Hadoop內核、MapReduce、Hadoop分佈式文件系統（HDFS）以及一些相關項目，有Apache Hive和Apache HBase等等。2008年2月19日，雅虎使用10,000個微處理器核心的Linux計算機集群運行一個Hadoop應用程式。其他知名用戶包括：昇陽電腦的Sun Grid Engine可以用來調度Hadoop Job。威斯康辛大學麥迪遜分校的Condor計算機集群軟件也可以用作Hadoop Job的排程。"),
+    Document(page_content="23歲時出道、血型A型的福井舞是出身於京都的日本女創作歌手，所屬唱片公司為J-more。2004年，與WADAGAKI、SHINO組合地下音樂隊Poplar，發表了兩張專輯，天照和夢死物語。在2006年時退出，2007年10月加入了Avex獨立發展。"),
+    Document(page_content="協和橋（Pont de la Concorde）是法國巴黎一座跨越塞納河的拱橋，介於協和廣場的堤道（quai des Tuileries）（右岸）和奧賽堤道（quai d'Orsay）（左岸）之間。它在過去曾稱為路易十六橋（pont Louis XVI）、革命橋（pont de la Révolution）、協和橋，波旁復辟時期（1814年）複稱路易十六橋，1830年再度恢復協和橋名稱，直至今日。附近有地鐵的國民議會站和協和站。1787年，建築師Jean-Rodolphe Perronet受命建造新橋。計劃開始於1755年，當時開始興建路易十五廣場（今協和廣場），以取代此處的渡口。在動盪的法國革命中工程繼續進行，利用了拆卸巴士底獄的石材建造，完成於1791年。1810年，拿破崙一世在橋的置於兩旁安放法蘭西第一帝國8位陣亡將軍的雕像。波旁復辟時期改為12座巨大的大理石雕像，其中包括4名大臣Suger、蘇利、黎塞留、柯爾貝爾，4名皇家將軍（杜·蓋克蘭、貝亞德、孔代, 蒂雷納子爵）和4名航海家勒內杜高依、迪凱納、Suffren、圖爾維爾.然而，這些雕像對於橋樑太過沉重，路易-菲利普一世將它們轉移到了凡爾賽宮。過橋交通變得十分擁擠，1930年到1932年，該橋加寬到原來的2倍。工程師德瓦爾和馬利特仔細維護新古典主義建築原貌。1983年最後一次修復。今天，這座橋是巴黎的道路交通要衝（環城大道的橋樑除外）。"),
+    Document(page_content="中華民國空氣汙染指標（Pollutant Standards Index，PSI）是空氣汙染情況的一項指標，由中華民國行政院環境保護署於1993年擴充測站後推出，目標乃藉由本測站系統監控全臺灣所有的空氣品質並加以通報改善。空氣汙染指標為依據監測資料將當日空氣中懸浮微粒(PM10)、二氧化硫(SO)、二氧化氮(NO)、一氧化碳 (CO) 及臭氧 (O) 等5種空氣汙染物濃度數值，以其對人體健康的影響程度，分別換算出不同汙染物之副指標值，再以當日各副指標值之最大值為該測站當日之空氣汙染指標值 (PSI) 。每監測區各取三個指標值最大的測站平均成為該監測區的指標值。轉化為一個由0至500的單一數字，並按照指數高低而劃分為良好、普通、不良、非常不良和有害五種級別。空氣品質測站種類有一般空氣品質監測站、工業空氣品質監測站、交通空氣品質監測站、國家公園空氣品質監測站、背景空氣品質監測站五種類別。有部分的測站會兼具兩種類別。全臺灣被分成七個空氣品質監測區，北部地區（臺北、新北、桃園、基隆）、新竹苗栗地區、中部地區（臺中、彰化、南投）、雲林嘉義臺南地區、高雄屏東地區、宜蘭地區、花蓮臺東地區。監測站位於臺灣各地的學校和政府機關為主:臺灣空氣品質指數分為以下5級:"),
+    Document(page_content="滾石國際音樂股份有限公司 Rock Records Co., Ltd.  曾用名 滾石雜誌社 滾石有聲出版社 公司類型 股份有限公司 統一編號 22012304 成立 1976年，滾石雜誌社 1980年，滾石有聲出版社 1986年1月28日（公司登記日期）（38年113天） 創辦人 段鍾沂、段鍾潭 代表人物 段鍾沂、段鍾潭 總部  臺灣臺北市內湖區內湖路一段120巷17號2樓  臺灣臺北市大安區光復南路290巷1號5樓（公司登記地址） 業務範圍 台灣、中國大陸、日本、香港、新加坡、馬來西亞、韓國 產業 娛樂服務業 產品 音樂唱片製作、發行 實收資本額 新臺幣186,400,000元（2010年12月） 主要子公司 息壤音樂[1]、台灣滾石音樂經紀[2] 網站 www.rock.com.tw 滾石唱片是臺灣一家大型唱片公司，由段鍾沂、段鍾潭兄弟於1980年創辦（最早的名稱為滾石有聲出版社），是台灣戰後首家本土唱片公司，為華語世界中規模最大的唱片業者，並為亞洲地區第二大的獨立唱片公司，僅次於日本的愛貝克思集團。旗下曾擁有新格唱片、友善的狗、魔岩唱片、風雲唱片、大海嘯唱片、電星唱片、火山唱片、龍捲風唱片、基力音樂等子品牌。"),
+]
+db = FAISS.from_documents(documents, embeddings)
+db.similarity_search("福井舞所屬哪家唱片公司？", k=1)
+# [Document(page_content='23歲時出道、血型A型的福井舞是出身於京都���日本女創作歌手，所屬唱片公司為J-more。2004年，與WADAGAKI、SHINO組合地下音樂隊Poplar，發表了兩張專輯，天照和夢死物語。在2006年時退出，2007年10月加入了Avex獨立發展。')]
+```