Zero Output Values

#10
by Alireza7368 - opened

I ran the following code. However, the issue is that the output values are zero.

from sentence_transformers import SentenceTransformer
import os



file_path = os.path.dirname(__file__)

attn_implementation = "eager"  # Or "flash_attention_2"
model = SentenceTransformer(
    file_path + "/../../data/models/llama-embed-nemotron-8b/model",
    trust_remote_code=True,
    model_kwargs={"attn_implementation": attn_implementation, "torch_dtype": "float16"},
    tokenizer_kwargs={"padding_side": "left"},
)


documents = [
    'بررسی فراتحلیلی نظریه تبادل رهبر-عضو: همبستگی\u200cها و مسائل سازه\u200c\u200cای\n اس، بین\u200cالمللی، 48، 2922. دینش، ر. م.، و لیدن، ر. سی. (1986). مدل تبادل رهبر-عضو: انتقادی و توسعه بیشتر. مجله بررسی مدیریت، 11، 618—634. *دابینز، گ. اچ.، کاردی، ر. ال.، و پلاتز-وینو، اس. جی. (1990). رویکردی احتمالی به رضایت از ارزیابی: بررسی اولیه اثرات مشترک متغیرهای سازمانی و ویژگی\u200cهای ارزیابی. مجله مدیریت، 16، 619-632. *داکری، تی. ام.، و اشتاینر، دی. دی. (1990). نقش تعامل اولیه در تبادل رهبر-عضو. مطالعات گروه و سازمان، 15، 395-413. *دوارت، ان. تی، گودسون، ج. آر.، و کلیچ، ان. آر. (1994). اثرات کیفیت و مدت رابطه بر ارزیابی عملکرد. مجله مدیریت آکادمی، 37، 499-521. *داشون، دی.، گرین، اس. جی.، و تابر، تی. دی. (1986). پیوند عمودی عضویت: ارزیابی طولی از پیش\u200cزمینه\u200cها، اندازه\u200cگیری\u200cها و پیامدها. مجله روانشناسی کاربردی، 71، 5660. *دانگان، کی. جی.، داشون، دی.، و اوهل-بین، ام. (1992). بررسی ارتباط بین تبادل رهبر-عضو و عملکرد زیردستان: نقش تجزیه\u200cپذیری و تنوع وظیفه به عنوان تعدیل\u200cکننده\u200cها. مجله مدیریت، 18، 59—76. *دانگان، کی. جی.، اوهل-بین، ام.، و داشون، دی. (1994، آگوست). آب و هوای سطح وظیفه (TLC) و تبادل رهبر-عضو (LMX) به عنوان پیش\u200cبینی\u200cکننده\u200cهای تعاملی عملکرد زیردستان. مقاله ارائه شده در پنجاه و چهارمین جلسه آکادمی مدیریت، دالاس، تگزاس. فهر، ج.-ال.، و دابینز، گ. اچ. (1989). اثرات اطلاعات عملکرد مقایسه\u200cای بر دقت خودارزیابی و توافق بین ارزیابی\u200cهای خود و سرپرست. مجله روانشناسی کاربردی، 74، 606-610. فلدمن، ج. ام. (1986). یادداشتی در مورد تصحیح آماری خطای هاله. مجله روانشناسی کاربردی، 71، 173-176. *فریس، جی. آر. (1985). نقش رهبری در فرآیند خروج کارمند: تکرار سازنده. مجله روانشناسی کاربردی، 70، 777-781. *ریکامی، سی. وی، و لارسن، ای. دبلیو. (1984). تعهد به شرکت و اتحادیه: مدل\u200cهای موازی. مجله روانشناسی کاربردی، 69، 367-371. *گاست، آی. (1987). پیچیدگی شناختی رهبر و تأثیر آن بر کیفیت روابط تبادلی با زیردستان (رساله دکتری، دانشگاه جورج واشنگتن، 1987). چکیده\u200cهای بین\u200cالمللی رساله\u200cها، 47، 5082. *گرراس، اس. (1993). تأثیر شلوغی شناختی و رفتارهای غیرکلامی بر استنتاجات ویژگی و قضاوت\u200cهای LMX (رساله دکتری، دانشگاه ایالتی پنسیلوانیا، 1992). چکیده\u200cهای بین\u200cالمللی رساله\u200cها، 53، 3819. *گسنر، ج. (1993). رویکرد جذابیت بین فردی به تبادل رهبر-عضو: پیش\u200cبینی پیش\u200cبینی\u200cکننده (رساله دکتری، دانشگاه مریلند، 1993). چکیده\u200cهای بین\u200cالمللی رساله\u200cها، 53، 3820. گرین، جی. بی. (1976). فرآیندهای نقش\u200cآفرینی در سازمان\u200cهای پیچیده. در ام. دی. دانت (ویرایشگر)، راهنمای روانشناسی صنعتی و سازمانی (صص. 1201-1245). شیکاگو: رند مک\u200cنالی. گرین، جی. بی. (1989). قوانین نانوشته برای حرفه شما. نیویورک: وایلی. *گرین، جی. بی.، و کشمن، ج. (1975). یک مدل نقش\u200cآفرینی رهبری در سازمان\u200cهای رسمی: رویکرد توسعه. در جی. جی. هانت و ال. ال. لارسن (ویرایشگران)، مرزهای رهبری (صص. 143-165). کنت، اوهایو: دانشگاه ایالتی کنت. *گرین، جی. بی.، دانسرو، ای، مینانی، تی.، و کشمن، ج. (1973). رفتارهای رهبری به عنوان نشانه\u200cهای ارزیابی عملکرد. مجله مدیریت آکادمی، 16، 611-623. *گرین، جی. بی.، لیدن، آر.، و هوئل، دبلیو. (1982). نقش رهبری در فرآیند خروج کارمند. مجله روانشناسی کاربردی، 67، 868-872. *گرین، جی. بی.، نواک، ام. ای.، و سامرکمپ، پی. (1982). اثرات تبادل رهبر-عضو و طراحی شغل بر بهره\u200cوری و رضایت: آزمایش یک مدل دلبستگی دوگانه. رفتار سازمانی و عملکرد انسانی، 30، 109131. گرین، جی. بی.، و اسکندورا، تی. ای. (1987). به سوی روانشناسی سازماندهی دوگانه. تحقیقات در رفتار سازمانی، 9، 175-208. گرین، جی. بی.، اسکندورا، تی. ای.، و گرین، ام. آر. (1986). یک آزمایش میدانی برای آزمایش اثرات تعدیل\u200cکننده قدرت نیاز به رشد بر بهره\u200cوری. مجله روانشناسی کاربردی، 71، 484-491. گرین، جی. بی.، و شیامن، دبلیو. (1978). توافق رهبر-عضو: رویکرد پیوند عمودی دوگانه. مجله روانشناسی کاربردی، 63، 206-212. گرین، جی. بی.، و اوهل-بین، ام. (1995). رویکرد مبتنی بر رابطه به رهبری: توسعه نظریه تبادل رهبر-عضو (LMX) رهبری در طول 25 سال: به کارگیری یک دیدگاه چند سطحی چند دامنه. فصلنامه رهبری، 6، 219-247. *گرین، جی. بی.، واکابایاشی، ام.، گرین، ام. آر.، و گرین، ام. جی. (1990). تعمیم\u200cپذیری بین\u200cالمللی فرضیه\u200cهای آمریکایی در مورد پیشرفت مدیریت ژاپنی: یک تحقیق استنتاجی قوی. فصلنامه رهبری، 1، 1-23. *گرین، اس. جی.، اندرسون، اس. ای.، و شیورز، اس. ال. (1996). تأثیرات جمعیتی و سازمانی بر تبادل رهبر-عضو و نگرش\u200cهای مرتبط با کار. فرآیندهای تصمیم\u200cگیری رفتار سازمانی و انسانی، 66، 203-214. *گرین، اس. جی.، بلانک، دبلیو، و لیدن، آر. سی. (1983). تأثیرات بازار و سازمانی بر نگرش\u200cها و رفتارهای کارمندان بانک. مجله روانشناسی کاربردی، 68، 298-306. هریس، ام. ام.، و شائوبروک، ج. (1988). یک فرا تحلیل از رتبه\u200cبندی\u200cهای خود-سرپرست، خود-همکار و همکار-سرپرست. روانشناسی پرسنل، 41، 43-62. هاتر، جی. جی.، و باس، بی. ام. (1988). ارزیابی\u200cهای مافوق و ادراک زیردستان از رهبری تحول\u200cگرا و تراکنش\u200cگرا. مجله روانشناسی کاربردی، 73، 695702. هجز، ال. وی. (1987). علم سخت چقدر سخت است، علم نرم چقدر نرم است؟ تجمعی تجربی تحقیقات. روانشناس آمریکایی، 42، 443-455. هجز، ال. وی، و اولکین، ای. (1985). روش\u200cهای آماری برای فرا تحلیل. نیو \\brk: انتشارات دانشگاهی. هاوس، آر. جی. (1977). یک نظریه 1976 رهبری کاریزماتیک. در جی. جی. هانت و ال. ال. لارسن (ویرایشگران)، رهبری: لبه پیشرو (صص. 189-207). کاربوندیل: دانشگاه ایالتی جنوبی. هاول، جی. ام.، و آولیویو، بی. جی. (1993). رهبری تحول\u200cگرا، رهبری تراکنش\u200cگرا، مکان کنترل و حمایت از 842 GERSTNER AND DAY برای نوآوری: پیش\u200cبینی\u200cکننده\u200cهای کلیدی عملکرد واحد تجاری تجمیع\u200cشده. مجله روانشناسی کاربردی، 78، 891—902. هاول، جی. ام.، و فراست، پی. جی. (1989). یک مطالعه آزمایشگاهی رهبری کاریزماتیک. رفتار سازمانی و فرآیندهای تصمیم\u200cگیری انسانی، 43، 243-269. هافکات، ای. آی.، و آرتور، دبلیو، جونیور. (1995). توسعه یک آمار جدید پرت برای داده\u200cهای فرا تحلیلی. مجله روانشناسی کاربردی، 80، 327-334. هافکات، ای. آی.، آرتور، دبلیو، جونیور.، و بنت، دبلیو. (1993). انجام فرا تحلیل با استفاده از رویه proc means در SAS. اندازه\u200cگیری آموزشی و روانشناختی، S3، 119-131. هانتر، جی. ای.، و اشمیت، اف. ال. (1990). روش\u200cهای فرا تحلیل: تصحیح خطا و سوگیری در یافته\u200cهای تحقیقاتی. نیوبوری پارک، کالیفرنیا: سیج. هانتر، جی. ای.، اشمیت، اف. ال.، و جکسون، جی. بی. (1982). فرا تحلیل: جمع\u200cآوری یافته\u200cهای تحقیقاتی در مطالعات. بوورلی هیلز، کالیفرنیا: سیج. *جیمز، ال. آر.، جنت، ام. جی.، هاتر، جی. جی.، و کورای، کی. ای. (1979). همبستگی\u200cهای تأثیر روانشناختی: نشان دادن رویکرد آب و هوای روانشناختی به ادراکات محیط کار. روانشناسی پرسنل، 32، 563-588. *جیمز، ال. آر.، هاتر، جی. جی.، و جونز، ای. (1981). ادراک تأثیر روانشناختی: یک رویکرد پردازش اطلاعات شناختی برای توضیح روابط تعدیل\u200cشده. روانشناسی پرسنل، 34، 453-477. جانسون، بی. تی.، و تبرکو، آر. ام. (1992). ارزش شاخص\u200cهای برازش خوب در فرا تحلیل: نظری در مورد هال و روزنتال. تک\u200cنگاری\u200cهای ارتباطی، 59، 388-396. *جونز، ای. پی.، گلامان، جی. ام.، و جانسون، دی. اس. (1993). ادراک یک برنامه کیفیت و روابط با ادراکات کار و نگرش\u200cهای شغلی. گزارش\u200cهای روانشناختی، 72، 619-624. *کاتربرگ، آر.، و هورن، پی. دبلیو. (1981). اثرات تنوع درون\u200cگروهی و بین\u200cگروهی در رهبری. مجله روانشناسی کاربردی، 66، 218-223. "کلر، تی.، و دانسرو، اف. (1995). رهبری و توانمندسازی: یک دیدگاه تبادل اجتماعی. روابط انسانی، 48، 127-146. *کیم، کی. ای.، و ارگان، دی. دبلیو. (1982). تعیین\u200cکننده\u200cهای روابط تبادل رهبر-زیردست. مطالعات گروه و سازمان، 7، 77-89. *کینیکی، ای. جی.، و وکیو، آر. پی. (1994). تأثیرات بر کیفیت روابط سرپرست-زیردست: نقش فشار زمانی، تعهد سازمانی و مکان کنترل. مجله رفتار سازمانی، 15، 75-82. *ک\'اوبونیو، پی. او. (1989). یک فرآیند تأثیر عمودی دوگانه: یک تحقیق آزمایشگاهی در مورد تأثیر چاپلوسی زیردست (تعریف و عملکرد) بر رابطه تبادل مافوق-زیردست (رساله دکتری، دانشگاه کارولینای جنوبی، 1988). چکیده\u200cهای بین\u200cالمللی رساله\u200cها، 50، 1366. کوزلوسکی، اس. دبلیو. جی.، و دوهرتی، ام. ال. (1989). ادغام آب و هوا و رهبری: بررسی یک موضوع غفلت\u200cشده. مجله روانشناسی کاربردی، 74، 546-553. کونرت، کی. دبلیو. (1994). رهبری تحول\u200cگرا: توسعه افراد از طریق تفویض اختیار. در بی. ام. باس و بی. جی. آولیویو (ویرایشگران)، بهبود اثربخشی سازمانی از طریق رهبری تحول\u200cگرا (صص. 10-25). هزار اوکس، کالیفرنیا: سیج. کونرت، کی. دبلیو.، و لوئیس، پی. (1987). رهبری تراکنشی و تحول\u200cگرا: یک تحلیل سازنده/توسعه\u200cای. مجله بررسی مدیریت، 12، 648—657. *لاگیس، آر. آر. (1988). تحقیقی در مورد تأثیر اعتماد بین فردی بر کیفیت رابطه و متغیرهای نتیجه در دوگانه مدیر فروش/فروشنده (رساله دکتری، دانشگاه سینسیناتی، 1987). چکیده\u200cهای بین\u200cالمللی رساله\u200cها، 48، 2679. *لاگیس، آر. آر. (1990). تبادل رهبر-عضو: پیش\u200cزمینه\u200cها و پیامدهای کادر و کارگر استخدام\u200cشده. مجله فروش شخصی و مدیریت فروش، 10، 11-19. *لاگیس، آر. آر.، کستلبنی، اس. بی.، و ریدنور، آر. ای. (1993). یک مطالعه اکتشافی نیروی فروش در مورد رابطه بین تبادل رهبر-عضو و انگیزه، استرس نقش و ارزیابی مدیر. مجله تحقیقات تجاری کاربردی، 9، 110-119. *لینا، سی. آر. (1986). پیش\u200cبینی\u200cکننده\u200cها و پیامدهای تفویض اختیار. مجله مدیریت آکادمی، 2، 754—774. *لیدن، آر.، و ماسلین، ج. ام. (در دست چاپ). چندبعدی بودن رهبر-عضو',
]

# model[0].max_seq_length = 3100
document_embeddings = model.encode_document(documents)

output:

document_embeddings
array([[ 0.,  0., -0., ..., -0.,  0., -0.]], dtype=float16)
NVIDIA org

@Alireza7368 this probably happens due to overflow in fp16 dtype. During the average pooling we're taking the sum across the sequence length dimension, and it can be too large for long sequences (as in your case).

The workaround is to use fp32: "torch_dtype": "float32"

I updated the model card with float32

ybabakhin changed discussion status to closed

@ybabakhin
If we load it with float32, it consumes a lot of RAM.
Please suggest a way to make the model load in a more compact form — or even make it possible to quantize it.

NVIDIA org

@Alireza7368
You can also use bfloat16, "torch_dtype": "bfloat16". There should be no performance degradation.

Sign up or log in to comment