Update main.py

main.py

@@ -19,14 +19,13 @@ starchat_repo_id = os.environ.get('starchat_repo_id')
 llama2_repo_id=os.environ.get('llama2_repo_id')
 #port = os.getenv('port')
 
-llm = HuggingFaceHub(#starchat_repo_id=starchat_repo_id,
-                     llama2_repo_id=llama2_repo_id,
-                     #huggingfacehub_api_token="hf_p***K",
+llm = HuggingFaceHub(llama2_repo_id=llama2_repo_id,
+                     #starchat_repo_id=starchat_repo_id,                     
                      huggingfacehub_api_token=hf_token,
                      model_kwargs={#"min_length":512,  #for StarChat
                                    "min_length":1024,  #for Llama2
                                    #"max_new_tokens":3072, "do_sample":True,  #for StarChat
-                                   "max_new_tokens":3072, "do_sample":True,  #for Llama2                                 
+                                   "max_new_tokens":5632, "do_sample":True,  #for Llama2                                 
                                    "temperature":0.1,
                                    "top_k":50,
                                    "top_p":0.95, "eos_token_id":49155})