EssBony commited on
Commit
e98ddaa
·
verified ·
1 Parent(s): c983aa2

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +8 -1
app.py CHANGED
@@ -1,6 +1,7 @@
1
  #================imports==============
2
 
3
  import uuid
 
4
  import os
5
  from typing import Dict, List, Any
6
  from dotenv import load_dotenv
@@ -41,7 +42,13 @@ urls=[
41
  "https://fr.wikipedia.org/wiki/Apprentissage_automatique"
42
  ]
43
 
44
- loader = WebBaseLoader(urls)
 
 
 
 
 
 
45
  docs =loader.load()
46
 
47
  splitter = RecursiveCharacterTextSplitter(chunk_size= 1000, chunk_overlap=200)
 
1
  #================imports==============
2
 
3
  import uuid
4
+ import requests
5
  import os
6
  from typing import Dict, List, Any
7
  from dotenv import load_dotenv
 
42
  "https://fr.wikipedia.org/wiki/Apprentissage_automatique"
43
  ]
44
 
45
+ loader = WebBaseLoader(urls,
46
+ requests_kwargs={
47
+ "header":{
48
+ "User-Agent":"RAG-App/1.0"
49
+ }
50
+ }
51
+ )
52
  docs =loader.load()
53
 
54
  splitter = RecursiveCharacterTextSplitter(chunk_size= 1000, chunk_overlap=200)