Upload folder using huggingface_hub

.gitignore

@@ -0,0 +1,10 @@
+/venv
+/.idea
+/.vscode
+/index.bin
+/texts.csv
+/config.json
+/temp
+/upload
+__pycache__
+config.json

Dockerfile

@@ -0,0 +1,21 @@
+# Use an official Python runtime as a parent image
+FROM python:3.9
+
+# Set the working directory to /app
+WORKDIR /app
+
+# Copy the requirements file
+COPY requirements.txt .
+
+# Install Dependencies
+RUN pip3 install -r requirements.txt
+
+# Copy the rest of the application's code
+COPY . .
+
+# Make port 7860 and 9531 available to the world outside this container
+EXPOSE 7860
+EXPOSE 9531
+
+# Run the application when the container launches
+CMD ["sh", "run.sh"]

ai.py

@@ -0,0 +1,199 @@
+import numpy as np
+import openai
+import tiktoken
+from sklearn.feature_extraction.text import TfidfVectorizer
+from sklearn.metrics.pairwise import cosine_similarity
+
+from config import Config
+
+
+class AI:
+    """The AI class."""
+
+    def __init__(self, cfg: Config):
+        openai.api_key = cfg.open_ai_key
+        openai.proxy = cfg.open_ai_proxy
+        self._chat_model = cfg.open_ai_chat_model
+        self._use_stream = cfg.use_stream
+        self._encoding = tiktoken.encoding_for_model('gpt-3.5-turbo')
+        self._language = cfg.language
+        self._temperature = cfg.temperature
+
+    def _chat_stream(self, messages: list[dict], use_stream: bool = None) -> str:
+        use_stream = use_stream if use_stream is not None else self._use_stream
+        response = openai.ChatCompletion.create(
+            temperature=self._temperature,
+            stream=use_stream,
+            model=self._chat_model,
+            messages=messages,
+        )
+        if use_stream:
+            data = ""
+            for chunk in response:
+                if chunk.choices[0].delta.get('content', None) is not None:
+                    data += chunk.choices[0].delta.content
+                    print(chunk.choices[0].delta.content, end='')
+            print()
+            return data.strip()
+        else:
+            print(response.choices[0].message.content.strip())
+            print(f"Total tokens used: {response.usage.total_tokens}, "
+                  f"cost: ${response.usage.total_tokens / 1000 * 0.002}")
+            return response.choices[0].message.content.strip()
+
+    def _num_tokens_from_string(self, string: str) -> int:
+        """Returns the number of tokens in a text string."""
+        num_tokens = len(self._encoding.encode(string))
+        return num_tokens
+
+    def completion(self, query: str, context: list[str]):
+        """Create a completion."""
+        context = self._cut_texts(context)
+        print(f"Number of query fragments:{len(context)}")
+
+        text = "\n".join(f"{index}. {text}" for index, text in enumerate(context))
+        result = self._chat_stream([
+            {'role': 'system',
+             'content': f'You are a helpful AI article assistant. '
+                        f'The following are the relevant article content fragments found from the article. '
+                        f'The relevance is sorted from high to low. '
+                        f'You can only answer according to the following content:\n```\n{text}\n```\n'
+                        f'You need to carefully consider your answer to ensure that it is based on the context. '
+                        f'If the context does not mention the content or it is uncertain whether it is correct, '
+                        f'please answer "Current context cannot provide effective information."'
+                        f'You must use {self._language} to respond.'},
+            {'role': 'user', 'content': query},
+        ])
+        return result
+
+    def _cut_texts(self, context):
+        maximum = 4096 - 1024
+        for index, text in enumerate(context):
+            maximum -= self._num_tokens_from_string(text)
+            if maximum < 0:
+                context = context[:index + 1]
+                print(f"Exceeded maximum length, cut the first {index + 1} fragments")
+                break
+        return context
+
+    def get_keywords(self, query: str) -> str:
+        """Get keywords from the query."""
+        result = self._chat_stream([
+            {'role': 'user',
+             'content': f'You need to extract keywords from the statement or question and '
+                        f'return a series of keywords separated by commas.\ncontent: {query}\nkeywords: '},
+        ], use_stream=False)
+        return result
+
+    @staticmethod
+    def create_embedding(text: str) -> (str, list[float]):
+        """Create an embedding for the provided text."""
+        embedding = openai.Embedding.create(model="text-embedding-ada-002", input=text)
+        return text, embedding.data[0].embedding
+
+    def create_embeddings(self, texts: list[str]) -> (list[tuple[str, list[float]]], int):
+        """Create embeddings for the provided input."""
+        result = []
+        query_len = 0
+        start_index = 0
+        tokens = 0
+
+        def get_embedding(input_slice: list[str]):
+            embedding = openai.Embedding.create(model="text-embedding-ada-002", input=input_slice)
+            return [(txt, data.embedding) for txt, data in
+                    zip(input_slice, embedding.data)], embedding.usage.total_tokens
+
+        for index, text in enumerate(texts):
+            query_len += self._num_tokens_from_string(text)
+            if query_len > 8192 - 1024:
+                ebd, tk = get_embedding(texts[start_index:index + 1])
+                print(f"Query fragments used tokens: {tk}, cost: ${tk / 1000 * 0.0004}")
+                query_len = 0
+                start_index = index + 1
+                tokens += tk
+                result.extend(ebd)
+
+        if query_len > 0:
+            ebd, tk = get_embedding(texts[start_index:])
+            print(f"Query fragments used tokens: {tk}, cost: ${tk / 1000 * 0.0004}")
+            tokens += tk
+            result.extend(ebd)
+        return result, tokens
+
+    def generate_summary(self, embeddings, num_candidates=3, use_sif=False):
+        """Generate a summary for the provided embeddings."""
+        avg_func = self._calc_paragraph_avg_embedding_with_sif if use_sif else self._calc_avg_embedding
+        avg_embedding = np.array(avg_func(embeddings))
+
+        paragraphs = [e[0] for e in embeddings]
+        embeddings = np.array([e[1] for e in embeddings])
+        # 计算每个段落与整个文本的相似度分数
+        # Calculate the similarity score between each paragraph and the entire text.
+        similarity_scores = cosine_similarity(embeddings, avg_embedding.reshape(1, -1)).flatten()
+
+        # 选择具有最高相似度分数的段落作为摘要的候选段落
+        # Select the paragraph with the highest similarity score as the candidate paragraph for the summary.
+        candidate_indices = np.argsort(similarity_scores)[::-1][:num_candidates]
+        candidate_paragraphs = [f"paragraph {i}: {paragraphs[i]}" for i in candidate_indices]
+
+        print("Calculation completed, start generating summary")
+
+        candidate_paragraphs = self._cut_texts(candidate_paragraphs)
+
+        text = "\n".join(f"{index}. {text}" for index, text in enumerate(candidate_paragraphs))
+        result = self._chat_stream([
+            {'role': 'system',
+             'content': f'As a helpful AI article assistant, '
+                        f'I have retrieved the following relevant text fragments from the article, '
+                        f'sorted by relevance from high to low. '
+                        f'You need to summarize the entire article from these fragments, '
+                        f'and present the final result in {self._language}:\n\n{text}\n\n{self._language} summary:'},
+        ])
+        return result
+
+    @staticmethod
+    def _calc_avg_embedding(embeddings) -> list[float]:
+        # Calculate the average embedding for the entire text.
+        avg_embedding = np.zeros(len(embeddings[0][1]))
+        for emb in embeddings:
+            avg_embedding += np.array(emb[1])
+        avg_embedding /= len(embeddings)
+        return avg_embedding.tolist()
+
+    @staticmethod
+    def _calc_paragraph_avg_embedding_with_sif(paragraph_list) -> list[float]:
+        # calculate the SIF embedding for the entire text
+        alpha = 0.001
+        # calculate the total number of sentences
+        n_sentences = len(paragraph_list)
+
+        # calculate the total number of dimensions in the embeddings
+        n_dims = len(paragraph_list[0][1])
+
+        # calculate the IDF values for each word in the sentences
+        vectorizer = TfidfVectorizer(use_idf=True)
+        vectorizer.fit_transform([paragraph for paragraph, _ in paragraph_list])
+        idf = vectorizer.idf_
+
+        # calculate the SIF weights for each sentence
+        weights = np.zeros((n_sentences, n_dims))
+        for i, (sentence, embedding) in enumerate(paragraph_list):
+            sentence_words = sentence.split()
+            for word in sentence_words:
+                try:
+                    word_index = vectorizer.vocabulary_[word]
+                    word_idf = idf[word_index]
+                    word_weight = alpha / (alpha + word_idf)
+                    weights[i] += word_weight * (np.array(embedding) / np.max(embedding))
+                except KeyError:
+                    pass
+
+        # calculate the weighted average of the sentence embeddings
+        weights_sum = np.sum(weights, axis=0)
+        weights_sum /= n_sentences
+        avg_embedding = np.zeros(n_dims)
+        for i, (sentence, embedding) in enumerate(paragraph_list):
+            avg_embedding += (np.array(embedding) / np.max(embedding)) - weights[i]
+        avg_embedding /= n_sentences
+
+        return avg_embedding.tolist()

api.py

@@ -0,0 +1,117 @@
+import os
+import shutil
+
+import uvicorn
+import xxhash
+from fastapi import FastAPI, UploadFile, File
+from fastapi.exceptions import RequestValidationError
+from pydantic import BaseModel
+from starlette.exceptions import HTTPException
+from starlette.requests import Request
+from starlette.responses import JSONResponse
+
+from ai import AI
+from config import Config
+from contents import web_crawler_newspaper, extract_text_from_txt, extract_text_from_docx, \
+    extract_text_from_pdf
+from storage import Storage
+
+
+def api(cfg: Config):
+    """Run the API."""
+
+    cfg.use_stream = False
+    ai = AI(cfg)
+
+    app = FastAPI()
+
+    class CrawlerUrlRequest(BaseModel):
+        url: str
+
+    @app.post("/crawler_url")
+    async def crawler_url(req: CrawlerUrlRequest):
+        """Crawler the URL."""
+        contents, lang = web_crawler_newspaper(req.url)
+        hash_id = xxhash.xxh3_128_hexdigest('\n'.join(contents))
+        tokens = _save_to_storage(contents, hash_id)
+        return {"code": 0, "msg": "ok", "data": {"uri": f"{hash_id}/{lang}", "tokens": tokens}}
+
+    def _save_to_storage(contents, hash_id):
+        storage = Storage.create_storage(cfg)
+        if storage.been_indexed(hash_id):
+            return 0
+        else:
+            embeddings, tokens = ai.create_embeddings(contents)
+            storage.add_all(embeddings, hash_id)
+            return tokens
+
+    @app.post("/upload_file")
+    async def create_upload_file(file: UploadFile = File(...)):
+        """Upload file."""
+        # save file to disk
+        file_name = file.filename
+        os.makedirs('./upload', exist_ok=True)
+        upload_path = os.path.join('./upload', file_name)
+        with open(upload_path, "wb") as buffer:
+            shutil.copyfileobj(file.file, buffer)
+        if file_name.endswith('.pdf'):
+            contents, lang = extract_text_from_pdf(upload_path)
+        elif file_name.endswith('.txt'):
+            contents, lang = extract_text_from_txt(upload_path)
+        elif file_name.endswith('.docx'):
+            contents, lang = extract_text_from_docx(upload_path)
+        else:
+            return {"code": 1, "msg": "not support", "data": {}}
+        hash_id = xxhash.xxh3_128_hexdigest('\n'.join(contents))
+        tokens = _save_to_storage(contents, hash_id)
+        os.remove(upload_path)
+        return {"code": 0, "msg": "ok", "data": {"uri": f"{hash_id}/{lang}", "tokens": tokens}}
+
+    @app.get("/summary")
+    async def summary(uri: str):
+        """Generate summary."""
+        hash_id, lang = uri.split('/')
+        storage = Storage.create_storage(cfg)
+        if not storage or not lang:
+            return {"code": 1, "msg": "not found", "data": {}}
+        s = ai.generate_summary(storage.get_all_embeddings(hash_id), num_candidates=100,
+                                use_sif=lang not in ['zh', 'ja', 'ko', 'hi', 'ar', 'fa'])
+        return {"code": 0, "msg": "ok", "data": {"summary": s}}
+
+    class AnswerRequest(BaseModel):
+        uri: str
+        query: str
+
+    @app.get("/answer")
+    async def answer(req: AnswerRequest):
+        """Query."""
+        hash_id, lang = req.uri.split('/')
+        storage = Storage.create_storage(cfg)
+        if not storage or not lang:
+            return {"code": 1, "msg": "not found", "data": {}}
+        keywords = ai.get_keywords(req.query)
+        _, embedding = ai.create_embedding(keywords)
+        texts = storage.get_texts(embedding, hash_id)
+        s = ai.completion(req.query, texts)
+        return {"code": 0, "msg": "ok", "data": {"answer": s}}
+
+    @app.exception_handler(RequestValidationError)
+    async def validate_error_handler(request: Request, exc: RequestValidationError):
+        """Error handler."""
+        print("validate_error_handler: ", request.url, exc)
+        return JSONResponse(
+            status_code=400,
+            content={"code": 1, "msg": str(exc.errors()), "data": {}},
+        )
+
+    @app.exception_handler(HTTPException)
+    async def http_error_handler(request: Request, exc):
+        """Error handler."""
+        print("http error_handler: ", request.url, exc)
+        return JSONResponse(
+            status_code=400,
+            content={"code": 1, "msg": exc.detail, "data": {}},
+        )
+
+    # run the API
+    uvicorn.run(app, host=cfg.api_host, port=cfg.api_port)

config.json

@@ -0,0 +1,15 @@
+{
+  "open_ai_key": "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",
+  "temperature": 0.1,
+  "language": "English",
+  "open_ai_chat_model": "gpt-3.5-turbo-16k-0613",
+  "use_stream": false,
+  "use_postgres": false,
+  "index_path": "./temp",
+  "postgres_url": "postgresql://localhost:5432/mydb",
+  "mode": "webui",
+  "api_port": 9531,
+  "api_host": "localhost",
+  "webui_port": 7860,
+  "webui_host": "0.0.0.0"
+}

config.py

@@ -0,0 +1,36 @@
+import json
+import os
+
+
+class Config:
+    def __init__(self):
+        config_path = os.path.join(os.path.dirname(__file__), 'config.json')
+        if not os.path.exists(config_path):
+            raise FileNotFoundError(f'config.json not found at {config_path}, '
+                                    f'please copy config.example.json to config.json and modify it.')
+        with open(config_path, 'r') as f:
+            self.config = json.load(f)
+            self.language = self.config.get('language', 'Chinese')
+            self.open_ai_key = self.config.get('open_ai_key')
+            self.open_ai_proxy = self.config.get('open_ai_proxy')
+            self.open_ai_chat_model = self.config.get('open_ai_chat_model', 'gpt-3.5-turbo')
+            if not self.open_ai_key:
+                raise ValueError('open_ai_key is not set')
+            self.temperature = self.config.get('temperature', 0.1)
+            if self.temperature < 0 or self.temperature > 1:
+                raise ValueError('temperature must be between 0 and 1, less is more conservative, more is more creative')
+            self.use_stream = self.config.get('use_stream', False)
+            self.use_postgres = self.config.get('use_postgres', False)
+            if not self.use_postgres:
+                self.index_path = self.config.get('index_path', './temp')
+                os.makedirs(self.index_path, exist_ok=True)
+            self.postgres_url = self.config.get('postgres_url')
+            if self.use_postgres and self.postgres_url is None:
+                raise ValueError('postgres_url is not set')
+            self.mode = self.config.get('mode', 'webui')
+            if self.mode not in ['console', 'api', 'webui']:
+                raise ValueError('mode must be console or api or webui')
+            self.api_port = self.config.get('api_port', 9531)
+            self.api_host = self.config.get('api_host', 'localhost')
+            self.webui_port = self.config.get('webui_port', 7860)
+            self.webui_host = self.config.get('webui_host', '0.0.0.0')

console.py

@@ -0,0 +1,127 @@
+import xxhash
+
+from ai import AI
+from config import Config
+from storage import Storage
+from contents import *
+
+
+def console(cfg: Config):
+    try:
+        while True:
+            if not _console(cfg):
+                return
+    except KeyboardInterrupt:
+        print("exit")
+
+
+def _console(cfg: Config) -> bool:
+    """Run the console."""
+
+    contents, lang, identify = _get_contents()
+
+    print("The article has been retrieved, and the number of text fragments is:", len(contents))
+    for content in contents:
+        print('\t', content)
+
+    ai = AI(cfg)
+    storage = Storage.create_storage(cfg)
+
+    print("=====================================")
+    if storage.been_indexed(identify):
+        print("The article has already been indexed, so there is no need to index it again.")
+        print("=====================================")
+    else:
+        # 1. 对文章的每个段落生成embedding
+        # 1. Generate an embedding for each paragraph of the article.
+        embeddings, tokens = ai.create_embeddings(contents)
+        print(f"Embeddings have been created with {len(embeddings)} embeddings, using {tokens} tokens, "
+              f"costing ${tokens / 1000 * 0.0004}")
+
+        storage.add_all(embeddings, identify)
+        print("The embeddings have been saved.")
+        print("=====================================")
+
+    while True:
+        query = input("Please enter your query (/help to view commands):").strip()
+        if query.startswith("/"):
+            if query == "/quit":
+                return False
+            elif query == "/reset":
+                print("=====================================")
+                return True
+            elif query == "/summary":
+                # 生成embedding式摘要，根据不同的语言使用有基于SIF的加权平均或一般的直接求平均
+                # Generate an embedding-based summary, using weighted average based on SIF or direct average based on the language.
+                ai.generate_summary(storage.get_all_embeddings(identify), num_candidates=100,
+                                    use_sif=lang not in ['zh', 'ja', 'ko', 'hi', 'ar', 'fa'])
+            elif query == "/reindex":
+                # 重新索引，会清空数据库
+                # Re-index, which will clear the database.
+                storage.clear(identify)
+                embeddings, tokens = ai.create_embeddings(contents)
+                print(f"Embeddings have been created with {len(embeddings)} embeddings, using {tokens} tokens, "
+                      f"costing ${tokens / 1000 * 0.0004}")
+
+                storage.add_all(embeddings, identify)
+                print("The embeddings have been saved.")
+            elif query == "/help":
+                print("Enter /summary to generate an embedding-based summary.")
+                print("Enter /reindex to re-index the article.")
+                print("Enter /reset to start over.")
+                print("Enter /quit to exit.")
+                print("Enter any other content for a query.")
+            else:
+                print("Invalid command.")
+                print("Enter /summary to generate an embedding-based summary.")
+                print("Enter /reindex to re-index the article.")
+                print("Enter /reset to start over.")
+                print("Enter /quit to exit.")
+                print("Enter any other content for a query.")
+            print("=====================================")
+            continue
+        else:
+            # 1. 生成关键词
+            # 1. Generate keywords.
+            print("Generate keywords.")
+            keywords = ai.get_keywords(query)
+            # 2. 对问题生成embedding
+            # 2. Generate an embedding for the question.
+            _, embedding = ai.create_embedding(keywords)
+            # 3. 从数据库中找到最相似的片段
+            # 3. Find the most similar fragments from the database.
+            texts = storage.get_texts(embedding, identify)
+            print("Related fragments found (first 5):")
+            for text in texts[:5]:
+                print('\t', text)
+            # 4. 把相关片段推给AI，AI会根据这些片段回答问题
+            # 4. Push the relevant fragments to the AI, which will answer the question based on these fragments.
+            ai.completion(query, texts)
+            print("=====================================")
+
+
+def _get_contents() -> tuple[list[str], str, str]:
+    """Get the contents."""
+
+    while True:
+        try:
+            url = input("Please enter the link to the article or the file path of the PDF/TXT/DOCX document: ").strip()
+            if os.path.exists(url):
+                if url.endswith('.pdf'):
+                    contents, data = extract_text_from_pdf(url)
+                elif url.endswith('.txt'):
+                    contents, data = extract_text_from_txt(url)
+                elif url.endswith('.docx'):
+                    contents, data = extract_text_from_docx(url)
+                else:
+                    print("Unsupported file format.")
+                    continue
+            else:
+                contents, data = web_crawler_newspaper(url)
+            if not contents:
+                print("Unable to retrieve the content of the article. Please enter the link to the article or "
+                      "the file path of the PDF/TXT/DOCX document again.")
+                continue
+            return contents, data, xxhash.xxh3_128_hexdigest('\n'.join(contents))
+        except Exception as e:
+            print("Error:", e)

contents.py

@@ -0,0 +1,81 @@
+import os
+import time
+
+import PyPDF2
+import docx
+import readability
+from langdetect import detect
+from newspaper import fulltext, Article
+from selenium import webdriver
+
+
+def web_crawler_newspaper(url: str) -> tuple[list[str], str]:
+    """Run the web crawler."""
+    raw_html, lang = _get_raw_html(url)
+    try:
+        text = fulltext(raw_html, language=lang)
+    except:
+        article = Article(url)
+        article.download()
+        article.parse()
+        text = article.text
+    contents = [text.strip() for text in text.splitlines() if text.strip()]
+    return contents, lang
+
+
+def _get_raw_html(url):
+    chrome_options = webdriver.ChromeOptions()
+    chrome_options.add_argument('--headless')
+    chrome_options.add_argument('--disable-gpu')
+    chrome_options.add_argument('--no-sandbox')
+    chrome_options.add_argument('--disable-dev-shm-usage')
+    chrome_options.add_argument('--user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) '
+                                'AppleWebKit/537.36 (KHTML, like Gecko) Chrome/112.0.0.0 Safari/537.36')
+
+    with webdriver.Chrome(options=chrome_options) as driver:
+        driver.get(url)
+        print("Please wait for 5 seconds until the webpage finishes loading.")
+        time.sleep(5)
+        html = driver.page_source
+
+    doc = readability.Document(html)
+    html = doc.summary()
+    lang = detect(html)
+    return html, lang[0:2]
+
+
+def extract_text_from_pdf(file_path: str) -> tuple[list[str], str]:
+    """Extract text content from a PDF file."""
+    with open(file_path, 'rb') as f:
+        pdf_reader = PyPDF2.PdfReader(f)
+        contents = []
+        for page in pdf_reader.pages:
+            page_text = page.extract_text().strip()
+            raw_text = [text.strip() for text in page_text.splitlines() if text.strip()]
+            new_text = ''
+            for text in raw_text:
+                new_text += text
+                if text[-1] in ['.', '!', '?', '。', '！', '？', '…', ';', '；', ':', '：', '”', '’', '）', '】', '》', '」',
+                                '』', '〕', '〉', '》', '〗', '〞', '〟', '»', '"', "'", ')', ']', '}']:
+                    contents.append(new_text)
+                    new_text = ''
+            if new_text:
+                contents.append(new_text)
+        lang = detect('\n'.join(contents))
+        return contents, lang[0:2]
+
+
+def extract_text_from_txt(file_path: str) -> tuple[list[str], str]:
+    """Extract text content from a TXT file."""
+    with open(file_path, 'r', encoding='utf-8') as f:
+        contents = [text.strip() for text in f.readlines() if text.strip()]
+        lang = detect('\n'.join(contents))
+        return contents, lang[0:2]
+
+
+def extract_text_from_docx(file_path: str) -> tuple[list[str], str]:
+    """Extract text content from a DOCX file."""
+    document = docx.Document(file_path)
+    contents = [paragraph.text.strip() for paragraph in document.paragraphs if paragraph.text.strip()]
+    lang = detect('\n'.join(contents))
+    return contents, lang[0:2]

docker-compose.yml

@@ -0,0 +1,13 @@
+version: "3.9"
+
+services:
+  chatweb:
+    build: .
+    ports:
+      - "9531:9531"
+      - "7860:7860"
+    volumes:
+      - ./config.json:/app/config.json
+      # - ./:/app
+    environment:
+      - OPENAI_API_KEY=${OPENAI_API_KEY}

example.ipynb

@@ -0,0 +1,156 @@
+{
+ "nbformat": 4,
+ "nbformat_minor": 0,
+ "metadata": {
+  "colab": {
+   "provenance": [],
+   "authorship_tag": "ABX9TyOKqfSVq+Brmr4ZM+kUh/HP",
+   "include_colab_link": true
+  },
+  "kernelspec": {
+   "name": "python3",
+   "display_name": "Python 3"
+  },
+  "language_info": {
+   "name": "python"
+  }
+ },
+ "cells": [
+  {
+   "cell_type": "markdown",
+   "metadata": {
+    "id": "view-in-github",
+    "colab_type": "text"
+   },
+   "source": [
+    "<a href=\"https://colab.research.google.com/github/SkywalkerDarren/chatWeb/blob/master/example.ipynb\" target=\"_parent\"><img src=\"https://colab.research.google.com/assets/colab-badge.svg\" alt=\"Open In Colab\"/></a>"
+   ]
+  },
+  {
+   "cell_type": "markdown",
+   "source": [
+    "把下面换成你自己的openai key，然后依次执行下列准备步骤\n",
+    "Please replace the following with your own OpenAI API key, and language, and then execute the following preparation steps in order:"
+   ],
+   "metadata": {
+    "id": "2rmPdzNs13ga"
+   }
+  },
+  {
+   "cell_type": "code",
+   "source": [
+    "open_ai_key = \"sk-xxxxxxxxxxxx\" # Your OpenAI API key\n",
+    "language = \"Chinese\" # Language of the chatbot"
+   ],
+   "metadata": {
+    "id": "roZqoNX0ubG5"
+   },
+   "execution_count": 8,
+   "outputs": []
+  },
+  {
+   "cell_type": "code",
+   "source": [
+    "%%shell\n",
+    "# Ubuntu no longer distributes chromium-browser outside of snap\n",
+    "#\n",
+    "# Proposed solution: https://askubuntu.com/questions/1204571/how-to-install-chromium-without-snap\n",
+    "\n",
+    "# Add debian buster\n",
+    "cat > /etc/apt/sources.list.d/debian.list <<'EOF'\n",
+    "deb [arch=amd64 signed-by=/usr/share/keyrings/debian-buster.gpg] http://deb.debian.org/debian buster main\n",
+    "deb [arch=amd64 signed-by=/usr/share/keyrings/debian-buster-updates.gpg] http://deb.debian.org/debian buster-updates main\n",
+    "deb [arch=amd64 signed-by=/usr/share/keyrings/debian-security-buster.gpg] http://deb.debian.org/debian-security buster/updates main\n",
+    "EOF\n",
+    "\n",
+    "# Add keys\n",
+    "apt-key adv --keyserver keyserver.ubuntu.com --recv-keys DCC9EFBF77E11517\n",
+    "apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 648ACFD622F3D138\n",
+    "apt-key adv --keyserver keyserver.ubuntu.com --recv-keys 112695A0E562B32A\n",
+    "\n",
+    "apt-key export 77E11517 | gpg --dearmour -o /usr/share/keyrings/debian-buster.gpg\n",
+    "apt-key export 22F3D138 | gpg --dearmour -o /usr/share/keyrings/debian-buster-updates.gpg\n",
+    "apt-key export E562B32A | gpg --dearmour -o /usr/share/keyrings/debian-security-buster.gpg\n",
+    "\n",
+    "# Prefer debian repo for chromium* packages only\n",
+    "# Note the double-blank lines between entries\n",
+    "cat > /etc/apt/preferences.d/chromium.pref << 'EOF'\n",
+    "Package: *\n",
+    "Pin: release a=eoan\n",
+    "Pin-Priority: 500\n",
+    "\n",
+    "\n",
+    "Package: *\n",
+    "Pin: origin \"deb.debian.org\"\n",
+    "Pin-Priority: 300\n",
+    "\n",
+    "\n",
+    "Package: chromium*\n",
+    "Pin: origin \"deb.debian.org\"\n",
+    "Pin-Priority: 700\n",
+    "EOF"
+   ],
+   "metadata": {
+    "id": "9HBoEHPFvaDv"
+   },
+   "execution_count": null,
+   "outputs": []
+  },
+  {
+   "cell_type": "code",
+   "source": [
+    "!apt-get update\n",
+    "!apt-get install chromium chromium-driver\n",
+    "!git clone https://github.com/SkywalkerDarren/chatWeb.git\n",
+    "%cd chatWeb\n",
+    "!pip3 install -r requirements.txt"
+   ],
+   "metadata": {
+    "id": "71znqup2wrt-"
+   },
+   "execution_count": null,
+   "outputs": []
+  },
+  {
+   "cell_type": "code",
+   "source": [
+    "import json\n",
+    "\n",
+    "with open('config.example.json', 'r') as f:\n",
+    "    config = json.load(f)\n",
+    "\n",
+    "config['open_ai_key'] = open_ai_key\n",
+    "config['language'] = language\n",
+    "\n",
+    "with open('config.json', 'w') as f:\n",
+    "    json.dump(config, f)"
+   ],
+   "metadata": {
+    "id": "b5kT-S5rt1e6"
+   },
+   "execution_count": null,
+   "outputs": []
+  },
+  {
+   "cell_type": "markdown",
+   "source": [
+    "以上是准备步骤，准备完后运行下面这条命令即可，quit以后也可以重复运行\n",
+    "The above are preparation steps, run the following command after preparation, and you can also run it again after /quit."
+   ],
+   "metadata": {
+    "id": "yfJMbmUL1Vfp"
+   }
+  },
+  {
+   "cell_type": "code",
+   "source": [
+    "!python3 main.py"
+   ],
+   "metadata": {
+    "id": "gQBKF8cxu3AY"
+   },
+   "execution_count": null,
+   "outputs": []
+  }
+ ]
+}

main.py

@@ -0,0 +1,26 @@
+#!/usr/bin/env python3
+# -*- coding: utf-8 -*-
+
+from api import api
+from config import Config
+from console import console
+from webui import webui
+
+
+def run():
+    """Run the program."""
+    cfg = Config()
+
+    mode = cfg.mode
+    if mode == 'console':
+        console(cfg)
+    elif mode == 'api':
+        api(cfg)
+    elif mode == 'webui':
+        webui(cfg)
+    else:
+        raise ValueError('mode must be console or api')
+
+
+if __name__ == '__main__':
+    run()

readme.md

@@ -0,0 +1,139 @@
+---
+title: Smart_Pdf_Reader
+app_file: webui.py
+sdk: gradio
+sdk_version: 3.34.0
+---
+# ChatWeb
+
+[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/SkywalkerDarren/chatWeb/blob/master/example.ipynb)
+
+[English Doc](readme.md)
+[中文文档](readme.zh.md)
+
+ChatWeb can crawl any webpage or extract text from PDF, DOCX, TXT files, and generate an embedded summary.
+It can also answer your questions based on the content of the text.
+It is implemented using the chatAPI and embeddingAPI based on gpt3.5, as well as a vector database.
+
+# Basic Principle
+The basic principle is similar to existing projects such as chatPDF and automated customer service AI.
+
+Crawl web pages
+Extract text content
+Use GPT3.5's embedding API to generate vectors for each paragraph
+Calculate the similarity score between each paragraph's vector and the entire text's vector to generate a summary
+Store the vector-text mapping in a vector database
+Generate keywords from user input
+Generate a vector from the keywords
+Use the vector database to perform a nearest neighbor search and return a list of the most similar texts
+Use GPT3.5's chat API to design a prompt that answers the user's question based on the most similar texts in the list.
+The idea is to extract relevant content from a large amount of text and then answer questions based on that content, which can achieve a similar effect to breaking through token limits.
+
+An improvement was made to generate vectors based on keywords rather than the user's question, which increases the accuracy of searching for relevant texts.
+
+# Getting Started
+
+## Manual installation:
+
+- Install Python3
+- Download this repository by running `git clone https://github.com/SkywalkerDarren/chatWeb.git`
+- Navigate to the directory by running `cd chatWeb`
+- Copy `config.example.json` to `config.json`
+- Edit `config.json` and set `open_ai_key` to your OpenAI API key
+- Install dependencies by running `pip3 install -r requirements.txt`
+- Start the application by running `python3 main.py`
+
+## Docker:
+if you prefer, you can also run this project using docker:
+
+- build the container using `docker-compose build` (only needed once when you are not planning to contibute to this repo)
+- copy `config.example.json` to `config.json` and set all the needed stuff. The example config is already fine for running with docker, no need to change anything there, if you don't have the OPEN_AI_KEY in your env variables you can set it here too, or later if you run this app.
+- run the container: `docker-compose up"
+- open the application in browser: `http://localhost:7860`
+
+## Set language
+
+- Edit `config.json`, set `language` to `English` or other language
+
+## Mode Selection
+
+- Edit `config.json` and set `mode` to `console`, `api`, or `webui` to choose the startup mode.
+- In `console` mode, type `/help` to view commands.
+- In `api` mode, an API service can be provided to the outside world. `api_port` and `api_host` can be set in `config.json`.
+- In `webui` mode, a web user interface service can be provided. `webui_port` can be set in `config.json`, defaulting to `http://127.0.0.1:7860`.
+
+## Stream Mode
+
+- Edit `config.json` and set `use_stream` to `true`.
+
+## Setting the Temperature
+
+- Edit `config.json` and set `temperature` to a value between 0 and 1.
+- The smaller the value, the more conservative and stable the response will be. The larger the value, the more daring the response may be, possibly resulting in "hallucinations."
+
+## OpenAI Proxy Settings
+
+- Edit `config.json` and add `open_ai_proxy` for your proxy address, for example:
+```
+"open_ai_proxy": {
+  "http": "socks5://127.0.0.1:1081",
+  "https": "socks5://127.0.0.1:1081"
+}
+```
+
+## Install PostgreSQL (Optional)
+
+- Edit `config.json` and set `use_postgres` to `true`.
+- Install PostgreSQL.
+  - The default SQL address is `postgresql://localhost:5432/mydb`, or you can set it in `config.json`.
+- Install the pgvector plugin.
+
+Compile and install the extension (support Postgres 11+).
+
+```bash
+git clone --branch v0.4.0 https://github.com/pgvector/pgvector.git
+cd pgvector
+make
+make install # may need sudo
+```
+Then load it in the database you want to use it in
+
+```postgresql
+CREATE EXTENSION vector;
+```
+
+- Install dependency with pip: `pip3 install psycopg2`
+
+# Example
+```txt
+Please enter the link to the article or the file path of the PDF/TXT/DOCX document: https://gutenberg.ca/ebooks/hemingwaye-oldmanandthesea/hemingwaye-oldmanandthesea-00-e.html
+Please wait for 10 seconds until the webpage finishes loading.
+The article has been retrieved, and the number of text fragments is: 663
+...
+=====================================
+Query fragments used tokens: 7219, cost: $0.0028876
+Query fragments used tokens: 7250, cost: $0.0029000000000000002
+Query fragments used tokens: 7188, cost: $0.0028752
+Query fragments used tokens: 7177, cost: $0.0028708
+Query fragments used tokens: 2378, cost: $0.0009512000000000001
+Embeddings have been created with 663 embeddings, using 31212 tokens, costing $0.0124848
+The embeddings have been saved.
+=====================================
+Please enter your query (/help to view commands):
+```
+
+# TODO
+- [x] Support for pdf/txt/docx files
+- [x] Support for in-memory storage without a database (faiss)
+- [x] Support for Stream
+- [x] Support for API
+- [x] Support for proxies
+- [x] Add Colab support
+- [x] Add language support
+- [x] Support for temperature
+- [x] Support for webui
+- [ ] Other features that have not been thought of yet
+
+# Star History
+
+![](https://api.star-history.com/svg?repos=SkywalkerDarren/chatWeb)

readme.zh.md

@@ -0,0 +1,130 @@
+# ChatWeb
+
+[![Open In Colab](https://colab.research.google.com/assets/colab-badge.svg)](https://colab.research.google.com/github/SkywalkerDarren/chatWeb/blob/master/example.ipynb)
+
+ChatWeb可以爬取任意网页或PDF，DOCX，TXT文件并提取正文，可以生成嵌入式概要，可以根据正文内容回答你的问题。
+基于gpt3.5的chatAPI和embeddingAPI，以及向量数据库实现。
+
+# 基本原理
+
+基本类似于现有的chatPDF，自动化客服AI等项目的原理。
+
+1. 爬取网页
+2. 提取正文
+3. 对于每一段落，使用gpt3.5的embeddingAPI生成向量
+4. 每一段落的向量和全文向量做计算，生成概要
+5. 将向量和文本对应关系存入向量数据库
+6. 对于用户输入，生成关键词
+7. 对关键词生成向量
+8. 使用向量数据库进行最近邻搜索，返回最相似的文本列表
+9. 使用gpt3.5的chatAPI，设计prompt，使其基于最相似的文本列表进行回答
+
+新增的使用关键词生成向量相比直接使用问题生成向量，提高了对相关文本的搜索准确度
+
+就是先把大量文本中提取相关内容，再进行回答，最终可以达到类似突破token限制的效果
+
+# 准备开始
+
+- 安装python3
+
+- 下载本仓库`git clone https://github.com/SkywalkerDarren/chatWeb.git`
+
+- 进入目录`cd chatWeb`
+
+- 复制`config.example.json`为`config.json`
+
+- 编辑`config.json`, 设置`open_ai_key`为你的openai的api key
+
+- 安装依赖
+
+```
+pip3 install -r requirements.txt
+```
+
+- 运行
+
+```
+python3 main.py
+```
+
+## 模式选择
+
+- 编辑`config.json`, 设置`mode`为`console`, `api`或`webui`作为选择启动模式。
+- `console`模式下，输入`/help`查看指令
+- `api`模式下，可对外提供api服务，在`config.json`中可设置`api_port`和`api_host`
+- `webui`模式下，可提供webui服务，在`config.json`中可设置`webui_port`，默认为`http://127.0.0.1:7860`
+
+## Stream模式
+
+- 编辑`config.json`, 设置`use_stream`为`true`
+
+## temperature设置
+
+- 编辑`config.json`, 设置`temperature`为0-1之间的数值
+- 数值越小，回答越保守稳定，数值越大，回答越大胆，可能导致出现“幻觉”
+
+## OpenAI代理设置
+
+- 编辑`config.json`, 添加`open_ai_proxy`为你的代理地址，如：
+```
+"open_ai_proxy": {
+  "http": "socks5://127.0.0.1:1081",
+  "https": "socks5://127.0.0.1:1081"
+}
+```
+
+## 安装postgresql(可选)
+
+- 编辑`config.json`, 设置`use_postgres`为`true`
+
+- 安装postgresql
+    - 默认的sql地址: `postgresql://localhost:5432/mydb`或在`config.json`中设置
+- 安装pgvector插件
+
+编译并安装扩展（支持Postgres 11+）
+
+```bash
+git clone --branch v0.4.0 https://github.com/pgvector/pgvector.git
+cd pgvector
+make
+make install # may need sudo
+```
+
+然后在您要使用它的数据库中加载它
+
+```postgresql
+CREATE EXTENSION vector;
+```
+
+- pip安装依赖`pip3 install psycopg2`
+
+
+# Example
+```txt
+Please enter the link to the article or the file path of the PDF/TXT/DOCX document: https://gutenberg.ca/ebooks/hemingwaye-oldmanandthesea/hemingwaye-oldmanandthesea-00-e.html
+Please wait for 10 seconds until the webpage finishes loading.
+The article has been retrieved, and the number of text fragments is: 663
+...
+=====================================
+Query fragments used tokens: 7219, cost: $0.0028876
+Query fragments used tokens: 7250, cost: $0.0029000000000000002
+Query fragments used tokens: 7188, cost: $0.0028752
+Query fragments used tokens: 7177, cost: $0.0028708
+Query fragments used tokens: 2378, cost: $0.0009512000000000001
+Embeddings have been created with 663 embeddings, using 31212 tokens, costing $0.0124848
+The embeddings have been saved.
+=====================================
+Please enter your query (/help to view commands):
+```
+
+# TODO
+- [x] 支持pdf/txt/docx文件
+- [x] 支持免数据库纯内存(faiss)
+- [x] 支持Stream
+- [x] 支持API
+- [x] 支持代理
+- [x] 添加colab
+- [x] 添加语言支持
+- [x] 支持temperature
+- [x] 支持webui
+- [ ] 其他还没想到的

requirements.txt

@@ -0,0 +1,79 @@
+aiohttp
+aiosignal
+anyio
+async-generator
+async-timeout
+attrs
+beautifulsoup4
+certifi
+cffi
+chardet
+charset-normalizer
+click
+colorama
+cssselect
+exceptiongroup
+faiss-cpu
+fastapi
+feedfinder2
+feedparser
+filelock
+frozenlist
+greenlet
+h11
+httptools
+idna
+jieba3k
+joblib
+langdetect
+lxml
+multidict
+newspaper3k
+nltk
+numpy
+openai
+outcome
+pandas
+pgvector
+Pillow
+pycparser
+pydantic
+PyPDF2
+PySocks
+python-dateutil
+python-docx
+python-dotenv
+python-multipart
+pytz
+PyYAML
+readability-lxml
+regex
+requests
+requests-file
+scikit-learn
+scipy
+selenium
+sgmllib3k
+six
+sniffio
+sortedcontainers
+soupsieve
+SQLAlchemy
+starlette
+threadpoolctl
+tiktoken
+tinysegmenter
+tldextract
+tqdm
+trio
+trio-websocket
+typing_extensions
+urllib3
+uvicorn
+watchfiles
+websockets
+wsproto
+xxhash
+yarl
+gradio
+psycopg2

run.sh

@@ -0,0 +1,4 @@
+#!/bin/sh
+
+echo "Starting..."
+python3 main.py

storage.py

@@ -0,0 +1,171 @@
+import os.path
+from abc import ABC, abstractmethod
+
+import faiss
+import numpy as np
+import pandas as pd
+from pgvector.sqlalchemy import Vector
+from sqlalchemy import create_engine, Column, Integer, String
+from sqlalchemy.orm import sessionmaker, declarative_base
+
+from config import Config
+
+Base = declarative_base()
+
+
+class Storage(ABC):
+    """Abstract Storage class."""
+
+    # factory method
+    @staticmethod
+    def create_storage(cfg: Config) -> 'Storage':
+        """Create a storage object."""
+        if cfg.use_postgres:
+            return _PostgresStorage(cfg)
+        else:
+            return _IndexStorage(cfg)
+
+    @abstractmethod
+    def add_all(self, embeddings: list[tuple[str, list[float]]], name: str):
+        """Add multiple embeddings."""
+        pass
+
+    @abstractmethod
+    def get_texts(self, embedding: list[float], name: str, limit=100) -> list[str]:
+        """Get the text for the provided embedding."""
+        pass
+
+    @abstractmethod
+    def get_all_embeddings(self, name: str):
+        """Get all embeddings."""
+        pass
+
+    @abstractmethod
+    def clear(self, name: str):
+        """Clear the database."""
+        pass
+
+    @abstractmethod
+    def been_indexed(self, name: str) -> bool:
+        """Check if the database has been indexed."""
+        pass
+
+
+class _IndexStorage(Storage):
+    """IndexStorage class."""
+
+    def __init__(self, cfg: Config):
+        """Initialize the storage."""
+        self._cfg = cfg
+
+    def add_all(self, embeddings: list[tuple[str, list[float]]], name):
+        """Add multiple embeddings."""
+        texts, index = self._load(name)
+        ids = np.array([len(texts) + i for i, _ in enumerate(embeddings)])
+        texts = pd.concat([texts, pd.DataFrame(
+            {'index': len(texts) + i, 'text': text} for i, (text, _) in enumerate(embeddings))])
+        array = np.array([emb for text, emb in embeddings])
+        index.add_with_ids(array, ids)
+        self._save(texts, index, name)
+
+    def get_texts(self, embedding: list[float], name: str, limit=100) -> list[str]:
+        """Get the text for the provided embedding."""
+        texts, index = self._load(name)
+        _, indexs = index.search(np.array([embedding]), limit)
+        indexs = [i for i in indexs[0] if i >= 0]
+        return [f'paragraph {p}: {t}' for _, p, t in texts.iloc[indexs].values]
+
+    def get_all_embeddings(self, name: str):
+        texts, index = self._load(name)
+        texts = texts.text.tolist()
+        embeddings = index.reconstruct_n(0, len(texts))
+        return list(zip(texts, embeddings))
+
+    def clear(self, name: str):
+        """Clear the database."""
+        self._delete(name)
+
+    def been_indexed(self, name: str) -> bool:
+        return os.path.exists(os.path.join(self._cfg.index_path, f'{name}.csv')) and os.path.exists(
+            os.path.join(self._cfg.index_path, f'{name}.bin'))
+
+    def _save(self, texts, index, name: str):
+        texts.to_csv(os.path.join(self._cfg.index_path, f'{name}.csv'))
+        faiss.write_index(index, os.path.join(self._cfg.index_path, f'{name}.bin'))
+
+    def _load(self, name: str):
+        if self.been_indexed(name):
+            texts = pd.read_csv(os.path.join(self._cfg.index_path, f'{name}.csv'))
+            index = faiss.read_index(os.path.join(self._cfg.index_path, f'{name}.bin'))
+        else:
+            texts = pd.DataFrame(columns=['index', 'text'])
+            # IDMap2 with Flat
+            index = faiss.index_factory(1536, "IDMap2,Flat", faiss.METRIC_INNER_PRODUCT)
+        return texts, index
+
+    def _delete(self, name: str):
+        try:
+            os.remove(os.path.join(self._cfg.index_path, f'{name}.csv'))
+            os.remove(os.path.join(self._cfg.index_path, f'{name}.bin'))
+        except FileNotFoundError:
+            pass
+
+
+def singleton(cls):
+    instances = {}
+
+    def get_instance(cfg):
+        if cls not in instances:
+            instances[cls] = cls(cfg)
+        return instances[cls]
+
+    return get_instance
+
+
+@singleton
+class _PostgresStorage(Storage):
+    """PostgresStorage class."""
+
+    def __init__(self, cfg: Config):
+        """Initialize the storage."""
+        self._postgresql = cfg.postgres_url
+        self._engine = create_engine(self._postgresql)
+        Base.metadata.create_all(self._engine)
+        session = sessionmaker(bind=self._engine)
+        self._session = session()
+
+    def add_all(self, embeddings: list[tuple[str, list[float]]], name: str):
+        """Add multiple embeddings."""
+        data = [self.EmbeddingEntity(text=text, embedding=embedding, name=name) for text, embedding in embeddings]
+        self._session.add_all(data)
+        self._session.commit()
+
+    def get_texts(self, embedding: list[float], name: str, limit=100) -> list[str]:
+        """Get the text for the provided embedding."""
+        result = self._session.query(self.EmbeddingEntity).where(self.EmbeddingEntity.name == name).order_by(
+            self.EmbeddingEntity.embedding.cosine_distance(embedding)).limit(limit).all()
+        return [f'paragraph {s.id}: {s.text}' for s in result]
+
+    def get_all_embeddings(self, name: str):
+        """Get all embeddings."""
+        result = self._session.query(self.EmbeddingEntity).where(self.EmbeddingEntity.name == name).all()
+        return [(s.text, s.embedding) for s in result]
+
+    def clear(self, name: str):
+        """Clear the database."""
+        self._session.query(self.EmbeddingEntity).where(self.EmbeddingEntity.name == name).delete()
+        self._session.commit()
+
+    def been_indexed(self, name: str) -> bool:
+        return self._session.query(self.EmbeddingEntity).filter_by(name=name).first() is not None
+
+    def __del__(self):
+        """Close the session."""
+        self._session.close()
+
+    class EmbeddingEntity(Base):
+        __tablename__ = 'embedding'
+        id = Column(Integer, primary_key=True)
+        name = Column(String)
+        text = Column(String)
+        embedding = Column(Vector(1536))

temp/ce31c2a1e1d78b8529d970348f6b293e.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:6a6ee58765092913c3b5631e27b87107ff74272e9f7c2f004c99e3a035f2e68a
+size 572226

temp/ce31c2a1e1d78b8529d970348f6b293e.csv

@@ -0,0 +1,94 @@
+,index,text
+0,0,| 1Namık Kemal (1840-1888)
+1,1,"Şair, gazeteci ve düşünce adamı."
+2,2,"Türk edebiyatı ve düşünce hayatında “vatan ve hürriyet şairi” olarak tanınan Namık Kemal 26 Şevval 1256 (21 Aralık1840)’da Tekirdağ’da doğdu. Asıl adı Mehmet Kemal’dir. Babası Meclis-i Maliye ve Esham Müdürlüğünden sonra birsüre Sultan II. Abdülhamid’in Müneccimbaşılığını yapan Mustafa Âsım Bey, annesi ise, Koniçe eşrafından AbdüllâtifPaşa’nın kızı Fatma Zehra Hanım’dır. Sekiz yaşında annesini kaybeden Namık Kemal’in çocukluk ve ilk gençlik çağıdedesi Abdüllâtif Paşa’nın yanında geçti. Abdüllâtif Paşa kaymakam ve vali olarak görev yaptığı her yere torunu NamıkKemal’i de götürdü. Dedesinin Kütahya kaymakamlığından azledilerek İstanbul’a döndüğü sırada üç ay Bayezid ve yedisekiz ay kadar da Valide Mektebi’nde öğrenim görebildi. Düzenli bir okul eğitimi alamayan Namık Kemal, aldığı özeldersler ve kendi çabası ile kendini yetiştirmeye çalıştı. Dedesi Abdüllâtif Paşa Mart 1853’te Kars’a kaymakam olaraktayin edildi. On üç yaşındaki Namık Kemal’in ilk fikrî uyanışı Kars’ta oldu. Burada müderrisliğinin yanı sıra şairliği ile detanınan Vâizzâde Mehmed Seyyid Efendi’den tasavvuf ve edebiyat öğrendi. Şiir yazma denemeleri ve ilk mısralarıburada oluştu. Ayrıca Kars’ta binicilik, cirit ve av sporlarını yapma fırsatı buldu. Yıllar sonra Cezmi  ve Vatan YahutSilistre  adlı eserlerine yansıyacak olan Kırım Savaşı’nı, bulunduğu serhat şehri Kars’ta dramatik yönleriyle birlikteyaşadı. Millî duyguları yine bu vatansever çevrede gelişti. Dedesi Abdüllâtif Paşa, 1854 Temmuzunun sonlarındagörevinden azledildi ve tekrar İstanbul’a dönüldü. Babasına da kavuşan Namık Kemal İstanbul’da kaldığı on aylıksürede Osmanlı tarihi okudu, Arapça ve Farsça derslere devam etti. Dedesi, Mayıs 1855’te Sofya’ya kaymakam olaraktayin edildiği sırada on beş yaşında bulunan Namık Kemal’in asıl fikrî gelişmesi ve şiire yönelmesi dedesi ile birliktebulunduğu Sofya’da oldu. O, “birbiri ardınca yazdığı gazeller, nazîreler, Kerbelâ mersiyeleriyle” adından söz ettirmeyebaşladı. Sofya’da iken birikmiş bir hayli şiirini gören şair Binbaşı Eşref Bey, bir mahlasnâme tanzim ederek ona“Nâmık” mahlasını verdi. Burada aynı zamanda tasavvufa yönelen Namık Kemal, Hz. Ali ve Mevlevî’lere muhabbetbesledi. Kerbelâ mersiyeleri ve Mevlevî ilhamı ile birçok şiir yazdı. 1856’da Sofya’da Niş Kadısı Mustafa RagıpEfendi’nin kızı Nesîme Hanım ile evlendi. Abdüllâtif Paşa’nın 1856 Eylülünde azledilmesi üzerine Namık Kemal ve ailesiİstanbul’a döndü. Büyük bir sanat hevesi içerisinde olan Namık Kemal, İstanbul’da geniş bir fikir ve siyaset çevresibuldu. Kendisini geliştirmek için, devrin büyük âlimlerinden tefsir, hadis, fıkıh, tasavvuf, Arap ve Acem edebiyatıdersleri aldı. Hâriciye Nezâreti Tercüme Odası’nda çalışma hayatına başladı. Bu iş çevresinde Şehnâme-i Osmanî  adlıküçük bir şiir kitabının yazarı Tahir Ömerzâde Yusuf Hâlis Efendi, Sadullah Paşa, Âyetullah, Kânî Paşazade Rifat,Recaizâde Celâl Beyler gibi Batı’yı iyi tanıyan fen ve terakki hayranı kimseleri tanıdı. Tercüme Odası’na devam ettiğisırada Leskofçalı Galib ve Hersekli Ârif Hikmet’le yakın temas kurdu. Bunlar arasında bilhassa Divan şiirindeki ifadekalıplarını kıran ve yeni bir çığırın açılmasında rol oynayan Leskofçalı Galib’e hayranlığı arttı. Divan tarzı şiirlerini onunetkisinde kalarak yazdı. 1861 yılında eski ve yeni nesilden şairlerin bir araya gelerek oluşturdukları Encümen-iŞu’araya o sırada Emtia Gümrüğü Tahrîrat Kalemi Başkâtip Muavini olarak görev yapan Namık Kemal de katıldı."
+3,3,Tercüme Odası o zaman için Bâbıâli’nin Batı’ya açılan bir penceresiydi. Bazılarınca bir “ilimler encümeni” bazılarıncada “Babıâli’nin muhalif fırkası” diye nitelendirilen Tercüme Odası’nın Namık Kemal’in üzerindeki etkisi büyük oldu.
+4,4,"Namık Kemal, 1862’de Tasvîr-i Efkâr ’ı yayımlamaya başlayan Şinasî ile tanıştı. Şinasî, tanıştıkları ilk gün onaFransızcasını  ilerletmesini  tavsiye  etti.  Namık  Kemal’in  Fransızcadan  ilk  tercümesini,  fikirlerini  benimsediğiMontesquieu’nun eserlerinden bazı parçalar oluşturdu. Namık Kemal imzalı ilk tercüme yazıları 1273 RamazanındaMir’at ’ta  yayımlandı.  Sosyal  ve  siyasî  fikirlerini  benimsediği,  “yenilikçi”  saydığı  Şinasî’nin  gazetesi  Tasvîr-i  Efkâr ’da"
+5,5,"| 2yazılarını neşretmeye başladı. Gazetecilik onun hareket alanını genişletti. Yazdığı makaleleri sayesinde hızla şöhretiarttı. Gazete yazılarında yeni bir üslûp ve nesir tarzına yöneldi. Coşkun bir mizaca sahip olan Namık Kemal’in, Şinasî’yitanıdıktan sonra şiirinin hem konusu hem de içeriği değişime uğradı. Şinasî’nin 1865 baharında gizlice Paris’egidişinden sonra Tasvîr-i Efkâr’ı  Namık Kemal çıkarmaya devam etti. Gazetede önceleri eğitim, sağlık, şehir işleri,maliyenin ıslahı, bazı sosyal ve millî meseleler ile ilgili makalelere yer verdi. Kısa sürede aydın zümrenin tanıdığı veilgiyle takip ettiği biri oldu. Daha sonra yazdığı yazılarında, 1866’da çıkan Girit İsyanı’nın “amansız surette”"
+6,6,"bastırılması, Tepebaşı kahvelerinde Rumca şarkı söylenmesi, muzır neşriyat konuları gibi içte ve dışta yaşananolayların sorumlularını ve uygulanan siyaseti eleştirdi. Bu tür yazılardan sonra gazete siyasî bir hüviyet de kazanmışoldu. Tasvîr-i Efkâr ’da 1866 yılında yayımladığı “yeni edebiyatın ilk beyannamesi” sayılabilecek “Lisân-ı Osmanî’ninEdebiyatı Hakkında Bazı Mülâhazâtı Şâmildir” adlı makalesinde, Türk dili ve edebiyatının meselelerini cesurca veetraflıca  ele  aldı.  “Ramazan  Mektubu”  adlı  ilk  denilebilecek  mahallî  röportaj  örneği  ile  de  değişen  şehir  hayatını,gözlemlerine dayanarak yansıtmaya çalıştı. Namık Kemal, 1866 yılından itibaren çeşitli vesilelerle yazdığı yazılarındaTürkçenin hayatımızdaki yeri üzerinde durdu. 1865 yılında daha sonra Yeni Osmanlılar Cemiyeti ismini alacak olan“İttifâk-ı Hamiyyet” adlı gizlice oluşan cemiyete girdi. Bu gizli cemiyetin gayesi, Sadrazam Âli Paşa’nın ağır, ezicipolitikalarına son vermek ve ülkeye parlamento esasına dayalı Meşrutiyet idaresini getirmekti. Bu cemiyet vasıtasıylaVeliaht Murad Efendi ve Şehzade II. Abdülhamid ile tanıştı ve onlarla dostluğunu ilerletti. Bu aşamadan sonra onunmakalelerinin satır aralarında artık siyasî rejim, yönetim tarzı, millet meclisi gibi hususlara göndermeler yer almayabaşladı. Onun, Tasvîr-i Efkâr ’da yazdığı Girit isyanına dair yazılar, yerli ve yabancı basında geniş yankı uyandırdı. Buyazılardan biri olan “Şark Meselesi” adlı makalesinde ele aldığı şiddet ve vatan sevgisi içerikli düşünceleri yüzündenhükümeti zor duruma soktuğu için gazeteden uzaklaştırıldı. Bu sırada Mustafa Fazıl Paşa’nın Padişah Abdülaziz’ehitaben yazdığı Fransızca mektubu, Yeni Osmanlılar tarafından Türkçeye çevrilerek önce Muhbir ’de, sonra da Tasvîr-iEfkâr ’da yayımlandı. Bunun üzerine Muhbir  gazetesinin yayını durduruldu. Yazarı Ali Suavî tutuklanarak Kastamonu’yasürgün edildi. Namık Kemal ise rütbesi yükseltilerek Erzurum Vali Muavinliğine, Ziya Paşa da benzer sebeplerle Kıbrısmutasarrıflığına  tayin  edildi.  Ancak  Namık  Kemal,  görev  yerine  gitmedi.  Bu  sırada  Courrier  d’Orient  gazetesi  sahibiJean Pietri, Namık Kemal ve Ziya Paşa’yı gazeteye davet etti. Mustafa Fazıl Paşa’nın Fransa’dan gönderdiği Fransızcamektubunu Namık Kemal ve Ziya Paşa’ya okuyarak, Paşa’nın ‘vatanın saadeti ve kurtuluşuna hizmet etmek üzere’"
+7,7,"Namık Kemal ve arkadaşlarını Paris’e davet ettiğini söyledi. Bu davete olumlu cevap veren Namık Kemal, Ziya Paşa veAli Suavî birlikte gizlice kaçıp 30 Mayıs 1867’de Paris’e ulaştı. Böylece mevcut hükümetle siyasî bir mücadelenin içinegirmiş oldular. Mevcut yönetime karşı siyasî mücadele sürerken Abdülaziz’in Fransa’yı ziyareti bahane edilerek Fransızhükümeti tarafından Namık Kemal ve arkadaşlarının Paris’ten çıkmaları ve Londra’ya gitmeleri sağlandı. Bu sıradaPadişahın af ve teveccühünü kazanan Mısırlı Mustafa Fazıl Paşa’nın İstanbul’a dönüş hazırlığı içinde olması onları üzdü,geleceğe  dönük  ümitlerini  kırdı.  Namık  Kemal  ve  Ziya  Paşa  gittikleri  Londra’da  finansını  Mustafa  Fazıl  Paşa’nınkarşıladığı Hürriyet  gazetesini 29 Haziran 1868 tarihinde Yeni Osmanlılar Cemiyeti adına çıkardı. Namık Kemal,Hürriyet  gazetesine yazdığı yazılarında, meşrutiyet idaresinin kurulması, idarî ve sosyal konulardaki bozukluklarıngiderilmesi, ferdin ve halkın siyasî hürriyetini elde etmesi, vatandaşın haklarının korunması, idarenin parlamentotarafından denetlenmesi gibi konuları işledi. 24 Kasım 1870’te resmî makamların “yazı yazmaması” gibi bazı şartlarınıiçeren davet mektubunu alınca İstanbul’a döndü. 1871’de Âli Paşa’nın ölümü sonrasında Namık Kemal yeniden yayınhayatına atıldı. Bu sırada Padişah olan Abdülaziz’in sert ve otoriter baskısı Namık Kemal ve arkadaşlarını Veliaht MuratEfendi’ye  yakınlaştırdı.  1872’de  Namık  Kemal,  Ebüzziya  Tevfik,  Avrupa’dan  afla  dönen  Nuri  (Menâpirzâde),  Reşat(Kayazâde), üvey dayısı Mâhir ile birlikte bir gazete çıkartmaya teşebbüs etti. Ancak mevcut yönetimden gerekli izni"
+8,8,"| 3alamadı. Bunun üzerine arkadaşları ile birlikte bir mizah ve haber gazetesi olan İbret  gazetesini kiraladı. NamıkKemal’in başyazarlığını üstlendiği İbret gazetesi, 13 Haziran 1872 tarihinde, nasıl bir yol takip edeceklerini belirten birbeyanname ile yayın hayatına başladı. Namık Kemal’in yönetimindeki İbret , günlük olaylardan bahsetmekle beraberbir fikir gazetesi hüviyetinde idi. Onun asıl siyasî mücadelesi bu gazetede başladı. Artık o, tam bir hükümet muhalifi,politikacı, sivri dilli bir gazeteci oldu. Ancak İbret, 19. sayıda Mahmud Nedim Paşa yönetiminin ağır bir dille eleştirildiği“Garaz Marazdır” başlıklı makale sebebiyle dört ay süreyle kapatıldı. Namık Kemal’e dokunmayan Sadrazam MahmutNedim Paşa, gazetenin yazarlarından Nuri, Ebüzziya Tevfik ve Reşad Beyleri taşrada bir memuriyete tayin ettirerekİstanbul’dan uzaklaştırmak istedi. Ancak İbret ’in önemli yazar kadrosu daha İstanbul’dan ayrılmadan Mahmut NedimPaşa azledildi ve yerine Midhat Paşa getirildi. Göreve yeni başlayan Midhat Paşa, Namık Kemal’i İstanbul’danuzaklaştırmak için Gelibolu mutasarrıflığına tayin etti. Namık Kemal, Gelibolu’da 26 Eylül 1872’de başladığı görevindeüç aya yakın bir zaman kalabildi. Bu zaman zarfında Gelibolu’daki memur ve eşrafın yolsuzlukları, okulların durumu vemaarif meselesinin üzerine gitti. Menfaati engellenenlerin Bâbıali’ye şikâyetleri üzerine 11 Aralık 1872’de görevindenazledildi. Bu kısa süre zarfında hem idarî yönden başarılı hem de verimli bir yazı hayatı geçirdi. Namık KemalGelibolu’da sürgün iken Midhat Paşa, İbret ’in yeniden yayımlanmasına izin verdi. Bu fırsatı da değerlendiren NamıkKemal, Gelibolu’dan B. M. (başmuharrir) rumuzu ile İbret ’te, (N. K.) imzasıyla da Ebüzziya’nın çıkardığı Hadîka ’dayazmayı sürdürdü. 1872 Aralık ayının sonunda Gelibolu’dan İstanbul’a dönen Namık Kemal tekrar İbret’in başına geçtive yeniden imzalı ve imzasız yazılar yazmaya başladı. Sadrazam Mütercim Rüşdü Paşa’nın yönetimi sırasındamatbuata baskı arttı. Kitap yayınlarına sansür getirildi. Bu durumu şiddetle eleştiren Namık Kemal’in yönetimindekiİbret , 110. sayısında bir ay süreyle kapatıldı. İbret ’in kapalı kaldığı bu süre zarfında ilk tiyatro eseri olan dört perdelikVatan Yahut Silistre ’yi tamamladı. Hayatında bir dönüm noktası olacak Vatan Yahut Silistre  adlı oyunu, 1 Nisan 1873tarihinde Güllü Agop’un Gedik Paşa’daki Tiyatrosu’nda oynandı. Tiyatroyu dolduran seyircinin heyecanla seyrettiğioyunun coşkusu sokağa taştı. Halk, Namık Kemal’i tebrik etmek için gece ellerinde fener yollara düştü. Galatasaray’dagazetenin idaresine kadar gelen halk, Namık Kemal’e şükran ve tebriklerini sundukları bir mektup bıraktı. Bir sonrakigün İbret  gazetesinde temsilin halk üzerindeki etkisini ele alan yazılar yayımlandı. Vatan Yahut Silistre  oyunu umumîistek üzerine 3 Nisan 1873’te ve sonrasında tekrar, aynı heyecan ve coşkuyla izlendi. Türk tiyatro tarihine geçen bucoşkulu olayı, İbret gazetesi haber ve çeşitli yazılarla kamuoyuna yansıttı. Hükümet, sayfalarında Vatan Yahut Silistreile ilgili haber ve coşkulu yazılara yer veren İbret’ in yayınını 132. sayısında durdurdu (5 Nisan 1873). 6 Nisan 1873’temuzır neşriyat ve harekette bulundukları gerekçesiyle gazetenin yazar kadrosunda yer alan Ebüzziya Tevfik, Nuri Bey,Bereketzade İsmail Hakkı ve oyunun oynandığı gün tiyatroda bulunan Ahmet Midhat Efendi mahkemeye dahiçıkarılmaksızın tutuklandı. Sultan Abdülaziz’in fermanı ile de 9 Nisan 1873’te adı geçenler “ıslah-ı nefs” edene kadarkalebent olarak Hıdîv Kumpanyası’nın Mısır vapuruyla bir kısmı Rodos ve Akkâ’ya, Namık Kemal de Magosa’ya sürgünedildi. Bu sürgünün asıl sebebi Namık Kemal ve arkadaşlarının Veliaht Murad Efendi ile yakın temasta bulunmaları idi."
+9,9,"Namık Kemal, Magosa’da idarecilerden yakın ilgi gördü. Namık Kemal’in otuz sekiz ay süren sürgün hayatı 30 Mayıs1876 tarihinde Sultan Abdülaziz’in tahttan indirilmesi ve V. Murad’ın padişah olması ile sona erdi. Namık Kemalaffedilerek 19 Haziran 1876’da İstanbul’a döndü. Sultan V. Murad’ın “bedence” ve “akılca” devleti idare edemeyecekhâlde olması, Namık Kemal’i sükût-ı hayale uğrattı. V. Murad, Şeyhülislâmın fetvası ile 93 gün kaldığı tahttan indirildive yerine Meşrutî yönetimi hayata geçireceğini ve Kanûn-ı Esâsî’yi ilân edeceğini vaat eden Sultan II. Abdülhamid, 31Ağustos 1876’da tahta çıkarıldı. II. Abdülhamid, kısa bir süre sonra Namık Kemal’i Şûra-yı Devlet üyeliğine getirdi."
+10,10,Ardından Namık Kemal 7 Ekim 1876’da Kanûn-ı Esâsî’yi hazırlayacak heyet arasında yerini aldı. 23 Aralık 1876’daKanûn-ı Esâsî kabul edildi. Bu durum ülkede sevinçle karşılandı. Ancak bir kısım halkın ve askerlerin sokaklarda dolaşıp
+11,11,"| 4“Yaşasın Midhat Paşa” diye bağırmaları, Namık Kemal’in vatanî şiirlerini, bilhassa şarkı ve türkü formunda yazılmışmanzumelerini okumaları, Padişahı çok tedirgin etti. Kısa bir süre sonra II. Abdülhamid, Kanûn-ı Esâsî’nin hayatageçirilmesinde  önemli  rolü  olanları  İstanbul’dan  uzaklaştırmaya  başladı.  Önce  Süleyman  Paşa’yı  Hersekkumandanlığına, Ziya Paşa’yı Suriye valiliğine tayin etti. Sonra da İstanbul’da kalmak için direnen Namık Kemal’i birmemuriyete gönderebilmek için Midhat Paşa’ya baskı yapmaya başladı. Bu sürgünden Midhat Paşa’nın kendisi denasibini aldı. Sadaretten uzaklaştırıldı ve sürgüne gönderildi. Namık Kemal de tutuklandı ve yargılandı. Beş ay hapisyattıktan sonra 10 Temmuz 1877’de Padişahın iradesiyle tahliye oldu ve Midilli adasında “ikâmete memur” edildi. 19Temmuz 1877’de İstanbul’dan Midilli’ye hareket etti. Oradan da Meclis-i Mebûsan’ın faaliyetlerini takip etti. Tanıdığı vegüvendiği mebuslar vasıtasıyla hükümete yönlendirmelerde bulundu. Patlak veren Doksan üç Harbi’nin yıkımları büyükıstırap duymasına sebep oldu.  Bu sırada “Vâveylâ (çığlık)”, “Vatan Mersiyesi” gibi en meşhur vatanî şiirlerini yazdı. İkibuçuk yıl sonra sürgünde bulunduğu ve kendisinin “cehennemin cenneti”, “cennet varsa, mutlaka bu yerin altındadır”"
+12,12,dediği Midilli adasına II. Abdülhamid’in iradesiyle 18 Aralık 1879 tarihinde mutasarrıf olarak tayin edildi. Mutasarrıfolduktan sonra “birçok bakımdan yönetimi zorluklarla dolu” olan Midilli’de devlet için önemli ve başarılı görevler yaptı.
+13,13,"Burada yirmiye yakın ilk mektep yaptırdı. Adada Türkün menfaatini korumak için büyük çaba gösterdi. Kendisine karşıyapılan şikâyet ve iftiralara karşı direndi. Adada ülkesi adına verdiği mücadelede II. Abdülhamid’in gizli veya açıkdesteğini gördü. Hatta Yıldız Sarayı ile doğrudan haberleşebilmesi için sarayın telgraf şifresi kendisine verildi. Midilli’degeçirdiği beş yıl, Magosa kadar verimli oldu. Burada Celâleddin Harzemşah , Cezmi , edebiyata dair görüşlerinin yeraldığı Mukaddime-i Celâl  ve 1883’te Fransız fikir adamı Ernest Renan’ın İslâmiyete hücum eden bazı görüşlerine karşıkaleme aldığı Renan Müdafaanâmesi  adlı eserlerini tamamladı. Severek görev yaptığı Midilli’den Hristiyan eşrafınşikâyet  ve  iftiraları  yüzünden  ayrılmak  zorunda  kaldı.  15  Ekim  1884’te  “İrâde-i  Seniyye”  ile  Rodos  mutasarrıflığınagönderildi. On iki cilt olarak tasarladığı Osmanlı Tarihi ’ni burada yazmaya başladı. Rodos’ta da diğer adalarda olduğugibi Türklerin kültür seviyelerini yükseltmek, Türk nüfusunu artırmak ve millî kültürü korumak için çaba harcadı, birortaokul açtırdı, üç camii yaptırdı. Bu çabalarının karşılığı olarak Kasım 1886’da II. Abdülhamid tarafından “İmtiyazMadalyası” ile ödüllendirildi. Namık Kemal, 1887 yılı Aralık ayı başında, Rodos’tan Sakız’a tayin edildi. Burada sağlığıiyice bozuldu ve tutulduğu zatürreden kurtulamayarak 28 Rebîülevvel 1306 (2 Aralık 1888) Pazar günü hayatagözlerini yumdu. Cenazesi önce Sakız’da bir caminin hazîresine, vasiyeti üzerine yakın arkadaşı Ebüzziya’nın girişimive II. Abdülhamid’in desteği ile cenazesi üç gün sonra Gelibolu’ya nakledildi ve Rumeli fatihi olarak bilinen SüleymanPaşa’nın Bolayır’daki türbesi hazîresine defnedildi."
+14,14,"İlk gençlik devresinde yazdığı divan tarzı şiirleriyle edebiyat dünyasına giren Namık Kemal, asıl şöhretini vatan vehürriyet kavramını şiirleriyle işlemeye başladığı zaman kazanır. Onun bütünüyle olmasa bile şiirinin eski tarzdanuzaklaşması ve yerini sosyal konulara bırakmaya başlaması, Avrupaî fikirlere sahip bir Türk olan Şinasî’yi tanıdıktansonraya rastlar. Onun bu yöndeki gelişme ve değişmesine sebep olan şeyler, giriştiği hürriyet mücadelesi, hapis,sürgün, gurbet gibi hususların yanı sıra ülkenin siyasî ve fikrî çehresini değiştiren Bosna-Hersek isyanı, Doksanüç Harbi(1877-1878 Türk-Rus Savaşı) gibi olaylardır. O, içerik olarak gazel, kaside, murabba gibi nazım türlerinde işlediğivatan, millet, hürriyet, hak, hukuk, adalet, ahlâk, fazilet gibi kavramlar vasıtasıyla milletin gönlünde heyecanlı fırtınalaresmesini sağlar. Ona şöhret kazandıran şiirlerinden birisi 1868’de Londra’da yazdığı bilinen ve 1876’da Sırbistan veKaradağ isyanları sırasında yayımlanan “Hürriyet Kasidesi”dir. O,  Batılı nazım şekillerini de Abdülhak Hamid’in “Sahrâ”"
+15,15,"şiirinin yayınlanmasından sonra dener. Hem nazım şeklinde hem de içerikte yaptığı değişiklikleri “Vâveylâ”, “VatanMersiyesi”, “Bir Muhâcir Kızın İstimdâdı”, “Hilâl-i Osmanî” gibi manzumelerinde uygular. Bu tarz yazdığı şiirlerindegerek dil, gerekse üslûp bakımından yenilikler dikkati çeker. Namık Kemal, şiirin yanı sıra fıkra, haber, makale, tarih"
+16,16,"| 5denemeleri, hal tercümeleri, tiyatro, roman ve mektup gibi edebî türlerde yazılar da yazar. Güçlü ifade tarzına sahipolan Namık Kemal, bu tür yazılarında şaşılacak derecede realisttir."
+17,17,"Namık Kemal’in en çok eser verdiği türlerden biri tiyatrodur. Tiyatroyu “en faydalı bir eğlence” aracı sayar. Yazdığı“Mukaddime-i Celâl ”de bizde ilk defa tiyatronun nazariyatını yapar. O, tiyatroyu, toplumu değiştirici etkisinden dolayıedebî türlerin en üstünde görür. Ayrıca Batıdaki “büyük siyasî inkılâplarda ve medenî ilerlemelerde tiyatronun tesirininolduğunu” ileri sürer. Namık Kemal, piyeslerinin çoğunda bir davaya inanmış insan tipini canlandırmaya çalışır."
+18,18,"Piyeslerinin kahramanları, şahsî saadetleri için değil, sosyal meseleler ve vatanî gaye uğruna kendilerini fedaedenlerden oluşur. Namık Kemal’in kendi ideal insan tiplerini canlandırdığı ve hayatta iken oynanan tek piyesi VatanYahut Silistre ’dir. Asıl adı “Râz-ı Dil” olan beş perdelik Gülnihâl  adlı piyeste, zalim ve baskıcı bir yöneticiye karşı verilenmücadele  ve  intikam  fikrini  işler.  Beş  perdelik  Âkif  Bey  piyesinde  ise,  Kırım  Savaşı  sırasında  çok  sevdiği  karısınıbırakarak vatan müdafaasına koşan bir bahriye subayının karısı tarafından ihanete uğraması ve aile faciasını anlatır."
+19,19,"Üç perdelik bir trajedi olan Zavallı Çocuk ’ta bir genç kızın, istemediği zengin birisiyle evlendirilmesi ve yaşanan felaketiele alır. Beş perdelik Kara Belâ ’da da, bir Hint hükümdarının kızının şehvetten gözü dönmüş bir harem ağası tarafındantecavüze uğramasını, kızın sevdiği şehzade ile harem ağasını öldürmesini ve sonra da şehzadeyle birlikte intiharetmesini ele alır. Son tiyatro eseri Celâleddin Harzemşah ’ta ise, Namık Kemal, İslâm âlemini tehdit eden Moğolistilâsına karşı yalnız başına durmaya çalışan Celâleddin Harzemşah’ın yaşadığı macerayı işler."
+20,20,"Namık Kemal’in İntibah  ve Cezmi  adlı iki romanı vardır. Namık Kemal, İntibah , adlı romanını Son Pişmanlık  adı ilesürgünde bulunduğu 1873-1875 yıllarında Magosa’da yazar. Ancak romanın ismi Maarif Nezâreti tarafından “İntibah-Sergüzeşt-i Ali Bey” olarak değiştirilerek 1876 yılında neşredilir. İntibah ’ta, iyi eğitimli, ancak hayatın gerçeklerikonusunda tecrübesiz olan Ali Bey’in gerçek kimliğini bilmediği ahlâken düşük bir kadına âşık olması ve âşık olduğu bukadın yüzünden yaşadığı ahlâkî çöküntü ve sonunda uğradığı felâket realist bir şekilde anlatılır. Namık Kemal’in ikinciromanı Cezmi ’dir. Bu eserini Midilli’de iken yazar. Romanda, tarihî kişiliğe sahip kahramanlardan temiz, ahlâk ve faziletsahibi bir sipahi olan Cezmi ve Kırım şehzadesi Âdil Giray’ın hikâyesi işlenir. Cezmi , tam anlamı ile romantik bir eserdir."
+21,21,"Aileden, bilhassa babasından aldığı kuvvetli bir tarih kültürüne sahip olan Namık Kemal’in tarih ve tarihî şahsiyetlerleilgili makale ve eserleri de vardır. O, Osmanlı Devleti’nin Sultan Osman’dan Kanunî Sultan Süleyman zamanına kadargelen padişahların şahsiyetleri ve yaptıkları işleri ana hatlarıyla anlattığı eseri Devr-i İstilâ ’yı yazar. Bu eser, 1866’daTasvîr-i Efkâr ’da tefrika edilir. 1867’de Evrâk-ı Perişan ’da yayımlanır. Evrâk-ı Perişan’da büyük İslâm kahramanıSelahattin’i Eyyübî’nin, hayatını anlattığı Fatih’in, hayranlık duyduğu Yavuz Sultan Selim’in, Emîr Nevruz’un destanî hâltercümelerine yer verir. O, ayrıca, Silistre Muhâsarası  ve roman tadında Tiryaki Hasan Paşa’yı anlattığı Kanije  adlıeserleri meydana getirir. Bu eserlerdeki kahramanlar vatan kuran, vatanın bütünlüğünü, İslâm birliğini sağlayan, haçlıve Moğol saldırılarını durduranlardır."
+22,22,"Namık Kemal, Türk edebiyatında önemli izler bırakan modern manadaki ilk eleştirmenimizdir. O, Bahâr-ı Dâniş, NevruzBey  ve  İntibah  mukaddimeleri,  Tahrîb-i  Harâbât,  Tâkîb,  İrfan  Paşa’ya  Mektup,  Mes  Prisons  Muâhezenâmesi,Mukaddime-i Celâl, Ta’lîm-i Edebiyat Üzerine Bir Risâle, Lisân-ı Osmanî’nin Edebiyatı Hakkında Bazı MülâhazâtıŞâmildir gibi eleştiri, mektup ve makalelerinde dil ve edebiyatımız hakkında değerlendirmelerde, önerilerde, çözümarayışlarında bulunur."
+23,23,"Namık Kemal, Avrupa’dan (Paris, Londra) döndükten sonra Magosa, Midilli, Rodos ve Sakız adalarında on dört yılı bulansürgün ve gurbet hayatı yaşar. Sürgün yıllarında mektup ve mektuplaşma, adeta hayatının bir parçası, teselli kaynağı"
+24,24,"| 6olur. Hayatından ve eserlerinden izler taşıyan resmî, ilmî, siyasî, tenkidî, edebî, hususî, samimî, âşıkâne, dostâne,vatanperverâne vs. on bin civarında mektup yazdığı tahmin edilen Namık Kemal’in, mektuplarını, aile fertlerine, yakındost ve akrabalarına, edebiyat çevresindeki bazı ünlü edebiyat ve düşünce adamlarına yazdığı bilinmektedir. Bir kısmıyayımlanan mektuplarında, son derece sade ve anlaşılır bir dil kullanır."
+25,25,"Millî ve İslâmî değerleri koruyarak Batılılaşma fikrini benimseyen Namık Kemal, bilhassa gazetecilik yaptığı 1863-1873yılları arasında Türk toplumunun ihtiyaç duyduğu sosyal, siyasî, ekonomik, hukukî, kültür, eğitim vs. gibi çeşitli temelkonular ile de ilgilenir ve bu hususlar üzerine yazdığı makalelerde ilgilileri ve kamuoyunu bilgilendirmeye çalışır. Onunbu çerçevedeki düşüncelerinin ana hatları, “memlekette meşrutiyet idaresinin kurulması, sosyal ve ferdî hürriyet,bilhassa fikrî hürriyet, kurumların ıslahı, Türk toplumunun Avrupa medeniyetine ayak uydurması” şeklinde çizilebilir."
+26,26,"Hürriyet ve demokrasi mücadelesi uğruna ömrünün önemli bir kısmını gurbet ve sürgünlerde geçiren Namık Kemal,fikrî bakımdan hem yaşadığı dönemde hem de ölümünden sonra edebiyatta, sosyal ve siyasî alanda fikirlerini cesurcaaktardığı  yazılarıyla  toplumu  uyandırmaya  yönelik  eserleriyle,  etkisini  sürdüren  nadir  bürokrat,  şair  veyazarlarımızdandır. O, özellikle vatanî şiirleri ve fikrî yazılarındaki samimî ve korkusuz hitabet üslûbu ile Türk milletininvatan, hürriyet ve istiklâl mücadelesinde öncülük eden nice şair, yazar, devlet adamına rehberlik yapar."
+27,27,"Namık Kemal’in tesiri altında kalanlardan birisi de Türkiye Cumhuriyeti Devleti’nin kurucusu Gazi Mustafa KemalAtatürk’tür. Namık Kemal vefat ettiğinde Mustafa Kemal henüz yedi yaşındadır. Mustafa Kemal, Manastır İdâdîsi(lisesi)’nde öğrenci iken Namık Kemal’i tanıması yakın arkadaşı Ömer Naci Bey sayesinde olur. O sıralarda edebiyatameraklı, heyecanlı şiirler yazan ve söyleyen Ömer Naci, yazıları ve üslûbu noktasında Namık Kemal’e hayran birisidir."
+28,28,"Mustafa Kemal, bir gün ondan okuması için kitaplar ister. O da kendisine ders kitapları verir. Mustafa Kemal, ondanders kitapları istemediğini söyler. O da kendisine çeşitli şiirler ve tiyatro eserleri getirir, verir. Mustafa Kemal bunlarıkarıştırırken  sayfaları  arasına  serpiştirilmiş  el  yazısı  ile  Namık  Kemal’in  “Hürriyet  Kasidesi”ndeki  ve  “VatanMersiyesi”ndeki heyecan uyandıran şu mısralar dikkatini çeker: “Felek her türlü esbâb-ı cefasın toplasın gelsin/Dönersem kahbeyim millet yolunda bir azimetten”; “Merkez-i hâke atsalar da bizi/ Kürre-i arzı patlatır çıkarız”  ve“Vatanın bağrına düşman dayadı hançerini/ Yoğ-imiş kurtaracak bahtı kara maderini”.  O devirde Namık Kemal’invatanseverlik telkin eden eserleri yasaklandığı için bulmak, şiir ve yazılarındaki heyecanlı atmosferi yaşamakisteyenler aydınlar vardır. İşte Mustafa Kemal de devrin ve okulun sıkı şartları altında Namık Kemal’in eserlerindenbulduklarını ekseriyetle koğuşta, herkes yattıktan sonra kötü ışık şartları altında gizli gizli okuyarak tanımaya başlar. O,ülkenin problemlerine çözüm getirmeye çalıştığı, vatanı, hürriyeti ve insan haklarını savunduğu için Namık Kemal’ehayran olur. Bu hayranlık onda vatansever, hürriyetperver olmasının yolunu açar. Öğrencilik yılları ve sonrasında onunözellikle vatan, millet, hürriyet, medeniyet, aile, tarih, hukuk, iktisat, eğitim konularında yazdığı yazılarından veheyecan  uyandıran  yüksek  ideallerinden,  fikirlerinden  etkilenir.  II.  Meşrutiyet  hareketini  gerçekleştirenler  NâmıkKemâl’in Vatan Yahut Silistre  piyesini yeniden sahneye koyarak seyirciyle buluştururlar. “Vatan ve Hürriyet Şairi”"
+29,29,"yazan kartpostallarını ve afişlerini yaparak geniş halk kitlelerine onu tekrar hatırlatırlar. Mustafa Kemal, arkadaşı AliFuat Cebesoy’la birlikte Manastır’da iken piyesi büyük bir heyecan ve coşkuyla seyrederler. Oyunun son sahnesinde birtalebenin okuduğu “Yâre nişandır tenine erlerin!/ Mevt ise son rütbesidir askerin!/ Altı da bir üstü de birdir yerin,/Arşyiğitler vatan imdadına ” mısralarını gözleri dolarak dinlerler. Vatan ve millet sevgisi ile donanmış Türk aydınları, zor vesıkıntılı yıllarda, Namık Kemal’in “ahlâk ve vatan dersi veren ateşli mısralarını bir âyet gibi tekrarlarlar.” 1915’teÇanakkale Savaşları sırasında cepheye giderken onun ve Süleyman Paşa’nın mezarını ziyaret eden genç milliyetçi Türksubayları mezar taşına el yazısı ile yazılar yazarlar. Bu yazılardan birinde yürek sızlatan şu cümle yer alır: “Namık"
+30,30,"| 7Kemâl, senin vatanını kurtarmak için ölmeğe gidiyorum.” Mustafa Kemal’in I. Dünya Savaşı sırasında Doğu cephesindegörevli iken 10 Ağustos 1916 Pazar günü hatıra defterine yazdıklarından, o çetin savaş yılları içinde, Namık Kemal’infikir  hürriyeti  ve  meşrutî  yönetimle  ilgili  görüşlerinin  yer  aldığı  “Makalât-ı  Siyasiyye  ve  Edebiyye”  adlı  eseriniokuduğunu, ardından da yine Namık Kemal’in Tarih-i Osmanî’sini okumaya başladığını öğrenmekteyiz. Ayrıca onunözel sohbetlerinde, sıkıldığı zamanlarda ve yaptığı konuşmalarda Namık Kemal’den mısralar, beyitler söylediğibilinmektedir. Millî Mücadele yıllarında işgal altındaki ülkemizin bağrında hançer dayalıdır. Mustafa Kemal Paşa, SivasKongresi’nden sonra 18 Aralık 1919’da Heyet-i Temsiliye Merkezini Ankara’ya taşımak üzere arkadaşlarıyla birlikteyola çıkar. Şarkışla, Kayseri ve Mucur’dan geçerek 24 Aralık 1919 tarihinde Kırşehir’e gelir. Halk, onu coşku ve sevgiylekarşılar. Geceleyin şerefine fener alayı tertip edilir. Kırşehir “Gençler Derneği”nde halka hitaben bir konuşma yapar."
+31,31,"Konuşmasında “Kuva-yı Milliyenin âmil, irade-i millîyenin hâkim olması” gerektiğini söyler. Konuşmasının devamındaNâmık Kemâl’in Vatan Mersiyesi ’nde yer alan: “ Vatanın bağrına düşman dayadı hançerini/ Yoğ-imiş kurtaracak bahtıkara mâderini”  beytini değiştirerek şöyle okur: “ Vatanın bağrına düşman dayasın hançerini/ Bulunur kurtaracak bahtıkara maderini”.  Mustafa Kemal Paşa, Namık Kemal’in aynı mısralarını I. İnönü Savaşı ile ilgili 13 Ocak 1921 tarihliMeclis oturumundaki konuşmasında aynı heyecanla okur. Büyük Millet Meclisi’nde başta Mustafa Kemal Paşa olmaküzere onun fikirlerinin tesiri altında kalan bazı milletvekilleri de Nâmık Kemâl’den parçalar okurlar. II. İnönü Zaferi’ndensonra, Namık Kemal’in oğlu Ali Ekrem, Mustafa Kemal Paşa’ya bir tebrik telgrafı çeker. Mustafa Kemal Paşa, 10 Nisan1921 tarihinde özel teşekkürü ile birlikte bu telgrafa verdiği cevapta: “ Yaralı vatanın kurtuluşu ve bağımsızlığı içinölmek yolunda, bugünkü nesle fedakârlık göstermeyi öğreten büyük Namık Kemal ”dir diyerek şaire duyduğu büyükhayranlığı ve saygısını açıkça dile getirir. İdeallerini gerçekleştirebilmek için ömrünün büyük bir kısmını mücadeleiçinde geçiren Namık Kemal’in, vatanın ve milletin istiklâli, birliği ve yükselmesi için gösterdiği çabada Gazi MustafaKemal Paşa’yı “vatan, millet, hürriyet, bayrak, dil, din, eşitlik, medeniyet, hak, hukuk” vs. gibi kavramlar ve heyecanyüklü  milliyetçi  fikirleriyle  etkiler.  Bu  kavramlardan  hareketle  ona  “hürriyet  ve  bağımsızlık  benim  karakterimdir”"
+32,32,"sözünü  söyleten  düşüncenin  asıl  kaynaklarından  biri  de  Namık  Kemal’dir.  Mustafa  Kemal  Atatürk’ün  özelkütüphanesinde yer alan Namık Kemal’in kitapları, bu etkinin kaynağı ve ona gösterdiği ilginin delilidir. TürkiyeCumhuriyeti Devleti’nin kurucusu ulu önder Mustafa Kemal Atatürk, Namık Kemal’in ortaya koyduğu ilke ve kavramlarıömrü boyunca savunur. Ancak o, etkisinde kaldığını ifade ettiğimiz Namık Kemal’in düşüncelerini olduğu gibi alan vesavunan biri olarak da düşünülmemelidir."
+33,33,"Türk şiiri ve edebiyatına vatan, millet, hürriyet gibi kavramları kazandıran ve bu kavramlar uğruna seve seve canverilebileceğini eserlerinde vurgulayan ve millette heyecan dalgalarının oluşmasını sağlayan Namık Kemal, yaşadığıdevirde olduğu gibi günümüzdeki ve sonrasındaki nesilleri vatan, millet, hürriyet ve istiklâl mücadelesi için yolaçıkanları ve çıkacak olanları bu parlattığı kıvılcımlarla sonsuza kadar etkilemeye devam edecektir."
+34,34,"Erol ÜLGENKAYNAKÇAAKÜN, Ömer Faruk, “Kıbrıs Basamağında Namık Kemal”, Namık Kemal Sempozyumu Bildirileri, Gazimağusa27-28 Nisan 1998 , Gazimağusa-KKTC 1998."
+35,35,"AKÜN, Ömer Faruk, “Namık Kemal (1840-1888)”, TDV İslâm Ansiklopedisi , 32. Cilt, İstanbul 2006, s.361-378."
+36,36,"AKÜN, Ömer Faruk, “Nâmık Kemal’in Kitap Halindeki Eserlerinin İlk Neşirleri”, Türkiyat Mecmuası , C XVII, 1973-1975,"
+37,37,| 8İstanbul 1976.
+38,38,"AKÜN, Ömer Faruk, “Namık Kemal”, İslâm Ansiklopedisi , 9. Cilt, Millî Eğitim Basımevi, İstanbul 1988."
+39,39,"ALDAN,  Mehmet, Mutasarrıf Namık Kemal , XI. Türk Tarih Kongresi’nden ayrı basım, Ankara 1994."
+40,40,"Atatürk’ün Söylev ve Demeçleri I  (1919-1918) , 2. Baskı, Türk Tarih Kurumu Basımevi, Ankara 1961."
+41,41,"BERKES, Niyazi, Türkiye’de Çağdaşlaşma , Doğu-Batı Yayınları, İstanbul 1978."
+42,42,"BİLGEGİL, M. Kaya, Harâbât Karşısında Nâmık Kemâl , İstanbul 1972."
+43,43,"BOLAYIR, Ali Ekrem, Namık Kemal , Millî Eğitim Bakanlığı Yayınları, İstanbul 1992."
+44,44,"CEBESOY, Ali Fuat, Sınıf Arkadaşım Atatürk , 2. Baskı, İnkılâp Kitabevi, İstanbul 1981."
+45,45,"ÇAĞAN,  Kenan, “Namık Kemal’de Devletin Niteliği ve Temel Dayanakları”, Akademik İncelemeler Dergisi , C 7, S 1,2012,  s.255-280."
+46,46,"DOĞRU, Sami, “Bir Mektub…”, A. Hilmi Yücebaş,  Namık Kemâl ve Vatan Sevgisi , Tekirdağ İl Basımevi, Tekirdağ1937."
+47,47,"DUMAN, Hasan, “Atatürk ve Nâmık Kemal”, Millî Kültür , S 64, Nisan 1989, s.27-33."
+48,48,"Ebuzziya Tevfik, Yeni Osmanlılar , Günümüz Türkçesine Uygulayan Şemsettin Kutlu, Pegasus Yayınları, İstanbul 2006."
+49,49,"EMİL, Birol, “Namık Kemal’in Eserinde ve Aksiyonunda Üç Temel Kavram: Hürriyet-Medeniyet-İrade”, Ölümünün 100."
+50,50,"Yılında Namık Kemal , Marmara Üniversitesi Fen-Edebiyat Fakültesi, İstanbul 1988."
+51,51,"ENGİNÜN, İnci, Yeni Türk Edebiyatı Tanzimat’tan Cumhuriyete (1839-1923) , Dergâh Yayınları, İstanbul 2006."
+52,52,"ERCİLASUN, Bilge, “Eleştiri (1860-1923)”, Türk Edebiyatı Tarihi 3 , Ed. Talât Sait Halman vd.leri, Türk KültürünüAraştırma Enstitüsü, İstanbul 2006."
+53,53,"EROĞLU, Haldun, “Mustafa Kemal Atatürk’ün Düşün Dünyasının Oluşumundaki Etkenlerle İlgili Bazı Görüşler”, AtatürkYolu , C 7, S 27, Mayıs-Kasım 2001 s.289."
+54,54,"FEYZİOĞLU,  Turhan,  “Türk  Millî  Mücadelesinin  ve  Atatürkçülüğün  Temel  İlkelerinden  Biri  Olarak  MilletEgemenliği”,  Atatürkçü  Düşünce ,  Atatürk  Araştırma  Merkezi  Yayınları,  Ankara  1992."
+55,55,"GÖÇGÜN, Önder, “Atatürk ve Edebiyat”, Edebiyat Dünyası ve Atatürk , Atatürk Kültür Merkezi Yayınları, Ankara1995."
+56,56,"GÖÇGÜN, Önder, “Atatürk ve Namık Kemal”, Doğumunun Yüzellinci Yılında Namık Kemal , Marmara ÜniversitesiFen-Edebiyat Fakültesi, Ankara 1993."
+57,57,"GÖÇGÜN, Önder, “Nâmık Kemâl’de Tarih Düşüncesi ve Sevgisi”, Yeni Türk Edebiyatı Araştırmaları I , SelçukÜniversitesi Yayınları, Konya 1991."
+58,58,"GÖZCÜ, Alev, “Atatürk’ün Düşünce Dünyasında Namık Kemal’in Etkisi”, Doğumunun 170. Yılında UluslararasıNamık Kemal Sempozyumu , 20-22 Aralık 2010 Tekirdağ , Ed. Orhan Kemâl Tavukçu, Ali Tilbe, Cilt I, Tekirdağ2010."
+59,59,"| 9İLTER, Erdal, “Atatürk’ün Etkilendiği Fikir Akımları ve Onun Öğrencilik Yılları”, Prof. Dr. Abdurrahman Çaycı’yaArmağan , Hacettepe Üniversitesi Atatürk İlkeleri ve İnkılâp Tarihi Enstitüsü, Ankara 1995."
+60,60,"KAPLAN, Mehmet, Namık Kemal Hayatı ve Eserleri , İstanbul Üniversitesi Edebiyat Fakültesi Yayınları, İstanbul 1948."
+61,61,"KAPTANOĞLU, Muazzez, “Münevverlerin Gözü ile Namık Kemal”, İnsan , C 2, S 8, 1939, s.622."
+62,62,"KARAKARTAL, Oğuz, ARSLAN, İbrahim, “Nâmık Kemâl Üzerine Bir Kolaj”, Nâmık Kemâl , Ed. Turan Karataş, OrhanKemâl Tavukçu, T.C. Kültür ve Turizm Bakanlığı, Ankara 2011, s.106-107, 109."
+63,63,"KAVCAR, Cavit, “Namık Kemal’in Üslûp Anlayışı”, Doğumunun Yüzellinci Yılında Namık Kemal , MarmaraÜniversitesi Fen-Edebiyat Fakültesi, Ankara 1993."
+64,64,"KORAP, Ali Rıza, “Namık Kemal”, Bilgi Yurdu , S 5, Birinci kânun (Kasım 1938), s.534."
+65,65,"KUNTAY, Midhat Cemal, Namık Kemal Devrinin İnsanları ve Olayları Arasında , Cilt 1, İş Bankası Yayınları,İstanbul 2010."
+66,66,"Namık Kemal, “Garaz Marazdır”, İbret , Sayı 19, 3 Cumâdelûlâ (Cemâziyelevvel)1289-27 Haziran 1288."
+67,67,"Namık Kemal, “Hürriyet Kasidesi”, Vakit , Sayı 236, 10 Cumâdelûlâ (Cemâziyelevvel) 1293-21 Mayıs (Rumî) 1292-2Haziran 1876."
+68,68,"Namık Kemal, “Lisân-ı Osmanî’nin Edebiyatı Hakkında Bazı Mülâhazâtı Şâmildir “, Tasvîr-i Efkâr , Sayı 416, 16Rebiülâhir 1283; Sayı 417, 19 Rebülâhir 1283."
+69,69,"Namık Kemal, “Şark Mes’elesine Dair Bir Lâyihadır”, Tasvîr-i Efkâr , Sayı 465, 4 Zilkade 1283-28 Şubat 1283."
+70,70,"OKAY, M. Orhan, “İntibah Romanı Etrafında”, Ölümünün 100. Yılında Namık Kemal , Marmara Üniversitesi Fen-Edebiyat Fakültesi, İstanbul 1988."
+71,71,"ÖZGÜL, M. Kayahan, “Osmanlı’nın Son Encümen-i Şuarâ’sı”, Türk Edebiyatı Tarihi 3 , Ed. Talât Sait Halman vd.leri,Türk Kültürünü Araştırma Enstitüsü, İstanbul 2006."
+72,72,"ÖZÖN, Mustafa Nihat, Namık Kemal ve İbret Gazetesi , Yapı Kredi Yayınları, İstanbul 1997."
+73,73,"Sadettin Nüzhet, Namık Kemal Hayatı ve Şiirleri , Yeni Şark Kitaphanesi, İstanbul 1933."
+74,74,"SAV, Ergun, Atatürk ve İki Büyük Türk Düşünürü,  Namık Kemal-Ziya Gökalp , Bilgi Yayınevi, İstanbul 2001."
+75,75,"SÖNMEZ,  Cemil, Atatürk’te Edebiyat Sevgisi , Kültür Bakanlığı Yayınları, Ankara 1998."
+76,76,"Şemsettin Sâmi, Kâmûsu’l-Âlâm , Cilt 5, Tıpkı Basım, Ankara 1996."
+77,77,"TANPINAR, Ahmet Hamdi, “Namık Kemal’in Hayatı ve Eserleri”, Edebiyat Üzerine Makaleler , Haz. Zeynep Kerman,2. Baskı, Dergâh Yayınevi, İstanbul 1977."
+78,78,"TANPINAR, Ahmet Hamdi, 19. Asır Türk Edebiyatı Tarihi , 4. Baskı, Çağlayan Yayınevi, İstanbul 1976."
+79,79,"TANSEL, Fevziye Abdullah, “Namık Kemal’in Midilli’de Yazdığı Manzum ve Mensur Eserler”, Türkiyat Mecmuası , C XII,İstanbul 1955, s.58."
+80,80,"| 10TANSEL, Fevziye Abdullah, Namık Kemal’in Hususî Mektupları , Cilt I-IV, Türk Tarih Kurumu, Ankara 1967-1986."
+81,81,"TEVETOĞLU, Fethi, “Namık Kemal’in Türk Nesilleri Üzerindeki Tesiri”, Ölümünün 100. Yılında Namık Kemal ,Marmara Üniversitesi Fen-Edebiyat Fakültesi, İstanbul 1988."
+82,82,"TEZCAN, Mahmut, “Atatürk’ün Eğitim Anlayışına Felsefî ve Sosyolojik Bir Yaklaşım”, Atatürkçü Düşünce , yy., 1992."
+83,83,"TÖRENEK, Mehmet, “Nâmık Kemâl’in Romancılığı”, Nâmık Kemâl , Ed. Turan Karataş, Orhan Kemâl Tavukçu, T.C."
+84,84,"Kültür ve Turizm Bakanlığı, Ankara 2011."
+85,85,"TURAL, Sadık, “Tarihî Roman Geleneği veya Cezmi”, Doğumunun Yüzellinci Yılında Namık Kemal , Atatürk KültürMerkezi Yayınları, Ankara 1993."
+86,86,"TURAN, Şerafettin, Atatürk’ün Düşünce Yapısını Etkileyen Olaylar, Düşünceler , Kitaplar , 2. Baskı, Türk TarihKurumu, Ankara 1989."
+87,87,"TURAN, Şerafettin, Kendine Özgü Bir Yaşam ve Kişilik Mustafa Kemal Atatürk , Bilgi Yayınevi, Ankara 2004."
+88,88,"UÇMAN, Abdullah, “Namık Kemal Üzerine Bir Biyografi Denemesi”, Ölümünün 100. Yılında Namık Kemal , MarmaraÜniversitesi Fen-Edebiyat Fakültesi, İstanbul 1988."
+89,89,"ÜLKEN, Hilmi Ziya, Türkiye’de Çağdaş Düşünce Tarihi , 3. Baskı, Ülken Yayınları, İstanbul 1992."
+90,90,"YAZICI, Nevin, Osmanlılık Fikri ve Genç Osmanlılar Cemiyeti , Kültür Bakanlığı Yayınları, Ankara 2002."
+91,91,"YÜCEBAŞ,  A. Hilmi, Namık Kemâl ve Vatan Sevgisi , Tekirdağ İl Basımevi, Tekirdağ 1937."
+92,92,14/06/2023 tarihinde https://ataturkansiklopedisi.gov.tr/bilgi/namik-kemal-1840-1888/?pdf=3932 adresindenerişilmiştir

temp/e077ededc99f2684258e363f44913e32.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:c8fbdc82bf42ad750c47a02a2d561d04ad7c9ff3c4975f5b92e683ab966b884a
+size 55458

temp/e077ededc99f2684258e363f44913e32.csv

@@ -0,0 +1,10 @@
+,index,text
+0,0,"845-668-6613jobs@ nuravine.com1574 N Y -28 W est H urley , N Y 12491Job T itle: Embedded Systems EngineerLocation: New Y ork, USA (Remote)"
+1,1,"Salary: $70,000 - $80,000 per yearT ype: Full-time RemoteAbout Us:"
+2,2,"W e are Nuravine, a passionate and innovative company focused on revolutionizing indoor farming through IoTtechnology . Our mission is to make farming significantly more ef ficient, reducing the land needed for agriculture andpromoting reforestation. W e're not just about functionality; we see our systems as pieces of art that our customers willlove. W e're also looking towards the future, with ambitions to develop technology for use in outer space andterraforming."
+3,3,The Role:
+4,4,"W e're looking for a dedicated Firmware Developer to join our team. Y ou'll be working with real hardware systems,running tests, and writing firmware. This is a hands-on role where you'll have the opportunity to make a real impact onour product and, by extension, the future of farming."
+5,5,Responsibilities:
+6,6,"● Develop and implement firmware for our IoT devices● Collaborate with the team to optimize hardware systems through firmware● Conduct and assist in hardware testing through programming the firmware● Continually update and improve system functionality and ef ficiency● Use AI tools like ChatGPT to improve workflow● W rite reusable, flexible, and modular framework-style code at a high levelRequirements:"
+7,7,"● Degree in Computer Science, Electrical Engineering, or related field● Experience in firmware development● Knowledge of IoT technologies● Proficiency in C++ and experience with V isual Studio Code● Experience with ESP32 is a major plus● Strong problem-solving skills● Strong understanding of abstraction, object orientation, and structural programming● Passion for our mission to revolutionize farming and make the world a better placeWhy Join Us:"
+8,8,● Be part of a company that cares deeply about its product and its impact● W ork on innovative technology with real-world applications● Contribute to a sustainable future and the advancement of space technology● Join a passionate team that views our systems as functional pieces of art

webui.py

@@ -0,0 +1,155 @@
+import gradio as gr
+import xxhash
+from gradio.components import _Keywords
+
+from ai import AI
+from config import Config
+from contents import *
+from storage import Storage
+
+
+def webui(cfg: Config):
+    """Run the web UI."""
+    Webui(cfg).run()
+
+
+class Webui:
+    def __init__(self, cfg: Config):
+        self.cfg = cfg
+        self.ai = AI(cfg)
+
+    def _save_to_storage(self, contents, hash_id):
+        print(f"Saving to storage {hash_id}")
+        print(f"Contents: \n{contents}")
+        self.storage = Storage.create_storage(self.cfg)
+        if self.storage.been_indexed(hash_id):
+            return 0
+        else:
+            embeddings, tokens = self.ai.create_embeddings(contents)
+            self.storage.add_all(embeddings, hash_id)
+            return tokens
+
+    def _get_hash_id(self, contents):
+        return xxhash.xxh3_128_hexdigest('\n'.join(contents))
+
+    def run(self):
+        with gr.Blocks() as demo:
+
+            hash_id_state = gr.State()
+            init_page = gr.Column()
+            chat_page = gr.Column(visible=False)
+
+            with init_page:
+                with gr.Tab("url"):
+                    url_error_box = gr.Textbox(label="Input Error", visible=False)
+                    url_box = gr.Textbox(label="URL")
+                    url_submit_btn = gr.Button("Submit url", variant="primary")
+
+                    def submit(url):
+                        url = url.strip()
+                        if len(url) == 0:
+                            return {url_error_box: gr.update(value="Enter URL", visible=True)}
+                        try:
+                            print(f"Crawling URL {url}")
+                            content, lang = web_crawler_newspaper(url)
+                            if len(content) == 0:
+                                return {url_error_box: gr.update(value="Can not crawl this url", visible=True)}
+                            hash_id = self._get_hash_id(content)
+                            self._save_to_storage(content, hash_id)
+                        except Exception as e:
+                            return {url_error_box: gr.update(value=str(e), visible=True)}
+                        return {
+                            url_error_box: gr.update(visible=False),
+                            url_box: gr.update(value=""),
+                            init_page: gr.update(visible=False),
+                            chat_page: gr.update(visible=True),
+                            hash_id_state: hash_id
+                        }
+
+                    url_submit_btn.click(
+                        submit,
+                        [url_box],
+                        [init_page, url_error_box, chat_page, url_box, hash_id_state],
+                    )
+
+                with gr.Tab("file"):
+                    file_error_box = gr.Textbox(label="Input Error", visible=False)
+                    file_box = gr.File(label="File", file_types=["pdf", "txt", "docx"])
+                    file_submit_btn = gr.Button("Submit file", variant="primary")
+
+                    def submit(file):
+                        url = file.name
+                        if url.endswith('.pdf'):
+                            contents, lang = extract_text_from_pdf(url)
+                        elif url.endswith('.txt'):
+                            contents, lang = extract_text_from_txt(url)
+                        elif url.endswith('.docx'):
+                            contents, lang = extract_text_from_docx(url)
+                        else:
+                            return {file_error_box: gr.update(value="Can not read this file", visible=True)}
+
+                        if len(contents) == 0:
+                            return {file_error_box: gr.update(value="Empty file", visible=True)}
+                        hash_id = self._get_hash_id(contents)
+                        self._save_to_storage(contents, hash_id)
+
+                        return {
+                            init_page: gr.update(visible=False),
+                            chat_page: gr.update(visible=True),
+                            file_box: gr.update(value=_Keywords.NO_VALUE),
+                            file_error_box: gr.update(visible=False),
+                            hash_id_state: hash_id
+                        }
+
+                    file_submit_btn.click(
+                        submit,
+                        [file_box],
+                        [init_page, chat_page, file_box, file_error_box, hash_id_state],
+                    )
+
+            with chat_page:
+                with gr.Row():
+                    with gr.Column():
+                        chatbot = gr.Chatbot()
+                        kw_box = gr.Dataset(components=[gr.Textbox(visible=False)],
+                                            label="Query keywords",
+                                            samples=[],
+                                            visible=False,
+                                            )
+                        msg = gr.Textbox(label="Query")
+                        submit_box = gr.Button("Submit", variant="primary")
+                        reset_box = gr.Button("Reset")
+                    with gr.Column():
+                        dataset_box = gr.Dataset(components=[gr.Textbox(visible=False)],
+                                                 label="Context",
+                                                 samples=[],
+                                                 visible=False,
+                                                 )
+
+                def respond(message, chat_history, hash_id):
+                    kw = self.ai.get_keywords(message)
+                    if len(kw) == 0 or hash_id is None:
+                        return "", chat_history
+                    _, kw_ebd = self.ai.create_embedding(kw)
+                    ctx = self.storage.get_texts(kw_ebd, hash_id)
+                    print(f"Context: \n{ctx}")
+                    bot_message = self.ai.completion(message, ctx)
+                    chat_history.append((message, bot_message))
+                    return "", chat_history, dataset_box.update(samples=[[item] for item in ctx][:20], visible=True), \
+                        kw_box.update(samples=[[item.strip()] for item in kw.split(',')], visible=True)
+
+                def reset():
+                    return {
+                        init_page: gr.update(visible=True),
+                        chat_page: gr.update(visible=False),
+                        chatbot: gr.update(value=[]),
+                        msg: gr.update(value=""),
+                        hash_id_state: None,
+                    }
+
+                msg.submit(respond, [msg, chatbot, hash_id_state], [msg, chatbot, dataset_box, kw_box])
+                submit_box.click(respond, [msg, chatbot, hash_id_state], [msg, chatbot, dataset_box, kw_box])
+                reset_box.click(reset, None, [init_page, chat_page, chatbot, msg, dataset_box, hash_id_state])
+        demo.title = "Chat Web"
+        #demo.launch(server_port=self.cfg.webui_port, server_name=self.cfg.webui_host, show_api=False)
+        demo.launch(share=True)