Create app.py

app.py

@@ -0,0 +1,151 @@
+import gradio as gr
+import nltk
+from nltk.tokenize import sent_tokenize, word_tokenize
+from nltk.corpus import stopwords, wordnet, brown
+from nltk.stem import PorterStemmer, WordNetLemmatizer
+from nltk import pos_tag, ne_chunk, ngrams
+from nltk.collocations import BigramCollocationFinder
+from nltk.classify import NaiveBayesClassifier
+from nltk.corpus import movie_reviews
+import random
+
+# Tải các tài nguyên cần thiết
+nltk.download('punkt')
+nltk.download('punkt_tab')
+nltk.download('averaged_perceptron_tagger')
+nltk.download('maxent_ne_chunker')
+nltk.download('words')
+nltk.download('stopwords')
+nltk.download('wordnet')
+nltk.download('brown')
+nltk.download('movie_reviews')
+
+# Khởi tạo các công cụ
+stemmer = PorterStemmer()
+lemmatizer = WordNetLemmatizer()
+stop_words = set(stopwords.words('english'))
+
+# Hàm huấn luyện classifier đơn giản
+def train_classifier():
+    pos_reviews = [({"word": word}, 'positive') for word in movie_reviews.words('pos')[:100]]
+    neg_reviews = [({"word": word}, 'negative') for word in movie_reviews.words('neg')[:100]]
+    train_set = pos_reviews + neg_reviews
+    random.shuffle(train_set)
+    return NaiveBayesClassifier.train(train_set)
+
+classifier = train_classifier()
+
+# Hàm chính xử lý các chức năng
+def nlp_tool(input_text, function):
+    if not input_text:
+        return "Vui lòng nhập văn bản!"
+
+    if function == "Sentence Tokenization":
+        return "\n".join(sent_tokenize(input_text))
+    
+    elif function == "Word Tokenization":
+        return "\n".join(word_tokenize(input_text))
+    
+    elif function == "Part-of-Speech Tagging":
+        words = word_tokenize(input_text)
+        return "\n".join([f"{word}: {tag}" for word, tag in pos_tag(words)])
+    
+    elif function == "Stemming":
+        words = word_tokenize(input_text)
+        return "\n".join([stemmer.stem(word) for word in words])
+    
+    elif function == "Lemmatization":
+        words = word_tokenize(input_text)
+        return "\n".join([lemmatizer.lemmatize(word) for word in words])
+    
+    elif function == "Remove Stop Words":
+        words = word_tokenize(input_text)
+        return "\n".join([word for word in words if word.lower() not in stop_words])
+    
+    elif function == "Named Entity Recognition":
+        words = word_tokenize(input_text)
+        pos_tags = pos_tag(words)
+        entities = ne_chunk(pos_tags)
+        return str(entities)
+    
+    elif function == "Text Classification":
+        words = word_tokenize(input_text)
+        result = classifier.classify({word: True for word in words})
+        return f"Sentiment: {result}"
+    
+    elif function == "N-grams (Bigrams)":
+        words = word_tokenize(input_text)
+        bigrams = list(ngrams(words, 2))
+        return "\n".join([f"{w1} - {w2}" for w1, w2 in bigrams])
+    
+    elif function == "Collocations":
+        words = word_tokenize(input_text)
+        finder = BigramCollocationFinder.from_words(words)
+        collocations = finder.nbest(nltk.collocations.BigramAssocMeasures().pmi, 5)
+        return "\n".join([f"{w1} - {w2}" for w1, w2 in collocations])
+    
+    elif function == "WordNet Synsets":
+        words = word_tokenize(input_text)
+        first_word = words[0] if words else ""
+        synsets = wordnet.synsets(first_word)
+        if synsets:
+            return f"Definition: {synsets[0].definition()}\nExamples: {synsets[0].examples()}"
+        return "Không tìm thấy từ trong WordNet!"
+    
+    elif function == "Sample from Brown Corpus":
+        return " ".join(brown.words()[:50])
+    
+    return "Chức năng chưa được triển khai!"
+
+# Tạo giao diện Gradio
+with gr.Blocks(theme=gr.themes.Soft()) as demo:
+    gr.Markdown(
+        """
+        # Công cụ xử lý ngôn ngữ tự nhiên với NLTK
+        Nhập văn bản và chọn chức năng để khám phá các khả năng của NLTK!
+        """
+    )
+    
+    with gr.Row():
+        with gr.Column(scale=1):
+            input_text = gr.Textbox(
+                label="Nhập văn bản",
+                placeholder="Ví dụ: I love coding in Python.",
+                lines=5
+            )
+            function_dropdown = gr.Dropdown(
+                label="Chọn chức năng",
+                choices=[
+                    "Sentence Tokenization",
+                    "Word Tokenization",
+                    "Part-of-Speech Tagging",
+                    "Stemming",
+                    "Lemmatization",
+                    "Remove Stop Words",
+                    "Named Entity Recognition",
+                    "Text Classification",
+                    "N-grams (Bigrams)",
+                    "Collocations",
+                    "WordNet Synsets",
+                    "Sample from Brown Corpus"
+                ],
+                value="Sentence Tokenization"
+            )
+            submit_btn = gr.Button("Xử lý", variant="primary")
+        
+        with gr.Column(scale=2):
+            output_text = gr.Textbox(
+                label="Kết quả",
+                lines=10,
+                interactive=False
+            )
+    
+    # Kết nối nút bấm với hàm xử lý
+    submit_btn.click(
+        fn=nlp_tool,
+        inputs=[input_text, function_dropdown],
+        outputs=output_text
+    )
+
+# Chạy giao diện
+demo.launch()