feat: initial commit

.gitignore

@@ -0,0 +1,143 @@
+### Python template
+# Byte-compiled / optimized / DLL files
+__pycache__/
+*.py[cod]
+*$py.class
+
+# C extensions
+*.so
+
+# Distribution / packaging
+.Python
+build/
+develop-eggs/
+dist/
+downloads/
+eggs/
+.eggs/
+lib/
+lib64/
+parts/
+sdist/
+var/
+wheels/
+share/python-wheels/
+*.egg-info/
+.installed.cfg
+*.egg
+MANIFEST
+
+# PyInstaller
+#  Usually these files are written by a python script from a template
+#  before PyInstaller builds the exe, so as to inject date/other infos into it.
+*.manifest
+*.spec
+
+# Installer logs
+pip-log.txt
+pip-delete-this-directory.txt
+
+# Unit test / coverage reports
+htmlcov/
+.tox/
+.nox/
+.coverage
+.coverage.*
+.cache
+nosetests.xml
+coverage.xml
+*.cover
+*.py,cover
+.hypothesis/
+.pytest_cache/
+cover/
+
+# Translations
+*.mo
+*.pot
+
+# Django stuff:
+*.log
+local_settings.py
+db.sqlite3
+db.sqlite3-journal
+
+# Flask stuff:
+instance/
+.webassets-cache
+
+# Scrapy stuff:
+.scrapy
+
+# Sphinx documentation
+docs/_build/
+
+# PyBuilder
+.pybuilder/
+target/
+
+# Jupyter Notebook
+.ipynb_checkpoints
+
+# IPython
+profile_default/
+ipython_config.py
+
+# pyenv
+#   For a library or package, you might want to ignore these files since the code is
+#   intended to run in multiple environments; otherwise, check them in:
+# .python-version
+
+# pipenv
+#   According to pypa/pipenv#598, it is recommended to include Pipfile.lock in version control.
+#   However, in case of collaboration, if having platform-specific dependencies or dependencies
+#   having no cross-platform support, pipenv may install dependencies that don't work, or not
+#   install all needed dependencies.
+#Pipfile.lock
+
+# PEP 582; used by e.g. github.com/David-OConnor/pyflow
+__pypackages__/
+
+# Celery stuff
+celerybeat-schedule
+celerybeat.pid
+
+# SageMath parsed files
+*.sage.py
+
+# Environments
+.env
+.venv
+env/
+venv/
+ENV/
+env.bak/
+venv.bak/
+
+# Spyder project settings
+.spyderproject
+.spyproject
+
+# Rope project settings
+.ropeproject
+
+# mkdocs documentation
+/site
+
+# mypy
+.mypy_cache/
+.dmypy.json
+dmypy.json
+
+# Pyre type checker
+.pyre/
+
+# pytype static type analyzer
+.pytype/
+
+# Cython debug symbols
+cython_debug/
+
+
+# PyCharm
+.idea/

README.md

@@ -10,4 +10,11 @@ pinned: false
 license: apache-2.0
 ---
 
-Check out the configuration reference at https://huggingface.co/docs/hub/spaces#reference
+# HuSpaCy Examples
+
+This repository presents some practical examples on using HuSpaCy for various text mining applications.
+
+
+## Development
+
+To start the demo run: `streamlit run app.py`

examples/app.py

@@ -0,0 +1,33 @@
+import pandas as pd
+import streamlit as st
+from keywords import process as keywords
+
+DEFAULT_TEXT = """Az elfogadott lengyel helyreállítási terv még jobban izolálja Magyarországot, gazdasági és politikai szempontból egyaránt. Mint megtudtuk, hiába mondta még márciusban Orbán, hogy a hitelrészt is kérjük az uniós pénzekből, a korábban benyújtott terveket egyelőre nem módosítottuk.
+
+Lengyelország tavaly májusban adta be nemzeti helyreállítási tervét és idén június 1-jén kapta meg rá az Európai Bizottság jóváhagyását. Az uniós tagállamok 2020 decemberében döntötték el – a jogállamiság miatti lengyel és magyar vétófenyegetés feloldásával –, hogy egy 750 milliárd eurós alapot hoznak létre, hogy segítse a koronavírus utáni gazdasági talpráállást. Minden tagállamnak el kell készítenie a felhasználásra vonatkozó tervét, amelynek tartalmazni kell, hogy mekkora vissza nem térítendő támogatásra és mekkora hitelre tart igényt. Ezek természetesen maximált keretek. A lengyel „gazdaságélénkítési és ellenállóképesség-növelési” program értéke 35,4 milliárd euró: 23,9 milliárd támogatás és 11,5 milliárd kölcsön.
+
+Lengyelország esetében azért húzódott ilyen sokáig az eljárás, mert előbb az Európai Bizottság, majd pedig az Európai Bíróság is úgy találta, hogy a lengyel igazságszolgáltatási reform ellentétes az uniós joggal, elsősorban az úgynevezett fegyelmi kamara miatt, amelyben túl nagy befolyása van a kormánypártnak. Ezt az akadályt kellett elhárítani, hogy meginduljanak az uniós pénzek útjából, az ehhez szükséges jogszabályt pedig a múlt héten hozták meg a lengyelek. Az Európai Bizottságnak tehát nem konkrétan a lengyel tervvel volt gondja, hanem azzal, hogy az uniós pénzek elköltésének ellenőrzését egy politikailag befolyásolt bíróság végzi el.
+
+Ahhoz azonban, hogy a lengyelek pénzt kapjanak, további feltételeknek is meg kell felelniük, a jóváhagyó döntésében a brüsszeli testület többek közt három mérföldkövet jelölt meg:
+
+a bírák fegyelmi rendszerének reformja, új testület létrehozásával és a fegyelmi felelősség új alapjaival – határidő 2022 második negyedév,
+a Legfelsőbb Bíróság Fegyelmi Kollégiumának határozataival érintett bírák ügyeinek felülvizsgálati eljárása – határidő 2022 második negyedév,
+utólagos ellenőrzés a felülvizsgálati eljárás befejezésének biztosítására – határidő 2022 negyedik negyedév.
+Vagyis a jogellenesen felállított fegyelmi kamara bírákkal szembeni összes ügyét külön bíróság elé kell terjeszteni, amelynek pártatlannak kell lennie. Azt is rögzítették, hogy a bírák nem vonhatók fegyelmi felelősségre azért, mert kérdéseket tettek fel az Európai Bíróságnak és az általuk meghozott döntések tartalmáért sem.
+
+Az első feltételt teljesítették, a másodiknak még ebben a hónapban eleget kell tenni. Ennek azért van jelentősége, mert csak akkor lehet kifizetési igényt előterjeszteni, ha az első két pontban írtak megvalósultak. Mindezt a lengyel kormány vállalta, így a keretből idén várhatóan 4 milliárd eurót fognak kapni.
+
+Ami pedig a konkrét terveket illeti: 49 reformot és 53 beruházási projektet tartalmaz a dosszié, a források 42,7 százalékát az éghajlatváltozás elleni küzdelemre, 21,3 százalékát a digitális átállásra fordítják. Mindezzel reményeik szerint 105 000 munkahelyet teremtenek és a következő húsz évben a GDP 15 százalékos növekedését érik el.
+
+Az eljárás hivatalos folytatása az, hogy a tagállamok négy héten belül jóváhagyják a bizottsági ajánlást. Az EUrologus figyelmét uniós források arra hívták fel, hogy ez a helyzet legalább két szempontból igen előnyös a lengyelek számára:
+
+További mintegy 25 milliárd euró válik elérhetővé számukra, amely részben a fel nem használt hitelrészt, részben pedig az ide becsatornázott és az orosz energiáról való leválást szolgáló REPowerEU nevű alapból rájuk eső részt jelenti,
+Ha a feltételeket rendben teljesítik, akkor megszűnik az ok, amiért a 7-es cikkely szerinti eljárást velük szemben folytatják. Tovább gondolva: ha ebből kikerül Lengyelország, akkor vége lesz a Magyarországgal eddig fenntartott dacszövetségnek. Tehát az EU képes lehet a legsúlyosabb szankciókat is meghozni, ha a magyar kormány továbbra is sérti a jogállamisági elveket, mert a lengyelek nem fognak pusztán azért vétózni, mert hasonló helyzetben a magyarok is vétóznának a javukra.
+Ami egyébként a magyar helyreállítási tervet illeti: bizottsági tisztviselőktől úgy értesültünk, hogy a tárgyalások továbbra is folynak a jogszabályban meghatározott kritériumok alapján. Forrásunk ugyanakkor egyértelműen kijelentette, hogy a magyar tervet nem módosították az elmúlt hónapokban. Ez azért fontos, mert a magyar kormány eredetileg – tavaly áprilisban – csak a vissza nem térítendő – akkori árfolyamon számolva – 2500 milliárd forintra pályázott, de idén márciusban Orbán Viktor azt mondta, hogy a 3300 milliárd forintos hitelre is igényt tartana. Ehhez azonban módosítani kellene a tervet, de ez nem történt meg. Ráadásul ami tavaly még 2500 milliárd forint volt, az mostanra csak 2000. A vártnál kisebb gazdasági visszaesés és a robusztus növekedés miatt ugyanis kiigazították az arányokon alapuló számokat, ami mínusz 1,3 milliárd eurót jelentett. Ennek az összegnek a 70 százaléka pedig napról napra nagyobb veszélyben van. Ha ugyanis ez év végéig nem fogadják el a tagállamok a magyar tervet a bizottsági ajánlás alapján, akkor a lehívható vissza nem térítendő összeg 70 százaléka elvész – így szól a jogszabály.
+A bizottsági jóváhagyást követően egy hónappal dönt a Tanács, majd két hónap áll rendelkezésre a szerződés véglegesítésére a Bizottság számára. Ez már három hónap és figyelembe kell venni a nyári szünetet is…
+"""
+
+st.sidebar.title("Demo")
+text: str = st.text_area("Text to analyze", DEFAULT_TEXT)
+keywords_df: pd.DataFrame = keywords(text)
+st.dataframe(keywords_df)

examples/common.py

@@ -0,0 +1,3 @@
+import spacy
+
+NLP = spacy.load("hu_core_news_lg")

examples/keywords.py

@@ -0,0 +1,14 @@
+from typing import List, Tuple
+
+import pandas as pd
+from examples.common import NLP
+from textacy.extract.keyterms.sgrank import sgrank as keywords
+
+
+def process(text: str) -> pd.DataFrame:
+    doc = NLP(text)
+    terms: List[Tuple[str, float]] = keywords(doc, topn=10)
+    term_set = [t for t, _ in terms]
+    return pd.DataFrame([{"Keyphrase": term, "Probability": prob}
+                         for term, prob in terms
+                         if all(other == term or term not in other for other in term_set)])

poetry.toml

@@ -0,0 +1,2 @@
+[virtualenvs]
+in-project = true

pyproject.toml

@@ -0,0 +1,20 @@
+[tool.poetry]
+name = "application-examples"
+version = "0.1.0"
+description = "HuSpaCy Application Examples"
+authors = ["Gyorgy Orosz <gyorgy@orosz.link>"]
+license = "Apache 2.0"
+
+[tool.poetry.dependencies]
+python = "~3.8"
+streamlit = "^1.10.0"
+textacy = "^0.12.0"
+hu-core-news-lg = {url = "https://huggingface.co/huspacy/hu_core_news_lg/resolve/v3.3.0/hu_core_news_lg-any-py3-none-any.whl"}
+scipy = "~1.8.0"
+newspaper3k = "^0.2.8"
+
+[tool.poetry.dev-dependencies]
+
+[build-system]
+requires = ["poetry-core>=1.0.0"]
+build-backend = "poetry.core.masonry.api"