KIZZPER/pandas-so-section-classifier

Классификатор вопросов про pandas по разделам документации

distilroberta-base, дообученная определять по вопросу StackOverflow (заголовок + текст + код) один из 10 разделов документации pandas.

Вход: f"{title}\n\n{text}\n\n{code}", до 512 токенов.

Классы

• io — Чтение и запись файлов: https://pandas.pydata.org/docs/user_guide/io.html
• indexing — Индексация и выборка: https://pandas.pydata.org/docs/user_guide/indexing.html
• groupby — Groupby и агрегация: https://pandas.pydata.org/docs/user_guide/groupby.html
• merging — Объединение таблиц: https://pandas.pydata.org/docs/user_guide/merging.html
• reshaping — Изменение формы: https://pandas.pydata.org/docs/user_guide/reshaping.html
• timeseries — Даты и временные ряды: https://pandas.pydata.org/docs/user_guide/timeseries.html
• text — Строки (.str): https://pandas.pydata.org/docs/user_guide/text.html
• missing — Пропуски (NaN): https://pandas.pydata.org/docs/user_guide/missing_data.html
• dtypes — Типы данных: https://pandas.pydata.org/docs/user_guide/basics.html#dtypes
• apply — apply / map: https://pandas.pydata.org/docs/user_guide/basics.html#function-application

Качество на test (7 285 вопросов, ноябрь 2022 – август 2026, разбиение по времени)

accuracy	macro-F1	top-3 accuracy
0.865	0.808	0.977

Код, эксперименты и отчёты: репозиторий проекта (см. README).

Обучено на вопросах и ответах StackOverflow, которые распространяются по лицензии CC BY-SA 4.0. Источник данных: Stack Exchange Data Explorer.