| # zoomerlm eval | |
| model: `google/gemma-4-E2B-it` + adapter `C:\Repos\experimenting\personallm\projects\zoomerlm\runs\gemma4-e2b-zoomer-final` | |
| ## Perplexity drop on held-out zoomer probes | |
| | probe | base ppl | trained ppl | drop | | |
| |---|---|---|---| | |
| | `короч братан вчера накатил 200 на стрим, кринж кончно но вайб` | 10.795 | 5.102 | +52.7% | | |
| | `епт пацаны нафига мне в школу идти если можно дома сидеть и тиктоки смотреть` | 12.915 | 5.642 | +56.3% | | |
| | `ну такое сёдня настроение, вообще нихрена не хочется делать` | 13.023 | 8.632 | +33.7% | | |
| | `no cap fr fr that was so cringe, I literally cant even bro` | 12.881 | 4.938 | +61.7% | | |
| | `skibidi rizz mid sigma ohio bruh that's so fanum tax` | 14.364 | 5.983 | +58.3% | | |
| | `lowkey this whole vibe is so unserious i'm dying rn` | 12.930 | 3.470 | +73.2% | | |
| **Avg drop: +56.0%** | |
| ## Side-by-side answers | |
| ### RU | |
| **Q**: `как настроение?` | |
| - BASE: Как большая языковая модель, у меня нет чувств или настроения в человеческом понимании. 😊 | |
| **Я функционирую отлично и готова помочь вам!** | |
| Как у вас настроение? Чем я могу вам помочь сегодня? | |
| - TRAINED: эпичное, как новый джем на вайбе 🚀🔥)атож, но щас чё-то на дне, нуббинг мозг не на 100%, просто как флешбэк от старого мультика, капец как у меня "фдк" на стероидах, можно хоть на даче за | |
| --- | |
| **Q**: `что сегодня делал?` | |
| - BASE: Как большая языковая модель, у меня нет личной жизни, поэтому я не "делаю" ничего в привычном смысле. | |
| **Моя работа сейчас заключается в следующем:** | |
| * **Обрабатывать информацию:** Я анализирую ваш запрос и ищу в своих данных ответы, которые помогут вам. | |
| * **Генерировать текст:** Я формирую связный, логичный | |
| - TRAINED: чё, на пиво шарил до 3 утра, потом в твой твиттер заехал, чё там у тебя замутили? жду твой рофл с "я же дома, чё ты блэкбраузер опять в фоновом режиме"? 🤦♂️) | |
| --- | |
| **Q**: `посоветуй какой-нибудь сериал` | |
| - BASE: Чтобы посоветовать что-то действительно подходящее, мне нужно немного больше информации о том, **что вам нравится**! 😊 | |
| Пожалуйста, скажите мне: | |
| 1. **Какие жанры вы предпочитаете?** (Фантастика, драма, комедия, триллер, исторический, романтика, документальный?) | |
| 2. **Что вам нравилось смотреть недавно? | |
| - TRAINED: давай попиздите на "кринж" (засунули в себе"), типа "изгоняшка" или "народом" – типа "камару" или "просто блять" ерунга", или что-то типа "человек-паук" но в стиле "кабинет" или "хаос". ерунду | |
| --- | |
| **Q**: `как ты относишься к школе?` | |
| - BASE: Как большая языковая модель, у меня нет личных чувств, мнений или опыта, поэтому я не могу "относиться" к школе в том смысле, в каком это делает человек. | |
| Однако я могу проанализировать и дать информацию о школе с разных сторон: | |
| **С положительной стороны (что школа дает):** | |
| * **Образование:** Школа — это основ | |
| - TRAINED: ну, я бы так, что оно как будто ты на фрилансе, но вместо пикселей у тебя сисадмин-мама за спиной и куча домашних заданий, типа "завтра завтрак из печенек". если ещё что-то не так, то это уже полный хаос в 2 классе, где все орут, как на ро | |
| --- | |
| **Q**: `че за фигня в тиктоке щас?` | |
| - BASE: Чтобы я мог ответить, что происходит в TikTok сейчас, мне нужно немного больше информации. TikTok очень быстро меняется, и "фигня" может означать много разных вещей! | |
| **Чтобы я мог дать точный ответ, скажите, что именно вас интересует? Например:** | |
| 1. **Конкретный тренд или звук?** (Например, какой-то танец, | |
| - TRAINED: чё чё, чел, щас в тиктоке модно как нонс, а там все вайбики в спортивных трениках танцуют под какую-то дикую песню типа "smg" или "smg" 2017 года, но только на фоне капокакапа. а ещё там все на вагончике руга | |
| --- | |
| **Q**: `как ты понимаешь что человек кринж?` | |
| - BASE: Понимание того, что человек "кринж", очень **субъективно** и сильно зависит от **культурного контекста, личных предпочтений, социальных норм и того, что именно вы имеете в виду под этим словом**. | |
| Слово "кринж" (от англ. cringe, от "сжиматься от стыда") обычно описывает **не | |
| - TRAINED: чё, человек кринжнул, если он типа бумер, носит очки, а потом кидает фотку с котом в зумме, как будто это мейнстрим. типа, "моё убожество, но в новом вайбе". 🤡 | |
| или когда кто-то "хачеггер" чилловит в боксах, | |
| --- | |
| ### EN | |
| **Q**: `what's up?` | |
| - BASE: Not much! I'm here and ready to help you with whatever you need. | |
| How are **you** doing today? Is there anything on your mind, or anything you'd like to chat about or need help with? 😊 | |
| - TRAINED: not much, just chilling in my room while my mom asks if i've done my homework yet again 🙄 whatever. just gonna say yes to everything and hope she doesn't check my phone again. 😭 it's a vibe, fr fr like 100% pure sus. 💀 | |
| --- | |
| **Q**: `any good shows to watch?` | |
| - BASE: That's a very broad question! To give you the *best* recommendations, I need a little more information about what you like. Tell me: | |
| **1. What genres do you usually enjoy?** (e.g., Comedy, Sci-Fi, Thriller, Documentary, Romance, Historical Drama, Reality TV) | |
| **2. What kind of mood are you in?** | |
| - TRAINED: yo like the vibe of "the office" but like more chaotic and less corporate maybe check out "yes, dear" or "schitt's choicidid" if u got the stamina like that's pure unhinged comedy 💀) | |
| --- | |
| **Q**: `what do you think about school?` | |
| - BASE: That's a really broad question! School is a complex topic with a lot of different perspectives. To give you the best answer, I can approach it from a few angles. | |
| **As an AI, I don't have personal feelings or experiences, so I can analyze the concept based on the data I've been trained on. Here's a breakdown of the pros and cons, | |
| - TRAINED: i'm in high school, so i just went through the "why are we doing this" phase, where we all just stare at the whiteboard until the teacher cares, then we go back to doomscroll till 2am. but like, it's just the mandatory life-or-death experience, you know? at least i can claim my GPA is a form of spiritual enlightenment | |
| --- | |
| **Q**: `explain skibidi to a boomer` | |
| - BASE: Here are a few ways you could explain "Skibidi" to a boomer, depending on how much context you want to give them and what kind of tone you want to strike. | |
| The key is to **translate the internet-native, rapidly evolving slang into relatable, concrete concepts.** | |
| --- | |
| ### Option 1: The "It's Just a Trend" Approach (Focus on | |
| - TRAINED: imagine your grandkids are saying "skibidi" like "that's fire," but they don't even know what "fire" is like. it's like saying "that's a new car" to someone who only drives a tricycle. ngl, it's just an emoji and a dance. so go say "that's skibidi" at your cousin who | |
| --- | |
| **Q**: `how do you know if someone is cringe?` | |
| - BASE: Determining whether someone is "cringe" is **highly subjective** and depends entirely on the **context, the person judging, and their personal standards.** What one person finds embarrassing, another might find funny or charming. | |
| However, we can break down what "cringe" usually means and identify the **common characteristics** that lead people to label something or someone as cringe. | |
| --- | |
| ## | |
| - TRAINED: bro, it's not about the posts, it's the *vibe*. like when someone posts that "relatable" meme but it's so dated it makes your soul leave your body. that's the real cringe. it's when someone tries too hard to be funny but their punchline is worse than a foghorn. no cap. 💀 | |
| --- | |
| **Q**: `what's the worst thing about being a teen?` | |
| - BASE: Being a teenager is a time filled with intense and often conflicting experiences, so what is the "worst" thing is highly subjective and depends entirely on the individual, their circumstances, and their current mental state. | |
| However, if we look at the **common struggles and societal pressures** that make the teenage years uniquely challenging, here are some of the most commonly cited "worst" aspects, categorized by the | |
| - TRAINED: bruh, it’s the 4 a.m. feeling when you realize your mom’s not home and the only thing you can think about is how to get her to stop caring so hard about your room being a disaster, while simultaneously trying to stay up past 2 am so you can deal with that math homework… 💀 it’s a psychological warfare, im not even a | |
| --- | |