Mockingbird Shares

Архітектура МоЕ — 🔤🔤🔤🔤, зустрічайте Mixture of Kittens (ага, мікстура кошенят) 🙄🙄🙄Cursor дуже люблять MoE та використовують у своїх моделях Composer, але є в архітектури один неприємний недолік: для обробки кожного токена модель обирає кількох «експертів», які можуть працювати на різних карточках, через що для відповіді GPU постійно надсилають туди-сюди токени, на що витрачається половина часу на обробку відповіді.Ну типу уявіть собі, що ви питаєте в моделі «Що таке Пітон?» — один експерт краще знається на програмуванні, інший — на тваринах, а третій узагалі готовий написати, що деякі хлопці так називають свого 👁👁👁. І поки вони обробляють ваш запит, токени переганяються від відеокарти до відеокарти й назад.Що пропонує MoK: 🪙 На різних етапах система сама обирає, що швидше: забрати дані з іншої відеокарти чи надіслати їх туди;🪙 Частина ресурсів відеокарти займається обчисленнями, а інша — передаванням даних, щоб ці процеси йшли одночасно;🪙 Дані тимчасово складаються в спеціальну «чергу по колу», тому центральному процесору не потрібно постійно контролювати кожну операцію;🪙 За однакових вхідних даних система завжди видає абсолютно однаковий результат. Це важливо, щоб коректно порівнювати експерименти та навчати моделі;🪙 Як приємний бонус: навчання моделі з такою архітектурою на 41% швидше, а працюють вони у 2.37 разів швидше за інші рішення.Ну й назва мемна, йеап.ооо збір прямо нормально закривається (залишилося 47 213.4)

сьогодні, кажуть, згоріли ще 8 мільйонів українських книжок. епістеміцид (по-їхньому) або інтелектуальний геноцид (по-нашому, словами Олекси Тихого) – це системне знищення джерел знання і способів знати. коли можуть, палять книжки, коли цього мало, – людей. у нашому випадку, звісно, маємо багаторічну історію російського імперіалізму, який береться нищити і те, і те.епістеміцид вирізняється від інших форм епістемічного насильства тим, що має на меті унеможливити думку як таку. жоден світогляд не може існувати, якщо це не світогляд росіян. жодне пізнання не може відбуватися без їхнього посередництва. нічого не може бути зрозумілим, крім того, що пояснюють росіяни. «Ранок», по складах якого завданий новий удар, – це найбільший постачальник шкільних підручників. росіяни нагадують, що українських підручників, – та й українських шкіл, видавництв чи бібліотек, а загалом і українських дітей – у проєкті їхньої імперії існувати не може. вони прагнуть встановити російську монополію на знання.тож купуймо й читаймо українські книжки. а головне – живімо й думаймо вільно.

Це розслідування про 143 обʼєкти нерухомості брата директора ДБР Олексія Сухачова готували спільно журналісти «Слідства.Інфо» та «Центру протидії корупції». Але 6 липня Печерський районний суд Києва заборонив оприлюднювати його. Заборона викликала суспільний резонанс. На підтримку колег «Українська правда», Суспільне, «Схеми» (Радіо Свобода), «Громадське», Дзеркало тижня, NV, Bihus.Info та Телебачення Торонто обʼєдналися в «Ініціативу 143» та одночасно опублікували текст розслідування. «Колеги ризикують, публікуючи заборонене розслідування, адже якщо представники влади пішли на такий крок із придушення свободи слова відносно нашої редакції та ЦПК, що зупинить їх від тиску на інших? Я щиро вдячна колегам за такий прояв солідарності. Це демонстрація того, що ми всі гуртуємося навколо однакових цінностей — правди, свободи слова, якісної журналістики», — зазначила редакторка-засновниця «Слідства.Інфо» Анна Бабінець. Отже про те, як брату Олексія Сухачова вдалося зібрати колекцію зі 143 обʼєктів за ціною смартфона у двох харківських ЖК, читайте за посиланням.

💫 Представляю нарешті нашу статтю як ми робили Лапу!Тут описано як ми взялись та вирішили 3 проблеми: неефективну токенізацію, брак якісних анотованих даних та відсутність датасетів для слідуванню інструкцій українською. Ми:1) трансфернули токенізатор завдяки роботі Богдана і Миколи2) переклад класифікаторів якості і фільтрація претрейну по якості та від дезінформації3) генерація даних для слідуванню інструкційБільше деталей у нашій статтіі Data-Efficient Adaptation of Multilingual LLMs to Ukrainian!Ми релізнули всі моделі, датасети та код для відтворення результатів.📖 Стаття: https://aclanthology.org/2026.unlp-1.14/👩‍💻 Код: https://github.com/lapa-llm/lapa-llm📚 Датасети та моделі тут: https://huggingface.co/collections/lapa-llm/lapa-v012-releaseДякую всім, з ким ми разом працювали безкоштовно у вільний від роботи час, деколи під час обстрілів і в безсонні ночі: Богдану Діденку, Миколі Гальтюку, Владиславу Гуменному,Андріану Кравченку, Роману Кислому, Вікторії Маковській, Артему Орловському, Богдану Рубану, Максиму Рудько, Анастасії Сеник, Назару Друщаку, Дмитру Чаплинському та Марʼяні Романишин.Також дякую стартапу Comand.AI за обчислювальні ресурси, ELEKS за підтримку через грант памʼяті Олексія Скрипника, проекту Talents for Ukraine від КШЕ, EuroHPC та PLGrid за компʼют на фінальних етапах та HuggingFace за безкоштовні корпоративні ліцензії. Також хочу подякувати Олексію Молчановському, Юрію Філіпчуку, Артуру Кюляну, Нікіті Тринусу, Марку Костіву та Олесю Добосевичу, які допомогли на різних етапах цього проекту.

Nah, I have to share some of my personal experiences for a second.I saw a few newer people in information security share some code, or ideas they had, on social media. They retracted their posts, or code, because of criticism they received. This wasn't one singular person, to my surprise I saw like, five noobies sharing stuff.Very cool.Let me tell you something, stinky new people: yes, people online are mean. They are very mean. I have been BOILED ALIVE by stinky nerds online. I have been called every synonym for idiot you can imagine over the past ... uhhh, 21 years of doing malware related stuff.And because this is the internet, and we're connected across the globe, I've had the pleasure of being called an idiot (or something similar) in English, Spanish, French, Russian, Mandarin, Hindi, Arabic, Portuguese, and more.While these people are not nice, I very sincerely recommend filtering out the negative verbiage and focusing on the underlying message (if applicable). It is a skill that you'll need to adapt and grow in this field. In the "hacker" sphere, intellectuality is like, the thingie people value the most (or at least claim to).Hence, if you share something it will be heavily critiqued. When you share something, whether you explicitly say it or not, you're inviting your peers for feedback. You WILL receive feedback, good or bad, and you will have to learn to handle it, process it, or learn from it.Someone say your code is trash? Good. That is an opportunity to improve.Someone criticize you for leaning heavily on AI? Good. Use AI as a tool to learn and stop using it as much.Someone misunderstood what you said and called you a bad name? Good. Use that as an opportunity to practice improving your phrasing and writing.Someone say your idea is repetitive and has been done before? Good, you discovered an idea for yourself, learned about an existing idea, and now you know how to find more ideas.

Disaster recovery це просто, особливо для тих, хто його ніколи не робив.Впав сервак, в тебе є другий. Впав дата-центр або availability zone, ти запускаєш резервний. Впав регіон, що буває дуже рідко, але provider має декілька регіонів, тому ми робимо мульти регіон. Ну а якщо впав вже провайдер, що майже ніколи не стається, тоді додаємо іншого провайдера.І такий сетап здається абсолютно bulletproof. Різні варіанти, ready standby, multi master і багато інших цікавих термінів з курсів про системний дизайн. Зробили і сидимо, скролимо твітер, та нічого не боїмось.От і Datadog так думали, пʼять регіонів по AWS, Azure і GCP. Аж поки ще у 2023-му вся ця краса не згасла одночасно. Не землетрус і не пожежа, а рутинний апдейт. Патч для systemd (програма, що керує сервісами на лінукс-серверах) рестартнув мережевий сервіс, а той має звичку викидати всі маршрути, які створив не він. Cilium (те, що будує мережу між контейнерами в кубернетесі) тримав свої правила маршрутизації подів просто в ядрі, systemd не впізнав їх як свої і повидаляв. Чому він це зробив? Тому що може, в лінуксі правила міняти дозволено будь-якому процесу.Звʼязок між нодами обірвався, і не в одному регіоні, а скрізь, бо апдейт викотився на всю гопотеку (40К серваків) в один і той самий момент.Про те, що прод лежить ти зазвичай дізнаєшся від Datadog, до того, як прибіжать юзери. А от коли падає сам Datadog, шо робити? Інженери діагностували і фіксили аварію як діди колись, через ручні SSH-сесії й консолі провайдерів. Розважались майже добу, поки воно не піднялось.І часом дуже добре, шо ти не Датадог.(деталі історії можна подивитись у цьому відео)

#Цікавий_фактБетонний акумулятор? Це правда чи фарс?Можливо ще давно ви бачили чи читали новину де в MIT покращили акумулятор з бетону в 10 разів, переробивши структуру. Коротко поясню саму суть технології:Використовується звичайний бетон, але через внутрішню форму та структуру яка створилась після застигання, а саме губчасту, він має своєрідні пори та канали дуже малих розмірів. І тут як в акумуляторах, використовуються електроди та електроліт, але в якості першого взяли сажу, а друге це солона вода. Сажа(дуже дрібний вуглець) як електрод є гідрофобним, тобто буде хімічно намагатись відходити від самої води, і заповнює собою ці пори всередині бетону, а вже сама вода як електроліт заповнює інші пустоти структури. Сіль хімічно розпадається (дисоціює) на вільні іони: позитивні іони калію K+ та негативні іони хлору Cl-. Вони вільно плавають у цих водних каналах прямо поруч із вуглецевою мережею сажі. Ну і далі робота при напрузі така сама як і в інших акумуляторах, єдине що великим плюсом є достатньо висока питома ємність енергії 2000 Вт⋅год на метр кубічний(або 2 Вт⋅год на літр). Ну і вся ця конструкція видає приблизно 3 В на банку, тому треба робити послідовне з'єднання.Так до чого тут бетон?Насправді такого дешевого та міцного матеріалу який всередині дозволяє зробити зручну губчасту структуру практично немає, а сама ідея виглядає відносно класно, адже бетон сам по собі ніяк не приймає участі в хімічній роботі, і є фактично ізолятором, але через свою дешевизну та міцність виступає як корпус. А враховуючи що бетон основа всіх будов, можна псіханути і зробити будинок ДБЖ, при тому що навіть ресурс буде дуже довгий, так ємність дуже низька в порівнянні з літієвим акумом, але ціна за умовні 10 кіловат на годину теоритично в рази менше. Сподіваюсь роз'яснив...Хата Радіотата

> be United States government> 1985> have a bunch of people they want arrested> idea.jpeg> make fake company> Flagship International Sports Television> send invites to a bunch of people> tickets to Washington Redskins FOR FREE!!!> name it Operation Flagship> mail tickets> now_we_wait.mp4> over 100 people show up for free tickets> arrest them> ez gg get rekt nerd> pause> fast forward> 2026> Drake doing concert tour thingy> free tickets for women named "Janice"> only in specific cities at specific times> when Janice arrives must show government id> Janice must be their legal first nameProbably not a United States government operation trying to identify and locate a fugitive or person they label an enemy of the United States. It is probably Drake just being silly and meme-y and wanting to ONLY INVITE women named Janice in New York, Los Angeles, Miami, Toronto, or Houston because of that oddly specific "Janice STFU" song he released previously this year.

Натрапив на пост про DBOS і трохи підвис: durable workflows прямо на Postgres, без Temporal, без окремого кластера, без команди, що його доглядає. Зачепило не новизною, а дежавю, бо це ж було вже в мене. Років з двадцять тому в дотнет завезли штуку під назвою Windows Workflow Foundation, рушій для довгих процесів з паузами між кроками. Це був розрив шаблону: візуальний редактор, малюєш квадратики і стрілочки, зʼєднуєш мишкою, і ось твій процес, наче й коду писати не треба. На демо це виглядало дуже круто і ми вирішили його спробувати.Але магія швидко закінчувалась. Весь цей красивий граф зберігався у лютому згенерованому XML, і щойно воркфлоу ставало кілька, а в них треба було щось додати чи відрефакторити, то виявилось, шо треба то все вручну проклікувати. Бо поміняти це в тексті було нереально, а ШІ агентів тоді ще не було. Тоді я вперше задумався, що треба працювати з кодом і текстом, бо його легко версіонувати і опрацьовувати наявними інструментами. І ці думки були не лише в мене: індустрія розвивалась в сторону винесення таких довготривалих процесів в код. Тепер в нас є Celery, Temporal, Airflow, Step Functions тощо. З ними приємно працювати, все в коді — чого ще треба?Проте в більшості випадків можна обійтись простішим рішенням, і може навіть шось напиляти самим на колінці. В тому ж самому проекті, шо я згадував вище, в нас був workflow процесор, що працював з SQL Server. Все зберігалось в табличках, транзакції, блокування та інші знайомі штуки дозволяли закрити наші потреби. В іншому проекті аби зменшити цінник AWS ми реалізували процеси на базі dynamodb і лямбд, зекономивши на step functions. Вийшло ефективне рішення, яке ще й було цікаво реалізувати і ним було зручно користуватись. Але наступного разу коли треба буде durable workflows, я мабуть спробую DBOS. Під капотом там та сама табличка зі станом, чекпойнт кожного кроку і SELECT ... FOR UPDATE SKIP LOCKED щоб воркери розбирали чергу не наступаючи один одному на ноги, тільки вже як готова бібліотека. Гарний компроміс між легкістю і необхідністю кастомної розробки. Бо своє пилити то звісно прикольно, проте не завжди ефективно. Єдиний недолік, шо я бачу — це не Redis :)А ви на чому крутите свої довгі процеси, на готових продуктах чи на самопалі?

Найприємніша категорія інженерних задач — ті, про які користувач навіть не здогадується. Ніхто не завів тікет, ніхто не страждав, продукт "просто працює", а десь під капотом команда все одно знайшла вузьке місце і прибрала його. AWS щойно опублікувала розбір того, як влаштована мережа під Lambda, і там таких історій ціла пачка.Контекст такий. Коли твоя Lambda підключена до VPC, її треба пустити в приватну мережу клієнта, а для цього між воркером і цією VPC підіймається Geneve-тунель. Підняти такий тунель коштує близько 150 мілісекунд, і робилося це прямо під час холодного старту. Користувачі бачили це просто як "ну, холодний старт, шо поробиш", і особливо не нили, бо реально, шо ж ти з цим зробиш?!Але інженери взяли і зробили. Тунель тепер піднімають заздалегідь, ще до того як прилетить виклик, але з фейковим ідентифікатором мережі (VNI) замість справжнього. А в момент виклику крихітна eBPF-програма на льоту підміняє цей фейковий VNI на реальний, прямо в заголовку пакета. Дорога частина роботи поїхала з критичного шляху, і 150 мілісекунд перетворились на 200 мікросекунд. Це капець яка крута оптимізація, яку помітили трохи менше ніж нуль користувачів. І ми б не знали, якби не цей пост.Або інша кулсторі. Кожен воркер тримає купу networking-правил для маршрутизації трафіку, і колись усі вони жили в одному кореневому неймспейсі спільною купою, яка розрослася до 125 тисяч правил iptables. Ядро проходить такий список лінійно, згори вниз, тому функція, якій не пощастило опинитись ближче до кінця таблиці, отримувала повільнішу мережу за сусідку зверху, просто через своє місце у списку. Як в анекдоті, де директор взяв пачку особових справ співробітників, витяг з них декількох і сказав звільнити їх, бо він не любить лузерів.Команда рознесла правила по окремих неймспейсах кожної мережі, і коренева таблиця схудла зі 125 тисяч правил до 144 статичних. А заодно stateful NAT на iptables переписали на stateless-маніпуляцію заголовками через той самий eBPF, і налаштування мережі прискорилось у сто разів.Я скажу чесно, нетворкінг це не та зона, де я можу назвати себе експертом. Можливо ці штуки є базою і не мають вражати. І це безсумнівно є daily job для автора поста. Але крім самих технічних деталей, хочу підкреслити те, що тут показано прагматичний data driven підхід до вирішення проблем. Вимірюємо, фіксимо, вимірюємо знову — ніяких припущень "наче стало краще", лише графіки та дашборди.Ну і фіксимо проблему, яку користувачі не бачать, але всі від неї страждають.Більше деталей тут, я отримав щире задоволення від читання і вам рекомендуюЗдається, що графіки в них не з CloudWatch, цікаво, що вони використовують?