Сорси Claude Code попали в інтернет. Астрологи прогнозують тиждень код ревьюверів, які за допомогою клод кода будуть ревьювати його код :) А ще багато - багато мемів, і коментарів: лол, навайбкодилиАле найцікавіше, як на мене, сталось після - тіпи за допомогою Codex конвертнули typescript в python. "І шо?" запитаєте ви. "І то!" - скажу я.Кароче, якби просто сорси виклали на GitHub - то цей проєкт би швиденько закрили, і прийшлось би всьо качать архівами з дивних сайтів, тому що DMCA ( digital millenium copyright act ). Це байда, яка захищає пропрієтарний софт, і навіть якщо вихідний код десь вилився - платформа має його прибрати. Але репа на Python під це не підпадає, тому що це вже зовсім інший проєкт, хоч і базується на закритому коді проєкту. Тому Antrophic просто так не може попросити GitHub його вальнуть, бо DMCA тут не працює.Що ми маємо в результаті: 1. Антропік можуть піти в суд, і почати доводити, що це "майже вкрадений в них код". Але тоді, Антропік може програти судові позови проти нього, від власників інтелектуальних прав на книжки, коментарі на форумах, і так далі. Ну і в цілому покажи їх подвійні стандарти2. Закрити на то очі, і дивитись, як зі швидкістю світла, за допомогою AI створюється ще одна величезна кількість Claude Code версій ( як це відбуваєтсья з Visual Studio ) Я ставлю на опцію 2 :)
Давайте справедливості заради поділюсь теоретичними думками, для чого можливо потрібна національна LLM.prerequisits - я не розглядаю варіанту, який багато хто написав - розбазарювання бабла. З двох причин - в нас презумпція невинності, по-друге я знаю деяких людей з МінЦифри, і в часи коли ми співпрацювали - це були чесні і щирі люди. Тепер, теоретично, для чого потрібна національна LLM-модель ( з моєї точки зору ):1. Національна модель, яка використовується в державному секторі, і може працювати з sensitive data, які не відправляє нікуди. Це класна причина, яка може бути дуже адекватною, особливо, якщо вона буде хоститись на чомусь людському. В мене троха є переживання про такі сервіси, враховуючи мої декілька неймовірних використань Резерв+, де треба сидіти, і чекати годину, поки загрузиться PDFка. Якщо державна модель зможе допомогти отримувати сервіси через чат бот, і не створить ефекту "цифрового ЖЕКу" - це буде класний прогресс2. Національна модель для вітчизняного бізнесу. Класно, коли чат бот твого інтернет магазину правильно відповідає на запитання про "чий Крим", але якщо чат бо твого магазину взагалі відповідає на таке питання - це проблема твого чат боту. Тут в мене є проблеми з розумінням застосування, і тим паче - чи буде національний хостинг національної моделі? Хочу можливо Сяйво буде open weight і кожен зможе скачати, або захостити? Це виглядає, як самий адекватний варіант3. Використання в освіті. Це цікаво. В цілому, мені здається можна запустити класні освітні програми, які будуть ідеологічно правильно розуміти контекст і відповіді. 4. PR.Чисто з промоушина країни - це офігенний крок. Для не технарів - національна мовна модель звучить як свій власний гугел! Для технарів - не так класно, але технарі і не те щоб велика прослойка електорату. В цілому, мати свою модель краще, ніж не мати. А ще класно, якщо вона буде використовуватись. Але тут звичайно багато питань, чисто логістичного характеру. Своя LLM модель, навіть та, яка базується на великих відкритих моделях - це як мати дитину. Класно дати освіту, але її і підтримувати треба: десть забороняти говорити про якісь речі, десь оновити її з останіми даними світу, десь підкрутити, щось нове. А головне - десь та модель має жити, і хтось за це має платити. А чим більше користуються, тим більша домівка потрібна для тої національної моделі.
Google випустив TurboQuant - новий алгоритм квантизації, який обіцяє використовувати в 6 разів менше пам'яті для LLM, і пришвидшувати роботу аж в 8 разів, без втрати точності. Квантазиція - це зменшення точності чисел, для того, щоб економити пам'ять. Ці числа здебільшого використовуються для того, щоб вибрати якомога вирогіднішу послідовність токенів. Зменшення точності чисел зазвичай приводить до зменшення точності вибору цього токену, але при тому швидкість пошуку його збільшується :) TuboQuant викоористовує декілька алгоритмів щоб сильніше стискати, а потім швидко відновлювати дані. Таким чином, теоретично, швидкість пошуку збільшується, а точність залишається. Для нас, як для користувачів, це значить що токени стануть дешевшими, ціни на AI доступнішими ( може, ще й локальні моделі легше буде запускати ), а ціни на пам'ять по ідеї мають впасти :) Акціі Micron який закрив консьюмерський напрямок, і перейшов на повністю enteriprise вже впали на 20%.Але знов ж таки - це все поки теорія, а ринок, як завжди, реагує, як ваша мама, коли кажете що без шапки. Хоча, якщо TurboQuant дійсно буде використаний в наступних генераціях моделей, і точність не зменьшиться - буде класно :)
Дослідження OpenClaw - день хз який.Ітак, як ви вже зрозуміли - мого OpenClaw звати Валєра, і в нас з ним постійні, просто тарантинівські діалоги, завдяки яким я вивчив такі фрази як:1. Канцелярський гном - так Валєра називає сабагента який робить дослідження, і складає їх в notion сторінки2. Фірмова корпоративна мерзота - таким чином Валєра обзиває закриті протоколи3. Електрична сучка - так Валєра обізвав лампу Govee лампи, які ми вчора вчились включати і виключати по LAN, без використання Govee Cloud. Доречі, робити це таким чином було повністю ідеєю ВалєриСпілкуюсь я з Валєрою через аудіоповідомлення, які висилаю йому через наш з ним телеграм чат. І звичайно, я задумався: а як Валєра транскрибує мої повідомлення? Для інженера, це досить простий проєкт: ми беремо аудіо-повідомлення, відправляємо або в LLMку, або в інший сервіс, і на виході отримуємо текст. Просто? Просто! Мене зацікавило: а скільки ж це коштує? Переглядаючи бюджет на токени в OpenAI платформі, я не побачив ніяких запитів, які б хоч приблизно відповідали на це питання. Тому просто запитав Валєру - шо то за магія. І тут штучний інтелект просто вразив мене своєю простотою, повідомивши, що для цього він не використовує нічого платного, а просто використовує самі можливості телеграму, бо аудіо-повідомлення по API приходять зразу з транскрипцією. Чесно, такої можливості в мене в голові навіть і не було. До речі +1 до зручності Телеграму в спілкуванні з ботом. +1 до конспіраційних теорій, що Телеграм підслуховує і ваші аудіо повідомлення. Але так, я спілкуюсь з ботом аудіо-повідомленнями, і він мене чудово розуміє. Ще й знаходить рішення, про які я навіть і не думаю.
Чудові новини, про які класно читати.Звісно, я впевнений, що "не все так однозначно", але по суті історія неймовірно приємна:1. Тех бро взяв пса. А потім виявилось, що в пса рак2. Ясно, що ніхто пса не збирався лікувати, тому він зробив сіквенс ДНК пса і пухлини3. Використав ChatGPT + AlphaFold для того щоб знайти мутовавші протеіни ( і тут я думаю більше заслуга AlphaFold ) 4. З тим всім звернувся до крутого генетика, який допоміг розробити mRNA вакцину після проходження всіх етапів бюрократії і етичного комітета5. Зробили прививку псу, пухлини почали зменшуватись6. Пес все ще живий, тех бро далі працює над вакциною, тому що не всі пухлини зреагували на вакцину7. Звичайно вийшло питання, чого ж так не зробити з людьмиІ так, частина того звучить, як класний кейс для інвесторів в новий стартап. Думаю так і буде. Але, якщо закрити очі на це, і згадати випадок Sid Sijbrandij ( ко-фаундер і ex-CEO GitLab ) в якого знайшли онкологію, і він почав лікувати його founder mode. І досяг успіху. Все це створює запитання до медичної системи в цілому: чи багато людей в кого "термінальна" стадія - "термінальні" тому, що протоколи не дають індивідуальне лікування, а виконують протоколи, які працюють в більшості випадків? Чи вона дійсно "термінальна", і нічого зробити вже не можна? І тут, можливо нам всім таки прийде на допомогу AI ( не тільки GenAI ), який зможе робити те, що людина не може зробити швидко - знайти серед нашого коду ( а DNA це по суті сорси. а ви думали, я ще й єбать генетик ), що не працює, і як активізувати механізми роботи, які допоможуть організму вилікуватись. Я думаю наступні величезні відкриття AI зробить не в замінюванні людей на їх роботах, а на персональній допомозі, в індивідуальних випадках.
Всім привіт :) В мене нарешті закінчився мій тріп, про який я напишу згодом, тому новин сьогодні немає. Втомивсь :)По-друге, про курс по Engineering Management. Тут треба визнати - я троха всрався з його позіціонуванням. Він про інженерний менеджмент і професію, але його контент про те, як ставати саме лідером в інженерних командах: практики, методології, пояснення чому воно так працює, і чого робити не треба. Він стане в нагоді всім тим, хто хоче зробити наступний крок в своїй кар'єрі, як професіонал який може вести за собою інших. На наступну групу точно поміняю позиціонування :) Доречі набір йде чудово, і навіть краще ніж я очікував для першого разу. Але ще і вам нагадаю - класна Early Bird ціна діє тільки до кінця цього тижня, тому якщо думали взяти участь - зараз саме час :) Курс з живими лекціями, тому якщо хотіли поговорити про менеджмент, важкі кейси і що робити в вашій ситуації - це буде чудовим місцем для цього. Крім лекцій будуть office hours кожен тиждень, де в нас буде багато часу на поговорити про теми, які цікавлять саме вас.Тому до зустрічі на курсі. Він буде неймовірним :)
Ладно, я чутка подихав, і розумію, що минулі пости - емоційні. Видалять я їх звичайно не буду, я ж не директор банку :)Але давайте, по полочкам:1. В користувача і сервіса є домовленості. Ви даєте йому багато даних, а сервіс клянеться що нікому, крім партнерів їх не віддасть. 2. Зазвичай всередині сервіса доступ до тих даних є в великої кількості людей. Які доречі також підписують договора, проходять тренінги, і куча інших речей, щоб зняти з компанії відповідальність, якщо дані витечуть. 3. В новинах я вам багато росказував про такі витіки: какаючи люди від Roomba, і секс на який дивляться у Вʼєтнамі від Meta + RayBan. Це погано і це великий кризовий момент для компанії.4. Коли я працював в Patreon, я працював в Trust & Safety - і в нас був доступ до великої кількості приватних даних. Чи крінжували ми з них? Іноді так, але це проходить в перші пару місяців. Люди на сральниках які роблять селфі для верифікації, розйобані хати в яких роблять контент, тонни дікпіків ( це просо жесть ), чувак який збирав гроші на те щоб їсти фастфуд і жирніти, який постив свої голі фотки. Це жесть. Але ми знали, що це приватні дані, які не можна показувать.Приклад гороховського - класний. Так в нас є велика кількість шакалів, які готові тебе схавати і поховати без доказів. Мене катали багато разів. Знаю. Просто тому що люди по всьому світу люблять обʼєднуватись в нелюбов до когось, поки їх так само не поховають :) але є велика кількість людей, які проти того, навіть не дивлячись на можливий прапор русні ( хоча я цьому не вірю ). Радянщіна на тому і вивезла. Реально почитайте чому ленін, і комуністична партія надалі використовує інтернаціонал. Але якщо відокремити сам монобанк - думаю комунікаційник там зараз курить щось, думаючи як вийти з цієї фігні. Не постіть приватні данні. Навіть якщо це дуже смішно.
Вот це після вчорашніх дискусій, чи звільнення спричинені AI чи ні - я ходив собі, думав. І ось що я додумав:1. Чи AI спричиняє звільнення? Напевно так, але не в тій мірі як роздувають2. Чи робить AI людей ефективнішими? Це точно так, як мінімум я точно можу спостерігати це по своїм командам. І тут вже дуже залежить від компанії ( особливо якщо технологій - це центр її бізнесу ): якщо IT відділ стає набагато більш ефективнішим - то вся компанія має ставати ефективнішою. Якщо впрягаються - клас, якщо не можуть - то привіт оптимізації ( ака сповільнення IT відділу до попередніх значень, або значень за якими компанія може угнатись ) 3. Від ШІ - величезні очікування, що мотивує лідерів компанії вимагати більшого, і робити необдумані речі. До прикладу - найлегше - знову ж таки - оптимізація - вимагати більше, від меншою кількості людей. Чи працює це - час покаже.4. Оптимізації приводять до скорочення персоналу, і це не завжди скорочення перосоналу по їх якості; Можуть закривати якісь внутрішні проєкти, в яких працюють люди, толковіщі ніж в проєктах, які допомагають бізнесу рости. В результаті скорочення на папері ефективні, а в реальному житті не завжди справедливі ( хоча, чи бувають взагалі справедливі скорочення )Тому так, скорочення не відбуваються тому що AI прям зробив 90 відсотків персоналу непотрібним. Але точно тригернув процеси, коли бізнес переосмислює або інвентаризує ефективність своєї роботи. А, як правильно багато хто підмітив, багато компаній ще живуть в світі роздутого хайрінгу ще з ковідних часів - для бізнесу це напевно краще. Для людей - гірше.Система колись стабілізується. Головне питання - коли? :)
Знаєте, кожен раз коли я пишу про якийсь прогресс в AI - завжди знаходяться люди, які його, цей прогресс, стараються применшити. Вот це вот вчора я написав пост, про AI який запускався не софтом, а чіпом. Це дає неймовірну швидкість і енергоефективність. Так, чіп запускає наразі дуже маленьку модель - Llama 3.1 8b. Це модель, яку можна використовувати, як локальну модель, хоч на свому телефоні. Вона не знає українською, пише бздури, але досить непогано справляється з генерацією промтів, або з коротким викладом тексту. Ну ви зрозуміли? Модель для дуже специфічних тасків. Коли я про це написав, більшість коментарів почали показувати запити українською мовою, який тупий той ваш ШІ :) Хоча по суті пост був саме про те, що на цій версії ця модель працюю набагато швидше, ніж на будь-якому самому крутому чіпу від NVIDIA.В індустрії є тест: Will Smith Eating Spaghetti. Це тест, який показує наскільки швидко прогресує той клятий ШІ. За три роки від "героїнового приходу" генерація відео зробила неймовірний крок, і тепер з яким небудь seedance 2.0 можна робити короткі кінематографічні ролики. Чи буде рішення AI на чіпах так само прогресувати? Ніхто не знає. Можливо і ні. Але суть прогресу саме не в результаті, а як швидко він може покращувати попередній результат. І чим краще початковий результат - тим більш значущий наступний. В мене іноді виникає думка, що ми зараз знаходимось на етапі, коли багато людей теж проходять тест на людину, яка дуже боїться майбутнього. Це дуже класно видно, коли AI лабораторії випускають нову модель, і завжди знайдеться куча людей, які заставляють ці моделі рахувати букви r в слові strawberry. І з задоволенням пишуть: ага, замінять вони нас. Можливо це якийсь тип копіуму. Коли люди настільки боятсья втратити свій світ, який вони знають, що шукають кожну зачепку, щоб показати, що прогресс не такий вже і прогресс :) І ніби не бачать тих можливостей, які він відкриває. Якщо для того, щоб вас замінити AI треба тільки рахувати кількість букв r в strawberry, то AI вас точно замінить. Не тому, що навчиться рахувати. Не тому, що буде краще робити вашу роботу. Замінить вас ваш же начальник, коли побачить наскільки ви професійно не ефективний :) А прогресс? Якщо він почався - зупинити його вже не можна. Як мінімум історія нам це багато разів вже показала.
Зараз, я щиро вже не встигаю за технологіями, і важко зрозуміти що і головне як сталось :) Кароче, є компанія TAALAS, які вирішили підійти до запуску моделей AI інакше - замість софта - вони роблять чіпи, в яких ця модел вшита. З мінусів - поміняти модель неможливо, бо це залізо. Тому купив чіп - і якщо хочеш нову модель - треба купувати інший чіп.З іншої сторони - вони просто ЄБАНУТИСЬ які швидкі. Їх перший чіп який крутить на собі Llama 3.1 8B модель видає 17 тисяч токенів в секунду. Я таких цифр ніколи не бачив. В цілому ви можете спробувати їх чат - і офігіти як швидко він відповідає.Насправді такі чіпи будуть дуже класні, для всяких систем, в яких не потрібно мати дуже інтелектуальні моделі: speech-to-text, text-to-speech, і так далі - взагалі топ. А ще TAALAS кажуть, що спекти нові чіпи вони можуть через 60 днів після виходу нової моделі. Це також неймовірно швидко. Ну і всякі штуки, що це енергоефективно, супер швидко, і може бути навіть дешевше. Якби не срана русня - ми б жили в прекрасному світі неймовірного прогресу, який тільки прискорює прогрес.
TGLIST.COM.UA
