Data Mirosh

🌸 Коли насправді настає весна? Сакура має відповідь за останні 1200 років.🌸Щовесни Японія завмирає в очікуванні ханамі. Але записи про цвітіння сакури в Кіото, які ведуться з 812 року (завдяки щоденникам імператорів та хронікам храмів) — це не лише культурна традиція, а й один із найточніших кліматичних літописів у світі🌍.Я проаналізував ці дані та створив інфографіку, яка наочно показує, як тисячолітні природні цикли ламаються під впливом сучасної епохи⏳.Що ми бачимо на графіках?📈📉 Безпрецедентний зсув епох. Після століть відносної стабільності та прохолодних весен Малої льодовикової епохи, з середини XX століття лінія тренду різко обривається вниз. Сакура зацвітає дедалі раніше🌸.📅 Новий календар очікувань. У XV столітті пік цвітіння припадав на середину квітня. Сьогодні "центр мас" змістився майже на два тижні — на кінець березня🗓.🌡 Ботаніка зустрічається з метеорологією. Дані показують, що з кінця XIX століття середня температура квітня у Кіото зросла майже на 3 °C (з ~12.2 °C до ~14.8 °C)🔥. Імператори минулого фіксували ці дати заради поезії та краси. Сьогодні ці ж записи слугують для нас суворим кліматичним попередженням про те, як глобальне потепління змінює екосистеми на наших очах🌱.👉 Детальний розбір масиву даних, анатомію візуалізації та код для її створення можна переглянути тут.🔗Посилання на повнорозмірний постер.Мені от цікаво, чи ведуть наші ботанічні сади щось подібне...🫶 Банка | 📺 Youtube | 🔗 Сайт

Чому алгоритми розрахунку Великодня розійшлися, або математика церковних календарів 📅У неділю багато хто святкував православний Великдень, тоді як західний світ відзначив його ще тиждень тому. Здавалося б, алгоритм розрахунку дати однаковий для всіх: перша неділя після першого весняного повного місяця 🌕.Східні та західні традиції по-різному визначають параметри spring та full_moon 🌱. Ці дати ґрунтуються не на точних астрономічних вимірах (свого роду API Всесвіту 🌌), а на хардкоді — апроксимаціях, жорстко закріплених сотні років тому 💾.Ось як виглядають основні розбіжності під капотом ⚙️:1️⃣ Змінна spring_start зафіксована як 21 березня. Але Захід використовує григоріанський календар, а Схід — юліанський 📜.2️⃣ Довжина року. Юліанський рік (рівно 365.25 днів) математично довший за григоріанський (365 + 97/400 днів). Через цей зсув 21 березня за юліанським календарем поступово дрейфує все далі від реального астрономічного рівнодення 📉.Через ці особливості Пасха східного обряду іноді збігається із західною, але ніколи не генерується раніше за неї (до того ж метод апроксимації повного місяця на Сході також традиційно повертає пізнішу дату 🕰).Здавалося б, просто свято, а насправді — чудова ілюстрація того, що стається, коли дві системи використовують різні базові константи для одного й того ж рівняння 🧮.На своєму графіку я візуалізував цей "юліанський дрейф" з 2000 по 2050 рік. Як бачите, спільне свято — далеко не норма (лише 16 разів). Найчастіше східна традиція запізнюється на 1 тиждень, але накопичення похибки періодично генерує екстремальні розриви у 4 або навіть 5 тижнів (понад місяць!).🫶 Банка | 📺 Youtube | 🔗 Сайт

Прощавай, iris: чому світ Data Science масово переходить на пінгвінів 🐧Кожен, хто хоч раз відкривав підручник з Machine Learning або починав вивчати R чи Python, знайомий з датасетом iris. Кластеризація та класифікація цих 150 квіток — це справжній "Hello World" у науці про дані 🌍.Самі дані про іриси в 1930-х роках дбайливо зібрав американський ботанік Едгар Андерсон на півострові Гаспе (тому його іноді називають Anderson's Iris data set). І все б нічого, якби не одна деталь. Популярним цей датасет зробив Рональд Фішер, використавши його у 1936 році у своїй статті для журналу Annals of Eugenics.Про погляди Фішера я писав у попередньому пості: видатний статистик був палким прихильником євгеніки. З часом науковій спільноті стало цілком слушно некомфортно використовувати як золотий стандарт датасет із таким історичним шлейфом 🚫.Так, на сцені з'явилися пінгвіни. У 2020 році дослідниця Крістен Горман та команда зі станції Палмер в Антарктиці відкрили дані про місцевих птахів, а Еллісон Горст запакувала їх у зручний пакет palmerpenguins.Чому пінгвіни об'єктивно кращі за іриси для навчання:1️⃣ Ближче до реальності: на відміну від ідеально вилизаного iris, у даних про пінгвінів є пропущені значення (NA). Це змушує студентів одразу вчитися чистити дані, а не жити в ілюзіях ідеального світу 🧹.2️⃣ Класна структура: ми маємо ті ж три класи для прогнозування (види пінгвінів: Adelie, Chinstrap, Gentoo), але з цікавішими змінними — числові характеристики дзьоба, маса тіла, а також категоріальні змінні (стать, острів проживання) 📊.3️⃣ Нульова токсичність: ніяких сумнівних історичних контекстів. Лише відкрита наука та круті ілюстрації, які вже стали культовими (і саме тому пінгвінчик став маскотом мого курсу).Сьогодні використання iris у нових статтях, презентаціях чи туторіалах вважається ознакою поганого тону або просто ліні. Тому, якщо пояснюєте комусь алгоритми чи робите пет-проєкт — залишіть квіти в минулому і беріть пінгвінів 🐧✨.❓ А на якому датасеті ви вперше будували свою модель класифікації: на квітах, пінгвінах чи, може, рятували пасажирів Титаніка?🫶 Банка | 📺 Youtube | 🔗 Сайт

Темний бік статистики: як євгеніка створила улюблені нами підходи 🌑📊На своїх курсах я часто розповідаю про різноманітні статистичні підходи, названі на честь своїх винахідників. Зазвичай у топі моїх згадок — історія про те, як Вільям Госсет змушений був публікувати роботи під псевдонімом Student через суворі корпоративні правила пивоварні Guinness 🍺👨‍🔬. Але сьогодні хочу поділитися темною стороною статистики.Коли ми розбираємо ANOVA чи будуємо регресії, мало хто замислюється, з чого насправді все почалося. А почалося з того, що видатні вчені свого часу захопилися соціальною філософією, яку сьогодні ми б назвали щонайменше неетичною ⚠️.Ось кілька цікавих фактів про тих, чиї імена ми так часто бачимо в підручниках:➡️ Френсіс Гальтон 🧬. Саме він подарував нам такі базові концепти, як "кореляція" та "регресія до середнього". Але він же і вигадав термін «євгеніка», надихнувшись працями свого двоюрідного брата Чарльза Дарвіна. Гальтон настільки цим горів, що навіть став почесним президентом Британського євгенічного товариства.➡️ Карл Пірсон 📉. Так-так, той самий критерій Пірсона. Він був протеже Гальтона і очолив кафедру євгеніки в Лондонському університеті. Пірсон цілком серйозно вважав, що суспільство має поповнюватися лише за рахунок «кращих генофондів» і відкрито виправдовував війни з «нижчими расами» 💀.➡️ Рональд Фішер 📐. Людина, яка дала нам "дизайн експерименту", "дискримінантний аналіз" та славнозвісний F-розподіл. У вільний від виведення формул час Фішер був активним діячем комітетів із просування євгеніки та дуже переймався тим, що вищим класам потрібно терміново підвищувати народжуваність 📈.На щастя, математика виявилася значно об'єктивнішою за світогляд своїх творців 🙏. З часом статистика стала фундаментом для Data Science та Machine Learning 🤖, а євгеніка повністю себе дискредитувала після того, як її ідеї спробували реалізувати на практиці в нацистській Німеччині.🫶 Банка | 📺 Youtube | 🔗 Сайт