BW Swift | Реверс інжиніринг Apple Neural Engine - це може зрушити локальний AI н...

🧠 Реверс інжиніринг Apple Neural Engine - це може зрушити локальний AI на MacРозробник зробив те, чого Apple офіційно не дає: тренування нейромережі (forward + backward) прямо на Apple Neural Engine (ANE) через reverse-engineering приватних API. Без CoreML/Metal/GPU - чистий ANE. Проєкт: https://github.com/maderix/ANEЩо вже показали (на M4):- 1 transformer-layer (dim=768, seq=512)- 9.3 ms / step- 11.2% ANE utilization → 1.78 TFLOPS sustained⚠️ Градієнти по вагах (dW) поки рахує CPU, тобто це ще не “100% training на ANE”.Цікаво:- ANE виявився дуже енергоефективним: автор наводить оцінку ~6.6 TFLOPS/W і порівнює з A100 (~0.08) → умовно до ~80× ефективніше “на ват”- 😅“38 TOPS” у презентаціях - це INT8 маркетинг, а в реальних FP16 бенчмарках автор пише про ~19 TFLOPS peak.- 🐌 CoreML може давати 2–4× overhead на дрібних операціях, прямий доступ до ANE швидший.🤖Mac-и з M-чипами мають ANE, який простоює, і потенційно може стати дешевою “домашньою лабораторією” для fine-tuning.BWSwift 📱 YouTube