🧠 Реверс інжиніринг Apple Neural Engine - це може зрушити локальний AI на Mac

Розробник зробив те, чого Apple офіційно не дає: тренування нейромережі (forward + backward) прямо на Apple Neural Engine (ANE) через reverse-engineering приватних API. Без CoreML/Metal/GPU - чистий ANE. Проєкт: https://github.com/maderix/ANEЩо вже показали (на M4): - 1 transformer-layer (dim=768, seq=512)- 9.3 ms / step - 11.2% ANE utilization → 1.78 TFLOPS sustained⚠️ Градієнти по вагах (dW) поки рахує CPU, тобто це ще не “100% training на ANE”. Цікаво: - ANE виявився дуже енергоефективним: автор наводить оцінку ~6.6 TFLOPS/W і порівнює з A100 (~0.08) → умовно до ~80× ефективніше “на ват” - 😅

“38 TOPS” у презентаціях - це INT8 маркетинг, а в реальних FP16 бенчмарках автор пише про ~19 TFLOPS peak.- 🐌 CoreML може давати 2–4× overhead на дрібних операціях, прямий доступ до ANE швидший.

🤖Mac-и з M-чипами мають ANE, який простоює, і потенційно може стати дешевою “домашньою лабораторією” для fine-tuning.

BWSwift 📱 YouTube