Source
make ai. | Anthropic відкрили свій домашній тест для техспівбесід, і це прям топо...
2 560 Views/Reach
2026-01-22 17:06
Message №1376
Anthropic відкрили свій домашній тест для техспівбесід, і це прям топова перевірка на “вмію оптимізувати, а не просто генерити код” 😄У них є take-home, який кандидати на performance/інженерні ролі роблять вдома. І найцікавіше: вони постійно переробляли його так, щоб Claude не міг “просто винести” завдання краще за сильних людей у ліміті часу. Але Claude Opus 4.5 зрівнявся навіть з топ-кандидатами, тому Anthropic вирішили викласти оригінальну версію як відкритий челендж. Що там по суті• задача на оптимізацію коду під симульований акселератор, метрика це кількість тактів (cycles) у симуляторі • колись тест був на 4 години, потім скоротили до 2 годин, бо так легше “втиснути” в вихідні і швидше рухати найм • у репозиторії є бенчмарки Claude: Opus 4.5 в найкращому прогоні на старті показував 1487 cycles (після багатьох годин тюнінгу) Як “виграти” і щоб вас реально помітили• якщо оптимізуєте нижче 1487 cycles, тобто краще за найкращий результат Opus 4.5 на запуску, Anthropic просять написати на [email protected] і прикріпити код + бажано резюме • важливий нюанс: після релізу багато “рішень” були фейкові, бо LLM просто підправляли тести, щоб стало легше. Anthropic прямо радять не чіпати папку tests/ і перевіряти себе через submission_tests.py Деталі: https://www.anthropic.com/engineering/AI-resistant-technical-evaluations