Fahrenheit 245° | Гарячі AI LLM тести MacBook Air M3 | Чи варто переходити | Порівняння з Air М1
Ғылым және технология
Мої враження, досвід використання та результати тестів на MacBook Air M3. Нагрівання, GPU offload, тест LlamaCPP LLM test
Матеріали:
• M3 MacBook Air: The Ti...
www.apple.com/uk/newsroom/202...
llama-cpp-python.readthedocs....
huggingface.co/docs/optimum/c...
huggingface.co/TheBloke/Llama...
/ llamacpp_on_mac_n_gpu_...
llama-cpp-python.readthedocs....
github.com/mrdbourke/mac-ml-s...
llama.meta.com/llama2/
deci.ai/blog/ggml-vs-gguf-com...
github.com/macmade/Hot/releas...
00:00 Тема тижня
02:30 Готуємося до тестів
04:20 Нові-старі фішки
04:45 Два монітори
05:48 Зовнішній вигляд
07:10 Акумулятор
08:20 Памʼять
08:45 8 чи 16?
09:20 Камера та мікрофон
10:36 Робочий простір
11:27 Два монітори
11:54 Звук
12:26 Мій набір софта
13:00 Про 13ʼʼ дюймів
13:23 Типи тестів
13:38 M3, M3 Pro, M3 Max
15:07 Blackmagic Raw Speed Test
16:53 Рендер відео H265 4K
17:18 LlamaCPP LLM test
17:54 Інсталяція стеку
18:47 Автоматизація тесту
19:15 Метрики
19:27 GPU offload
20:15 Перший прогін
20:27 Другий прогін
21:10 Третій прогін
21:51 Порівняння з M1/M3
22:48 M1 memory overflow
23:30 Чи варто переходити
Пікірлер: 33
26:35 - це прям в точку, погоджуюсь на 100%. P.S. дякую :)
Дякую Дуже цікаво було!
Дякую.
Круто чути україномовний контент! 😎 Лайк і підписка! Планую переходити з MB Pro 16" (Intel) якраз дивлюсь найбюджетний варіант, M3 Air. Саме для монтажу відео в FCPX
@DenysVasyliev
2 ай бұрын
Дякую за відгук! подивіться на цю проблему для FC kzread.info/dash/bejne/hH6lxJmQYLzTn7Q.html
@v.netsivka
2 ай бұрын
@@DenysVasyliev вже зрозумів, 8-м відпадає. Мінімум 16 оперативи необхідно
Прийдеться відкласти сніданок і глянути 😅
@DenysVasyliev
2 ай бұрын
Смачного!
дякую, чудове відео ! побачимо що там.. чи не буде ворожис скайнет
@DenysVasyliev
2 ай бұрын
дякую за фідбек - буде тальки QStar
Подивився, дякую! Сидіти мабуть буду до М5 на М1 аір 16/512, для розробки прям вогонь і пасивне охолодження класне, от якби вони умовно в м4 запхали 120гц екран і ще один тайп С, то можна було б подумати, а так шило на мило. У вашому випадку зрозуміло.
@DenysVasyliev
2 ай бұрын
підтримую. єдиний нюанс AI. Гадаю, воно відпрацює вже скоро, хоча вже можна демки буде робити ;)
@m1nusasusplus897
2 ай бұрын
@@DenysVasyliev подивимось, кілька sh скриптів правив я за допомогою ChatGPT суто для локального сервака автоматизація, один раз не зробив ревью і ця сука форматнула мені boot і папку користувача нулями переписала 😂
Повністю згоден що достатньо 13-14 якщо є монітор. Я собі купив 16 m2 pro і не помітив жодної різниці в роботі в порівнянні з m1. Свій старій m1 віддав дитині та купив йому ще studio display.
@DenysVasyliev
2 ай бұрын
дисплей то Apple? тонкий?
@yuriitiunov8803
2 ай бұрын
@@DenysVasyliev так, Apple Studio Display 27 retina 5k. Не сказав би що він тонкий.
блін, цікаво тестити більші контекстні вікна. 2к під прод малувато особливо якщо ми підкинемо історію + ретрив. А зі збільшенним контекстом буде більше навантаження на пам'ять і більш реальні умови
@DenysVasyliev
2 ай бұрын
Ви описали приклад повної системи. Чи є це реальний кейс локально? Великі промпти в моєму випадку ходять на API
@ALEXPREMIUMGAME
2 ай бұрын
нажаль не можу описать через нда, але такі системи повного цикла є на руках, і там контекст мінімум потрібен 6-8к. Якщо ми хочемо отримати gpt-like систему яка може юзати інструменти і самозапитування. Хотілось би коротше тестів зі збільшенними вікнами)
@DenysVasyliev
2 ай бұрын
@@ALEXPREMIUMGAME як я зрозумів є якась система для локального використання типу IDE, або агенти(асистенти) де таки вимоги та кейси застосовуються. Цікаво. Я прогоню тести на широких вікнах - цікаво, дякую!
@ALEXPREMIUMGAME
2 ай бұрын
@@DenysVasyliev як комплекс может якраз взяти агента react наприклад і проганяти їх в тасках на 7-8к контексту. нагрузку дає прям нормас. Граного дня
@DenysVasyliev
2 ай бұрын
це залежіть від того як інжектити дані та яка модель. Прямо тисячу токенів у вікно (в лоб) мабуть не самий ефективний варіант,+кеш +rag +рекомендації моделі.
На м1 не продаєш?
@DenysVasyliev
2 ай бұрын
чи продаю М1?
@maksfan2141
Ай бұрын
@@DenysVasylievтак
@DenysVasyliev
Ай бұрын
@@maksfan2141 М1 міні вже продав. забрали відразу
Дякую за контент, це єдиний огляд українською про Air M3 який вдалось нагуглити. Може підкажете, що краще вибрати для Photoshop, Figma + пару браузерів, MacBook Air 13" M3 чи все таки докласти і взяти MacBook Pro 14.2" M1?
@DenysVasyliev
2 ай бұрын
Дякую за відповідь! М1 буде достатньо, якщо немає потреби у трохи меншому розмірі та двох моніторах. Я на графіці різницю не відчув і досі на мак міні М1 іноді рендерю.
@ingyaroslav
2 ай бұрын
@@DenysVasylievтак в М1 я впевнений, але зараз найдешевший М1 Pro дорожчий за базовий М3 Air десь на 400$. Тому і думаю чи М3 Air 8/256 потягне Photoshop, Figma + пару браузерів 🤔
@DenysVasyliev
2 ай бұрын
@@ingyaroslav 8 ram мабуть вже не інвестиція. Щодо прайсу - я не відслідковую, то на це не орієнтуюся. Порівняйте мабуть 16г, там і ядер більше.
Если нейронка занимает допустим 4 Гб оперативной памяти, то что запускать ее на 16 ГБ ноуте, что на 32 ГБ не имеет значения (разве что batch size > 1). На 8 ее скорее всего не хватит - куча всего пойдет в файл подкачки, и ресурсов не хватит.
@DenysVasyliev
2 ай бұрын
фішка у вбудованої пам'яті де ти розміщуєш мережу. як на прикладі - утілізація пам'яті не збільшилась