Відкриті моделі та локальний інференс

Відкриті моделі та локальний інференс | 7 модулів | ~14-20 годин

Огляд

Цей розділ навчає практичного шляху роботи з відкритими моделями для слухачів, які хочуть вийти за межі хостингових чат-інструментів.

Мета не в тому, щоб з першого дня зробити з кожного слухача інженера з інфраструктури.

Мета — допомогти слухачам зрозуміти:

• звідки беруться відкриті моделі
• як відповідально їх оцінювати
• як запускати їх на Apple Silicon чи Linux-машинах
• як квантизація змінює те, що реально можливо на справжньому обладнанні
• як обирати між середовищами виконання, не перетворюючи локальний інференс на карго-культ

Це все ще частина треку ШІ верхнього рівня.

Він розташований між Створення ШІ та ШІ для Kubernetes та платформної роботи, перед глибшими розділами Інженерія ШІ/МН.

Модулі

Модуль	Тема
1.1	Відкриті моделі та хаби моделей
1.2	Hugging Face для слухачів
1.3	Квантизація та формати моделей
1.4	MLX на Apple Silicon
1.5	Запуск відкритих моделей на Linux-машинах
1.6	Вибір між Ollama, MLX, Transformers і vLLM
1.7	Gemma 4 та ландшафт відкритих моделей

Результат

Наприкінці цього розділу ви зможете:

• пояснити різницю між доступом до відкритих моделей і використанням закритих API
• читати картку моделі, не сприймаючи її як рекламний текст
• розуміти, чому квантизація змінює вимоги до обладнання та компроміси щодо якості
• обрати адекватне локальне середовище виконання для Apple Silicon чи Linux
• знати, коли локального інференсу достатньо, а коли потрібна глибша інженерія ШІ/МН

Що охоплює цей розділ, а що передає далі

Цей розділ охоплює:

• хаби моделей для слухачів
• картки моделей і практичний вибір моделі
• основи квантизації
• вибір локального середовища виконання
• локальні шляхи для Apple Silicon та Linux

Він не намагається дублювати глибші інженерні модулі для:

• відтворюваного керування середовищами CUDA/ROCm
• архітектури інференсу для продакшену
• внутрішніх механізмів серйозного обслуговування моделей
• робочих процесів тонкого налаштування

Ці теми винесено до:

• Інженерія ШІ/МН: Передумови
• Інженерія ШІ/МН: ШІ-інфраструктура
• Інженерія ШІ/МН: Поглиблений генеративний ШІ та безпека

Рекомендований маршрут

Основи ШІ
   |
ШІ-орієнтована робота
   |
Створення ШІ
   |
Відкриті моделі та локальний інференс
   |
ШІ для Kubernetes та платформної роботи
   |
Інженерія ШІ/МН (необов'язковий глибший шлях)

Після цього розділу

Оберіть наступний маршрут відповідно до вашої мети:

Мета	Наступний крок
безпечно використовувати ШІ в Kubernetes і платформних робочих процесах	ШІ для Kubernetes та платформної роботи
створювати практичні локально-орієнтовані ШІ-застосунки	Інженерія ШІ/МН: ШІ-орієнтована розробка
створювати застосунки з підтримкою пошуку та добору контексту	Інженерія ШІ/МН: Векторний пошук та RAG
глибше вивчати поведінку моделей	Інженерія ШІ/МН: Генеративний ШІ
серйозно експлуатувати локальне чи приватне обслуговування моделей	Інженерія ШІ/МН: ШІ-інфраструктура