EGround
Редактор
- Сообщения
- 64.470
- Реакции
- 280
Складчина: Настройка своего локального ИИ сервера с нуля: Ollama+Open WebUI [Stepik] [Ринат Минязев]
Настройте свой «ChatGPT» у себя на сервере: документы и переписка не уходят в облако, подписки и ВПНы не нужны. Пошагово развернём рабочий ИИ-сервер для себя и всей команды — Ollama + Open WebUI, доступ по локальной сети через браузер с авторизацией для пользователей, работа с PDF/Word/Excel и изображениями, свой OpenAI-совместимый API. От выбора видеокарты и Windows 11 до продакшн-сервера на Linux. Для компаний доступна оплата по счёту.
Чему вы научитесь:
- Подбирать видеокарту и сервер под задачи и бюджет — от офисного ПК до промышленных решений, не переплачивая за лишние гигабайты видеопамяти.
- Выбирать локальную модель под задачу: понимать квантизацию, размер контекста и реальный расход VRAM — почему одним хватает 8 ГБ, а другим мало 24.
- Устанавливать Ollama на Windows 11 и Linux (Ubuntu Server) и запускать модели на видеокарте — конкретными командами, по шагам, с чек-листами.
- Управлять моделями: загрузка, запуск, обновление, удаление, контроль места на диске и замер скорости в токенах/сек.
- Создавать свою «персону» модели через Modelfile: системный промпт, температура, длина контекста — под задачи вашей команды.
- Разворачивать веб-интерфейс Open WebUI с доступом по локальной сети и автозапуском как службы Windows — сервер переживает перезагрузку без вашего участия.
- Организовывать работу сотрудников с документами (PDF, Word, Excel) через локальную модель — и понимать, где хранятся данные и где проходят границы возможностей.
- Подключать vision-модели для распознавания изображений и планировать память при одновременной работе нескольких пользователей.
- Поднимать свой OpenAI-совместимый API и маршрутизацию на несколько серверов — чтобы встраивать приватный ИИ в собственные сервисы и скрипты.
Большие языковые модели уже стали рабочим инструментом — но что, если не отправлять свои документы и переписку в чужое облако, не платить за подписки и полностью контролировать данные? В этом курсе вы с нуля развернёте собственную локальную ИИ-модель на своём компьютере и сервере: ваш приватный аналог ChatGPT, который работает на вашем железе и не передаёт данные наружу.
Курс построен как пошаговый практикум. Мы пройдём весь путь: от подбора видеокарты и выбора модели под ваши задачи — к установке движка Ollama на Windows, запуску моделей на видеокарте, созданию своей «персоны» модели и замеру скорости. Затем поднимем удобный веб-интерфейс Open WebUI с доступом по локальной сети (с компьютеров и телефонов), настроим работу с PDF, Word и Excel, подключим распознавание изображений и поднимем свой API для интеграции с другими программами. В финале перенесём всё на боевой Linux-сервер (Ubuntu Server) и познакомимся с vLLM.
Каждый урок — это конкретные команды по шагам, разбор типичных ошибок и чек-лист. Вы не просто слушаете теорию, а параллельно повторяете действия на своём оборудовании и в конце получаете работающий локальный ИИ-сервер, готовый к реальным задачам компании или личным проектам.
Опыт в машинном обучении не требуется — нужен лишь базовый уровень работы с компьютером и желание разобраться.
Курс подходит для корпоративного обучения: оплата от юридического лица по счёту через Stepik, по итогам обучения — сертификат.
Для кого этот курс:
- Системные администраторы и ИТ-специалисты, которым нужно развернуть локальный ИИ в компании: многопользовательский доступ по сети, автозапуск службами, контроль ресурсов.
- Разработчики, которым нужен приватный OpenAI-совместимый API на своём железе: подменили base_url — и ваш код работает с локальной моделью без счетов за токены.
- Руководители и владельцы бизнеса, для которых критичны данные клиентов и коммерческая тайна: один сервер вместо десятков подписок, ничего не уходит в чужое облако. Курс можно оплатить от юрлица по счёту.
- Энтузиасты и любители технологий, которые хотят собрать свой приватный ИИ дома
- Все, кто хочет уйти от облаков и полностью контролировать свои данные и расходы.
Для практики понадобится:
- Компьютер с видеокартой NVIDIA (желательно от 8 ГБ видеопамяти). Подбор железа подробно разбирается в первом модуле — можно сначала пройти его, а потом осознанно купить видеокарту под свои задачи и бюджет.
- Windows 11 для основной части курса; для финального модуля — возможность поставить Ubuntu Server второй системой (по желанию, модуль необязательный).
- Опыт в программировании и машинном обучении не нужен.
- Желание разобраться и пройти шаги на практике.
Как проходит обучение:
- Пошаговый практикум. Каждый урок — конкретные действия и команды, которые вы повторяете на своём оборудовании.
- Видео + текст. Уроки сопровождаются скринкастами и текстовыми инструкциями — команды удобно копировать по шагам.
- От простого к сложному. Сначала Windows и база, затем сеть и многопользовательская работа, в финале — рабочий Linux-сервер.
- Разбор ошибок. В каждом уроке блок «если что-то пошло не так» с проблемами и решениями.
- Чек-листы. В конце уроков — контрольные списки: убедитесь, что всё работает, прежде чем идти дальше.
- 3 лабораторные работы. Соберёте свою модель через Modelfile, поднимете Open WebUI с доступом по сети и развернёте ИИ-сервер на Linux.
- Бессрочный доступ: проходите когда удобно и возвращайтесь к урокам как к справочнику. Курс обновляется и дополняется.
Что вы получаете:
Свой приватный ИИ — как ChatGPT, но на вашем железе и без подписок. К концу курса у вас на руках:
- Работающий локальный ИИ-сервер — ваши документы и переписка остаются у вас, ничего не уходит в облако.
- Доступ из браузера по сети — с компьютеров и телефонов, для всей команды.
- Помощник по документам — выжимки из PDF, отчёты, Word, Excel и распознавание изображений.
- Свой API — чтобы встроить модель в свои программы и боты.
- Ноль ежемесячных платежей — никаких подписок на облачный ИИ.
- Навык повторить и масштабировать всё самому — от Windows до боевого Linux-сервера.
Программа:
Подбор "железа" и выбор модели:
- Вводное слово
- Подбор сервера для разворачивания локальной ИИ модели
- Готовим Windows 11: установка и пользователь для доступа по сети
- Как выбрать локальную ИИ-модель под свои задачи (Ollama)
- Как расходуется видеопамять при работе модели
- Локальные ИИ-модели для офисных задач (требуемые видеокарты)
- Глоссарий: термины, сокращения и определения
- Тест по модулю 1
Ставим движок: Ollama на Windows и запускаем ИИ модель:
- Подготовка сервера с windows, контрольная точка восстановления
- Установка Ollama на Windows 11, запуск модели на видеокарте
- Команды Ollama для работы с моделями (загрузка, запуск, список)
- Modelfile: системный промпт, параметры и своя «сборка» модели
- Управление моделями и местом на жестком диске
- Замер скорости (токены/сек) и выбор рабочей квантизации
- Лабораторная работа 1 Установка Ollama, сборка своих моделей
- Тест по модулю 2
Веб-интерфейс по локальной сети к ИИ моделям: Open WebUI:
- Веб-интерфейс к ollama по локальной сети: Open WebUI
- Настройка запуска OpenWebUI и Ollama в виде служб Windows
- Лабораторная работа 2 Веб-интерфейс Open WebUI, доступ по сети
- Работа пользователей с документами через локальную ИИ модель
- Работа с изображениями: ставим vision-модель
- Как расходуется память при работе нескольких пользователей
- Несколько серверов под разные модели: маршрутизация в Open WebUI
- Свой API: OpenAI-совместимый эндпоинт Open WebUI
- Тест по модулю 3
Развёртывание ollama на Linux-сервере (Ubuntu Server 26.04):
- Подготовка диска и флешка, установка Ubuntu Server как второй ОС
- Установка Ollama на Ubuntu Server 26.04 и основные команды
- Установка Open WebUI и доступ по сети с Windows-машин
- Лабораторная работа 3 Локальный ИИ-сервер на Linux
- Тест по модулю 4
Итоги курса:
- Завершение курса
Цена 4850 руб.
Материал «Настройка своего локального ИИ сервера с нуля: Ollama+Open WebUI [Stepik] [Ринат Минязев]», возможно, скоро появится на EGROUND.
Воспользуйтесь поиском, может быть, он уже опубликован.