Gen Runner

Сервис запуска и взаимодействия с LLM

Быстрый старт (сборка и запуск)

# Установка зависимостей
make deps

apt install libgomp1

CPU

# Сборка библиотек (без CUDA)
make build-libs-cpu

# Запуск (CPU, без CUDA)
make run-cpu

# Сборка бинарника (CPU)
make build-cpu

GPU

# Сборка библиотек с поддержкой NVIDIA (CUDA)
make build-libs-gpu

# Запуск (GPU, NVIDIA CUDA)
make run-gpu

# Сборка бинарника (CUDA)
make build-gpu

---

Настройка окружения

export LD_LIBRARY_PATH=./build/lib:$LD_LIBRARY_PATH
# Обязательная настройка перед запуском lm-runner
# Указывает загрузчику путь к скомпилированным библиотекам
# Без этого бинарник не стартует (ошибка: cannot open shared object file)

---

Скачивание модели (Hugging Face)

./build/lm-runner download --repo <org/model> --list
./build/lm-runner download --repo <org/model> --file ....gguf

Запуск модель/Загрузка модели в память

# список доступных моделей
./build/lm-runner remote models

# запуск модели
./build/lm-runner remote load --model <name>

# вывод запущенных
./build/lm-runner remote ps

Клиент к запущенному раннеру

./build/lm-runner remote ping
./build/lm-runner remote run --prompt "привет"

---

# Собрать yaml из Modelfile
./build/lm-runner create myalias -f ./Modelfile [--force]

# Показать yaml манифеста или экспорт в Modelfile
./build/lm-runner show myalias
./build/lm-runner show myalias --modelfile # или -m

# Только путь к .yaml (для скриптов)
./build/lm-runner show myalias --path-only

# Список локальных .gguf в каталоге model_path
./build/lm-runner models