it's free*.ai

Ollama

Ollama — локальный дефолт: один CLI, библиотека моделей, OpenAI-совместимый сервер на localhost:11434/v1. `ollama pull llama3.3` один раз — дальше зовёшь как любого другого провайдера.

Ollama — локальный дефолт: один CLI, библиотека моделей, OpenAI-совместимый сервер на localhost:11434/v1. `ollama pull llama3.3` один раз — дальше зовёшь как любого другого провайдера.

macOS, Linux, Windows. Без квот. Запрос не покидает машину, если вы сами не выбрали Cloud. Нужен GUI — LM Studio; нужен прод-батчинг — vLLM.

Макс. контекст
Whatever your RAM allows
Бесплатный тариф
Безлимит и приватность
Требование
Ничего — без аккаунта

Эндпоинт

Базовый URLhttp://localhost:11434/v1
Лимит скоростиNone — it is your machine

Примеры кода

npm install openai
import OpenAI from 'openai'

const client = new OpenAI({
  baseURL: 'http://localhost:11434/v1',
  apiKey: 'not-needed'
})

const response = await client.chat.completions.create({
  model: 'llama3.3',
  messages: [{ role: 'user', content: 'Explain closures in one paragraph.' }]
})

console.log(response.choices[0].message.content)

Стоит знать

Модели, которые вы получаете бесплатно5