Как выбрать модель ИИ под задачу

Сначала определите тип задачи

Модели в каталоге разделены по тому, что они производят: текст, изображения, видео, звук. Это первое и главное разделение — модель для текста не нарисует картинку, а картинная не напишет статью. Ориентир — раздел платформы: чат для текста, изображения для картинок, видео для роликов, звук для музыки и озвучки.

• Текст: вопросы и ответы, письма, статьи, разбор документов, код. Сюда же относится работа с загруженными файлами и базами знаний.
• Картинки: генерация по описанию и правка готовых изображений — в том числе по референсам и по выделенной области.
• Видео: ролик из текста, оживление кадра, съёмка по первому и последнему кадру, правка готового ролика.
• Звук: музыка и озвучка текста, а также распознавание речи на входе.

Смотрите на цену за единицу работы, а не на цену модели

Текстовые модели считаются токенами: отдельно входящие (ваш запрос и контекст) и отдельно исходящие (ответ модели). Медиамодели считаются иначе — за изображение, за секунду готового ролика или за запрос. Поэтому «дорогая» текстовая модель может обойтись дешевле дешёвой, если она решает задачу с первого раза: цена важна не сама по себе, а в пересчёте на результат.

Ориентироваться удобно по таблице: у каждой модели на её странице есть блок цены и сравнение с соседями по семейству — каталог моделей. Полные ставки собраны в таблице цен API.

Проверьте скорость: она отличается в разы

На страницах моделей мы показываем наши замеры: медиану времени до первого токена и полного ответа за последние 90 дней, а также сколько раз модель запускали. Это полезнее рекламных обещаний: у разных моделей первый токен приходит и за четыре секунды, и за тридцать — для чата с человеком разница ощутима, для фоновой задачи почти нет.

Для картинок и видео важна не задержка, а полное время прохода: у изображений это десятки секунд, у видео — минуты. Эти числа тоже есть на страницах моделей.

Что ещё влияет на выбор

• Окно контекста — сколько текста модель держит в голове за раз. Критично для длинных документов и переписок; где оно известно, мы его указываем.
• Поддержка рассуждений — модель тратит время на разбор задачи. Помогает на сложных вопросах и мешает там, где нужен быстрый короткий ответ.
• Поиск в интернете — нужен для свежих данных, включается в настройках чата.
• Вход для изображений — если нужно, чтобы модель посмотрела на картинку, а не только прочитала текст.

Как проверить модель на своей задаче

Возьмите три-пять своих настоящих запросов — не выдуманных — и прогоните их на двух-трёх моделях. Смотрите на расход: он виден в кабинете по каждому прогону (баланс и списания), там же модель и сумма. Так выбор перестаёт быть спором о вкусах: видно и качество ответа, и его цену.

Для проб удобно начинать с модели, у которой есть бесплатные генерации или которая стоит копейки: на коротких запросах разница в цене между моделями измеряется тысячными доллара.

Частые ошибки при выборе

• Брать самую дорогую модель для простых задач: сортировка писем и короткие ответы не требуют топовой модели.
• Экономить на сложных задачах: дешёвая модель, переделывающая работу трижды, выходит дороже.
• Забывать про тип задачи: сравнивать текстовую модель с картинной по цене за миллион токенов бессмысленно.
• Оценивать по одному запросу: одна неудачная формулировка не приговор ни модели, ни вам.