Допустим, вы хотите запустить свою LLM. Сколько под неё покупать видеокарт? В таком вопросе разница в оценке очень существенна. При этом однозначного ответа нет ни у NLP-инженеров, ни у ответственных за инфраструктуру, а рецепты фреймворков и вендоров часто противоречат друг другу.
Мы прошли этот путь сами: от устройства GPU и «стены памяти» до KV-кэша, MoE и квантизации. Покажем, какие переменные на самом деле влияют на скорость и стоимость инференса и как из этого собрать оценку, которой можно доверять. Расскажем и о том, где формулы пока бессильны.
Специалист по данным / Специалист по машинному обучению, руководитель команды / Технический руководитель
Средний
Четыре года в IT, прошла путь от валидации качества разметок для YandexGPT до развития инфраструктуры для LLM в X5 Tech. Продолжает увлекаться тестированием качества, безопасности и производительности LLM и агентов.