Об универсальных и нишевых моделях машинного обучения, своих моделях и продуктах на основе ChatGPT

«Уметь отсеивать, где совсем хайп-хайп, а где есть то, на что надо в том или ином виде перестраиваться — это искусство, к сожалению. То есть говорить, что мы были ecommerce-компанией, а сейчас вышла GPT, и мы в спешке переобуваемся и начинаем делать сервисы на основе GPT — это в лучшем случае тупняк. А сказать, что сейчас мы используем GPT для своих организационных задач, для своих оптимизационных задач и вообще думаем о GPT каждый раз, когда запускаем что-то новое — это нормальный майндсет». «В Machine Learning есть два типа задач. Первый — это когда ты делаешь какой-то core-продукт, в котором без ML вообще никак-никак. А бывает, когда компания вообще немного про другое, а ML — это просто свистелки. Эти свистелки могут что-то оптимизировать, в каких-то случаях они оптимизируют очень многое и без такой оптимизации вообще никак — ты просто не выдержишь конкуренцию. Однако это все еще оптимизация, а не основной продукт или сервис». Гость: Арсений Кравченко ML Engineer, Ntropy, Соавтор книги Machine Learning System Design Ведущий подкаста: Юра Агеев Подписывайтесь на канал анонсов подкаста: https://t.me/mspodcast. Подкаст выходит при поддержке конференции ProductSense https://productsense.io. Конференция пройдет 4–5 сентября 2023 в Москве О чем говорим: 2:22 Почему прогнозы в науке работают плохо 4:53 Переход из продукта в ML 7:19 История и причины успеха ChatGPT 9:56 Почему попытки сделать продукты на основе ChatGPT часто проваливаются 14:26 Как маленьким компаниям делать нишевые ML-инструменты 19:03 Почему нельзя без серьезных вложений сделать свою модель даже при наличии Open Source-решений 20:20 Что такое Foundation Model 24:39 Механика работы ChatGPT 26:24 Почему успешные модели могут построить либо очень большие, либо маленькие компании 28:04 Зачем одна большая компания выложила в открытый доступ продвинутую модель 31:55 Что нужно, чтобы сделать свою Foundation Model 36:09 Вопросы безопасности моделей 37:25 Как зарабатывать на моделях 38:46 Какой спектр задач может решать модель машинного обучения 40:54 Гипотетический кейс: зачем супермаркету ChatGPT 42:53 Два типа задач в ML 46:00 Почему опасно делать продукты на основе ChatGPT 47:34 Модели-полуфабрикаты, внутренние Foundation-модели и модель как инструмент 51:00 Использование ChatGPT при написании книги 52:18 Как проверить свое представление о мире с помощью ChatGPT 54:44 Модель и доступ к ней как продукт 58:47 Зачем скрывать, какая модель под капотом твоего продукта В подкасте упоминаются Личный сайт: https://arseny.info Книга, которую Арсений пишет в соавторстве https://clck.ru/353iET Timing is Everything https://fabricegrinda.com/timing-is-everything Stratechery by Ben Thompson https://stratechery.com GPT-4 Technical Report https://cdn.openai.com/papers/gpt-4.pdf * В подкасте упоминается Meta — запрещенная в России организация