На выходных наконец нашел время и глянул подкаст Андрея Карпаты (сооснователя OpenAI, ex Head of AI Tesla)

И вот основные пункты из подкаста:

🔘 О беспилотных автомобилях:
"10 лет назад я впервые прокатился на беспилотной машине и был уверен, что это идеальный опыт. Однако потребовалось еще десятилетие, чтобы превратить эту технологию в коммерческий продукт. Сегодня мы достигли определенного уровня AGI в сфере автопилотов, но для глобализации этой технологии потребуется еще много времени. Аналогичная ситуация ожидает и LLM."

🔘 О Tesla:
Tesla значительно превосходит другие компании, работающие над автопилотами, даже если это сейчас не так очевидно. "Я верю в Tesla: она выбрала правильный путь, сосредоточившись на ИИ. Это не просто компания по созданию автомобилей с автопилотом, а крупнейшая робототехническая корпорация с огромным потенциалом. Ее подход обеспечит лидерство на рынке в ближайшие годы."

🔘 О трансформерах:
Трансформер — это не просто еще один алгоритм, а революционная архитектура, которая изменила наше понимание ИИ. Сегодня это единственная масштабируемая модель. "Я убежден, что трансформеры превосходят человеческий мозг во многих аспектах, просто они еще не раскрыли свой полный потенциал."

🔘 О фокусе на данных:
Если раньше основным препятствием для развития ИИ была архитектура ML моделей, то сейчас об этом почти не думают: за последние 5 лет трансформер практически не изменился. Главный акцент теперь смещен на данные.

🔘 О данных для обучения:
Данные из интернета далеко не идеальны для обучения моделей — это лишь "ближайший сосед" оптимальных данных. Для того чтобы модель умела рассуждать, ей нужны качественно другие источники знаний.

🔘 О синтетических данных:
Будущее за синтетическими данными, но их главным недостатком остаются недостаточная энтропия и разнообразие. Это серьезное препятствие, хотя текущие модели уже помогают создавать более совершенные. Итоговые модели, возможно, окажутся удивительно компактными.

🔘 О мотивации в образовании:
Андрей ушел в сферу образования, потому что стремится не заменить людей, а сделать их умнее и вдохновленнее. "Я хочу, чтобы люди поддерживали автоматизацию и мечтаю увидеть, на что способно человечество с помощью идеального ИИ-репетитора."

🔘 Об ИИ в обучении:
ИИ пока не способен самостоятельно создавать учебные курсы, но отлично справляется с их адаптацией под нужды каждого студента. "Образование должно стать для людей увлекательным процессом, а не тяжелым трудом."