OpenAI выпустила GPT⁠-⁠Live — голосо­вые модели ChatGPT, которые еще больше похожи на человека

8 июля OpenAI представила GPT-Live — новое поколение голосовых моделей для ChatGPT.

GPT-Live умеет слушать и говорить одновременно, не дожидаясь полной паузы собеседника. Еще в ChatGPT Voice появились визуальные ответы — картинки с погодой, курсами акций, спортивной статистикой и картами.

GPT-Live непрерывно обрабатывает поступающий звук и одновременно генерирует свой. Модель много раз в секунду принимает решения: говорить, продолжать слушать, сделать паузу, вклиниться в реплику собеседника или применить внешний инструмент. А если пользователь задумался, модель просто помолчит и не будет пытаться заполнить паузу.

При вопросе, требующем поиска, глубокого рассуждения или сложной работы, GPT-Live делегирует задачу отдельной модели  ​и продолжит разговор. Как только результат готов, GPT-Live встроит его в диалог. Пользователь также может выбрать глубину рассуждений: Instant — для быстрых ответов, Medium или High — для более сложных.

GPT-Live умеет делать синхронный перевод, то есть переводить одну реплику, пока продолжает слушать вторую. Но TechCrunch отметил, что в случае с хинди у модели был сильный американский акцент, а сама речь звучала «неестественно и слегка книжно».

Специально под GPT-Live разработчики переписали все девять голосов. В своем блоге OpenAI предупреждает, что к некоторым языкам могут быть замечания по акценту и беглости. Редактор Т⁠—⁠Ж с подпиской Go протестировал модель и заметил, что русская речь все еще звучит немного роботизированно.

На релизе есть две версии голосовой модели: GPT-Live-1 — для владельцев платных подписок Go, Plus и Pro, а также GPT-Live-1 mini — для «бесплатных» пользователей, которая, по данным TechCrunch, позже придет на замену Advanced Voice Mode.

OpenAI обещает, что в будущем GPT-Live сможет поддерживать голосовое общение с видео и демонстрацией экрана. Пользователям, которым нужны эти функции, останутся доступны старые Standard и Advanced Voice Mode.