ИИ уже вышел на стадию? Новые отчеты показывают, что у GPT-5 могут быть проблемы

Как опытный энтузиаст искусственного интеллекта с многолетним опытом за плечами, я не могу не чувствовать смесь предвкушения и скептицизма, когда дело доходит до предполагаемой по слухам модели Orion от OpenAI. Отчет The Information, безусловно, добавил некоторую неопределенность к ажиотажу, окружающему эту модель следующего поколения.

В недавней статье The Information предполагается, что ожидаемая модель ChatGPT Orion от OpenAI, о выпуске которой в 2021 году ходили слухи и которую отрицали, может не оправдать шумихи, когда она в конечном итоге станет доступной.

По словам неназванных сотрудников OpenAI, в отчете говорится, что модель Orion продемонстрировала значительно менее заметный прогресс по сравнению со своим предшественником, GPT-4, с точки зрения улучшений. Более того, было упомянуто, что Orion не всегда превосходит GPT-4, когда дело касается конкретных задач, таких как кодирование приложений. Однако новая модель превосходит других в более широких языковых возможностях, таких как обобщение документов или составление электронных писем.

Рекомендуемые видео

Согласно отчету, серьезной проблемой при разработке новых моделей ИИ является нехватка источников данных высшего уровня для обучения, таких как высококачественный текст и другие данные. По сути, индустрия искусственного интеллекта сталкивается с проблемой, известной как «нехватка обучающих данных», поскольку уже удалось извлечь большую часть легкодоступных данных с таких платформ, как X, Facebook и YouTube (дважды). Следовательно, этим компаниям становится все труднее выявлять сложные проблемы кодирования, которые могут вывести их модели за пределы текущих ограничений, тем самым задерживая их обучение перед выпуском.

Снижение эффективности обучения влечет за собой серьезные экологические и финансовые последствия, поскольку передовые модели ИИ расширяются и увеличивают число своих параметров до астрономических триллионов. Прогнозируется, что энергия, вода и другие ресурсы вырастут примерно в шесть раз в течение следующих десяти лет. Вот почему технологические гиганты, такие как Microsoft, AWS и Google, принимают чрезвычайные меры, такие как попытки реактивировать Три-Майл-Айленд, покупку крупных электростанций и приобретение продукции ядерных реакторов — все это направлено на удовлетворение растущих энергетических потребностей их данных, ориентированных на искусственный интеллект. центры. Наша существующая энергетическая инфраструктура кажется неадекватной, чтобы справиться с таким быстрым расширением.

Чтобы решить эту проблему, OpenAI создала специальную «группу фундаментов» для решения проблемы нехватки подходящих данных для обучения. Эта команда может использовать такие стратегии, как генерация синтетических обучающих данных, аналогичных тем, которые производит семейство моделей Nvidia Nemotron. Кроме того, они сосредоточены на повышении производительности модели после завершения процесса обучения.

Первоначально считалось, что «Орион» относится к будущей модели GPT-5 от OpenAI, но теперь ее выпуск прогнозируется примерно на 2025 год. Однако еще предстоит выяснить, будет ли достаточно электроэнергии для ее работы, не перегружая наши городские электросети и не вызывая перебоев в работе. определенный.

Смотрите также

2024-11-12 03:27