Meta представляет Llama 3.1, свою самую большую и лучшую модель с открытым исходным кодом

Как опытный аналитик ИИ с более чем десятилетним опытом работы в отрасли, я воочию стал свидетелем того, как быстро развивались большие языковые модели на протяжении многих лет. Объявление Meta о Llama 3.1, ее последнем предложении с открытым исходным кодом, является впечатляющим свидетельством этого прогресса.

Во вторник материнская компания Meta представила последнюю версию своей модели большого языка с открытым исходным кодом — Llama 3.1. Этот новый LLM доступен в трех вариантах: параметры 8B, 70B и 405B. Наиболее значимой из них является модель 405B, которую генеральный директор Meta Марк Цукерберг называет «первой моделью искусственного интеллекта с открытым исходным кодом передового уровня».

В прошлом году Llama 2 отставала от последних модельных новинок. Напротив, Llama 3 теперь не уступает передовым моделям и даже превосходит их в некоторых аспектах. Заглядывая в будущее, мы ожидаем, что будущие модели Llama установят отраслевой стандарт развития, начиная со следующего года.

Утверждается, что модель Meta 405B, которая была обучена на обширном наборе данных из 15 триллионов токенов с использованием 16 000 графических процессоров H100, существенно больше, чем ее предыдущая модель Llama 3. Сообщается, что эта новая модель соответствует возможностям ведущих сегодня моделей с закрытым исходным кодом, таких как GPT-4 от OpenAI, Gemini 1.5 от Google и Claude 3.5 от Anthropic, с точки зрения общих знаний, решения математических задач, использования инструментов и многоязычного перевода. Марк Цукерберг предсказал в Instagram, что к концу года Meta AI превзойдет ChatGPT как наиболее часто используемый ИИ-помощник.

Компания объявляет, что три варианта Llama 3.1 будут предлагать расширенную оперативную емкость до 128 000 токенов каждый. Это усовершенствование позволяет пользователям предоставлять полный контекст и даже дополнительную информацию в полном объеме. Кроме того, при запуске эти модели будут поддерживать восемь различных языков. Кроме того, Meta внесла изменения в условия своей лицензии, разрешив разработчикам использовать результаты, полученные с помощью Llama 3.1, для обучения других моделей.

Meta сообщила о сотрудничестве с более чем дюжиной лидеров отрасли для улучшения экосистемы Llama. Среди них Amazon, Databricks и Nvidia, каждая из которых планирует выпустить комплексные пакеты программного обеспечения, которые помогут разработчикам совершенствовать свои собственные модели с помощью Llama. Кроме того, как упомянул Цукерберг, Groq разработал эффективный сервис вывода для семейства моделей 3.1.

Доступ к Llama 3.1 с открытым исходным кодом можно получить на известных облачных платформах, таких как Amazon Web Services (AWS), Google Cloud и Microsoft Azure.

Смотрите также

2024-07-23 22:59