Новые модели диффузии текста ИИ преодолевают барьеры скорости, извлекая слова из шума

Вместо последовательно построения текста слева направо, по одному слову за раз, как традиционные крупные языковые модели делают с использованием авторегрессии, эти новые модели на основе диффузии работают по-разному. Они черпают вдохновение из методов генерации изображений, таких как стабильная диффузия, Dall-E и Midjourney. Такие модели, как LLADA (созданная исследователями из Университета Ренмина и Ant Group) и Mercury, используют подход маскировки. Эти модели начинаются с совершенно скрытого контента и постепенно удаляют шум или размытие с выхода, в конечном итоге раскрывая весь ответ одновременно.







