«Каждая статья на NeurIPS — значительный результат»
Сотрудники факультета компьютерных наук НИУ ВШЭ представят 12 своих работ на 37-й конференции NeurIPS. Conference and Workshop on Neural Information Processing Systems — одно из самых значительных событий в сфере искусственного интеллекта и машинного обучения. В этом году она пройдет с 10 по 16 декабря в Новом Орлеане (США).
В 2023 году рецензенты NeurIPS получили на рассмотрение свыше 13 тысяч статей, из которых менее 4 тысяч были отобраны для представления на конференции. Среди них оказались 12 работ исследователей ФКН, в том числе от Центра искусственного интеллекта НИУ ВШЭ.
Полный список статей ФКН на NeurIPS
Статья “Entropic Neural Optimal Transport via Diffusion Processes”, подготовленная при участии профессора-исследователя Дмитрия Ветрова, станет одним из 77 избранных докладов, которые будут представлены в рамках конференции.
Алексей Наумов
«Каждая статья на NeurIPS считается значительным результатом, к которому стремятся научные коллективы по всему миру. Итогом работы нашего факультета стали 12 статей — это повод для вполне уместной гордости. Такая высокая оценка нашей работы — это подтверждение высочайшего уровня исследований, проводимых сотрудниками ФКН. Среди тем статей в этом году — большие языковые модели, обучение с подкреплением, оптимизация и многие другие актуальные научные вопросы», — отметил заведующий Международной лабораторией стохастических алгоритмов и анализа многомерных данных Алексей Наумов.
Дарина Двинских, доцент департамента больших данных и информационного поиска ФКН, и Ильдус Садртдинов, стажер-исследователь Центра глубинного обучения и байесовских методов ФКН, рассказали о своих научных работах.
Дарина Двинских
— Мы рассматривали задачу минимизации негладкой стохастической функции при предположении, что вместо градиентной информации доступ имеется только к реализациям значений целевой функции, возможно зашумленным. Основной мотивацией для рассмотрения такого безградиентного оракула служат различные приложения в медицине, биологии и физике, где целевая функция может быть вычислена лишь посредством численного моделирования или в результате реального эксперимента, что делает невозможным использование автоматического дифференцирования.
В статье мы предложили алгоритм, оптимальный по оракульной сложности, итерационной сложности и максимальному уровню допустимого шума (возможно, состязательного). Новый алгоритм сходится при менее ограничительных предположениях, чем существующий оптимальный алгоритм. Поэтому предложенный алгоритм может быть применим к более широкому классу задач, в которых шум может иметь тяжелые хвосты.
Ильдус Садртдинов
— В нашей статье мы исследуем, как наиболее эффективно ансамблировать нейронные сети в постановке обучения с переносом знаний (transfer learning). Сложность задачи состоит в том, что обычно доступна только одна предобученная модель, и нейронные сети, которые мы дообучаем из нее, выдают похожие предсказания. Как следствие, их ансамбль имеет не очень высокое качество.
В работе мы показываем, что существующие методы ансамблирования не очень подходят к постановке обучения с переносом знаний. Мы предлагаем нашу модификацию одного из методов, которая лучше соответствует специфике постановки. Попутно мы разрабатываем дополнительную интуицию, как устроен ландшафт функции потерь, когда мы дообучаем предобученную модель на новые данные.