Ай Дайджест - категория probability

Вокруг света за 80 временных шагов: Генеративный подход к глобальной визуальной геолокации

Глобальная визуальная геолокация предсказывает, где изображение было сделано на Земле. Поскольку изображения различаются по точности локализации, эта задача изначально связана с значительной степенью неоднозначности. Тем не менее, существующие подходы являются детерминистическими и не учитывают этот аспект. В данной статье мы стремимся сократить разрыв между традиционной геолокацией и современными генеративными методами. Мы предлагаем первый генеративный подход к геолокации, основанный на диффузии и совпадении Римановых потоков, где процесс денойзинга осуществляется непосредственно на поверхности Земли. Наша модель достигает передовых показателей на трех тестах визуальной геолокации: OpenStreetView-5M, YFCC-100M и iNat21. Кроме того, мы вводим задачу вероятностной визуальной геолокации, где модель предсказывает распределение вероятностей по всем возможным локациям, вместо одной точки. Мы представляем новые метрики и базовые показатели для этой задачи, демонстрируя преимущества нашего подхода на основе диффузии. Код и модели будут доступны.

2024-12-10geolocation localization diffusion

Простая и доказуемая законопроектная модель для вычислений в тестовом времени больших языковых моделей

Мы предлагаем общий двухступенчатый алгоритм, который имеет доказанное закон масштабирования для вычислений в тестовом режиме больших языковых моделей (LLM). Учитывая входную задачу, предложенный алгоритм сначала генерирует N кандидатных решений, а затем выбирает лучшее через многократный нокаут-турнир, в котором каждую пару кандидатов сравнивают K раз, и только победители переходят в следующий раунд. В минималистской реализации оба этапа могут быть выполнены с помощью только черного ящика LLM и ничем другим (например, без внешнего проверяющего или модели вознаграждения), и для решения входной задачи требуется всего N*(K + 1) высокопараллелизуемых вызовов LLM. Предполагая, что сгенерированное кандидатное решение верно с вероятностью p_{gen} > 0 и что сравнение между парой правильных и неправильных решений определяет правильного победителя с вероятностью p_{comp} > 0,5 (т.е. лучше, чем случайное угадывание), мы теоретически доказываем, что вероятность неудачи предложенного алгоритма экспоненциально стремится к нулю по отношению к N и K: $P(итоговый вывод неверен) ≤ (1 - p_{gen})^N + ext{ceil}( ext{log}_2 N) e^{-2 K (p_{comp} - 0.5)^2}$. Наши эмпирические результаты с трудным эталоном MMLU-Pro подтверждают технические предположения, а также эффективность предложенного алгоритма и улучшения от масштабирования его вычислений в тестовом режиме.

2024-12-03algorithm benchmark probability

Несоответствия в Моделях Консистенции: Лучшее Решение ODE Не Обязательно Улучшает Качество Генерации

Хотя модели диффузии могут генерировать образцы поразительно высокого качества, их ограничивает дорогостоящая итеративная процедура выборки. Модели согласованности (CMs) недавно появились как перспективный метод дистилляции моделей диффузии, снижая стоимость выборки за счет генерации высококачественных образцов всего за несколько итераций. Цель дистилляции моделей согласованности заключается в решении обыкновенного дифференциального уравнения (ОДУ) потока вероятности, определенного существующей моделью диффузии. CMs не обучаются напрямую для минимизации ошибки по отношению к решателю ОДУ, вместо этого они используют более вычислительно эффективную целевую функцию. Чтобы изучить, насколько эффективно CMs решают ОДУ потока вероятности, и как влияет любая вызванная ошибка на качество генерируемых образцов, мы представляем Direct CMs, которые напрямую минимизируют эту ошибку. Интересно, что мы обнаружили, что Direct CMs уменьшают ошибку решения ОДУ по сравнению с CMs, но также приводят к значительно худшему качеству образцов, что ставит под сомнение, почему именно CMs работают так хорошо изначально. Полный код доступен по адресу: https://github.com/layer6ai-labs/direct-cms.

2024-11-15probability sampling ode