МАЯК проверили на реальных метеостанциях — и прогноз стал скромнее

3 мин чтения 2
МАЯК проверили на реальных метеостанциях — и прогноз стал скромнее

Автор модели МАЯК заново проверил нейросеть для прогноза температуры: вместо одного набора сглаженных данных использовал реальные почасовые наблюдения метеостанций NOAA и раздельные тесты. Результат оказался полезнее красивых прежних цифр: на сутки вперёд модель показывает среднюю ошибку около 2 °C, а рабочий горизонт теперь оценивается в 2–3 суток, не в неделю. Для бытового прогноза это важнее громкого обещания — система умеет показывать широкий интервал неопределённости и не скрывает, где перестаёт быть надёжной.

Суть события

МАЯК — небольшая нейросеть, которая получает историю одной метеостанции: температуру, давление, влажность, координаты и высоту. На выходе она строит прогноз на 168 часов и выдаёт не только одно значение, но и семь квантилей. Поэтому пользователь видит не просто «через два дня будет +12 °C», а диапазон, в котором температура, вероятно, окажется.

Во второй версии автор изменил саму проверку. Модель обучалась на данных ERA5, но отдельно тестировалась примерно на 70 реальных станциях GHCNh от NOAA в Европе. Эти станции не использовались для обучения. Одновременно автор разделил станции на обучение, проверку и тест, добавил зазоры между временными блоками и общий контроль качества данных.

Детали

Главная цифра — показатель качества на сутки вперёд: 0,48 относительно климатологии конкретной станции. На реальных станциях против LRU, другой модели с затухающей памятью, МАЯК получил 0,48 против 0,20. Но сравнение с GRU пока нельзя превращать в победу: у неё 0,46, а доверительные интервалы результатов перекрываются.

Система рассчитана примерно на 110 тысяч параметров и должна работать локально: для запуска заявлены только numpy и onnxruntime, а состояние станции хранится в бинарном файле размером 3236 байт. Реального замера на Raspberry Pi пока нет — оценка памяти около 96 КБ остаётся расчётной.

Практический смысл вероятностного прогноза хорошо виден на даче: интервал помогает решить, укрывать ли рассаду, но не отменяет здравый смысл. Модель видит только одну станцию и не знает, что к ней движется циклон с запада.

Контекст

Первая версия показывала слишком хорошие результаты. История соседних окон могла попадать в обучение и проверку, координатная часть модели запоминала точки, а сравнение с другими моделями шло по разным правилам. После исправлений часть красивых чисел исчезла — и именно это сделало результат убедительнее.

На 72 часах преимущество над климатологией уже небольшое, а на 168 часах показатель становится слегка отрицательным. Автор прямо признаёт: неделя наблюдений проигрывает эталону, который знает многолетнюю историю конкретной станции. Прогноз не изображает уверенность там, где её нет: без истории аномалии обнуляются, а интервал расширяется.

Для понимания того, почему одной высокой точности недостаточно, полезно посмотреть на разбор проверки нейросетей на новых примерах. Там наглядно объясняется, как модель может запомнить ответы и ошибиться при переносе на незнакомые данные.

Что дальше

Автор планирует измерить скорость и память на настоящей Raspberry Pi, повторить обучение с несколькими начальными состояниями и проверить, значима ли разница с GRU. Отдельное слабое место — дрейф датчика: если термометр постепенно ошибается на 0,2 °C в сутки, дальний прогноз заметно проседает.

Дальше также предстоит решить, оставлять ли заявленный горизонт в неделю или честно сократить его до 72 часов, а затем расширить внешний тест за пределы Европы. Пока МАЯК выглядит не как готовая замена прогнозу погоды, а как аккуратный локальный инструмент для короткого горизонта — с понятными границами применимости.

Материал был полезен?
AI-инструменты без границ

Получите доступ к нужному AI-сервису уже сегодня

ChatGPT, Claude, Gemini, MiniMax и агенты для кода — предложения проверенных продавцов по доступным ценам. Оплата российскими картами, через СБП или криптовалютой.

Проверенные продавцы Быстрая выдача Доступные цены
Прокрутить вверх