Контекстное обучение для обнаружения изменений на спутниковых снимках на малом количестве примеров

Существующим методам обнаружения изменений по данным наблюдения Земли не хватает гибкости для адаптации к семантическим запросам, определяемым пользователем. Этот проект направлен на разработку новой визуально-языковой модели (VLM), которая выполняет обнаружение изменений в режиме few-shot (обучение на малом количестве примеров) и в контексте. Модель будет интерпретировать описание на естественном языке и 0-8 визуальных примеров для сегментации конкретных изменений на спутниковых снимках, выводя точные полигоны в структурированном формате JSON для прямой интеграции в ГИС. Мы: создадим новый бенчмарк для few-shot обучения; дообучим передовую VLM; усовершенствуем методы обучения в контексте; интегрируем мультиспектральную базовую модель для обеспечения кросс-спутниковых возможностей; и создадим демонстрационное веб-приложение.