W dzisiejszych czasach rozwój technologii przetwarzania obrazu staje się coraz bardziej dynamiczny, oferując użytkownikom nowe możliwości analizy i interpretacji danych przestrzennych. Tak jak wspomniano w poprzednim wpisie, ciekawym narzędziem, które wyróżnia się w tej dziedzinie, jest wtyczka Deepness, rozwijana w ramach środowiska QGIS. Wtyczka ta nie tylko umożliwia wykorzystanie wstępnie wytrenowanych modeli rozpoznawania obrazu, ale także zapewnia dostęp do różnorodnych narzędzi segmentacji czy detekcji obiektów, użytkownikom niemających specjalistycznej wiedzy w zakresie uczenia maszynowego.

YOLOv9 Model ZOO

Wtyczka dynamicznie się rozwija, oferując swoim odbiorcom coraz więcej modeli rozpoznawania obrazu. Są to wstępnie wytrenowane modele w odpowiednim formacie ONNX, które ułatwiają rozpoczęcie pracy z wtyczką.

Zobacz też poprzedni wpis o instalacji i wykorzystaniu wtyczki Deepness:

Obecnie, w Model ZOO Deepness, dostępnych jest osiem modeli do segmentacji obrazu, obejmujących m.in. segmentacji budynków, dróg, terenu czy paneli fotowoltaicznych. Ponadto, użytkownicy mogą skorzystać z modelu przeznaczonego do oceny zagrożenia pożarowego obszarów na podstawie analizy obrazów lotniczych. Dodatkowo udostępniono pięć modeli do detekcji obiektów, opartych na algorytmach YOLO, z modelem przeznaczonym do wykrywania wierzchołków drzew na zdjęciach lotniczych, szkolonym na najnowszej iteracji YOLOv9. W ramach wtyczki Deepness dostępne są również modele do rozpoznawania miejsc oraz modele o wysokiej rozdzielczości (super-resolution).

Testy wybranych modeli

Dostawcy zaznaczają, że nie są to uniwersalne modele i będą one działać tylko na podobnych danych jak w zestawach treningowych. Postanowiliśmy przetestować kilka z nich i sprawdzić jak działają one na powszechnie dostępnych zdjęciach lotniczych.

Segmentacja budynków

Model segmentacji budynków może być skutecznie stosowany do identyfikacji budynków na zdjęciach satelitarnych. Testy zostały przeprowadzone na ogólnodostępnych mapach od trzech dostawców Google Satellite, Here Wego Satellite, Mapbox Satellite.
W pierwszej próbie sprawdzono typową miejską zabudowę, gdzie przeważają budynki wielorodzinne. Google Satellite oraz Mapbox Satellite uzyskały wyniki segmentacji o zbliżonej dokładności, wykrywając większość budynków. Obserwowane były drobne nieprawidłowości, jednak jak na uniwersalny model powszechnie dostępny dla użytkowników, jakość segmentacji była bardzo dobra. W przypadku Here Wego Satellite zauważono niższą dokładność segmentacji, gdzie zidentyfikowano mniej budynków w porównaniu do pozostałych dostawców.

W drugim przypadku również Google Satellite i Mapbox Satellite osiągnęli wyższy poziom dokładności w identyfikacji budynków niż Here Wego Satellite, który nie wykrył znacznej części obiektów. Google i Mapbox nie miały problemu ze zidentyfikowaniem większych budynków wielorodzinnych tak jak i pojedynczej zabudowy jednorodzinnej.

W trzecim wariancie dokonano znaczącego przybliżenia analizowanego fragmentu na zdjęciu satelitarnym. Nawet przy większym przybliżeniu mapy Here Wego, nie radziły sobie najlepiej w identyfikacji budynków, które nie stanowiły problemu na pozostałych dwóch podkładach. To sugeruje, że Here Wego może mieć najniższą rozdzielczość zdjęć, co wpływa na słabszą wydajność w wykrywaniu obiektów na mapach satelitarnych. Najlepsze wyniki segmentacji budynków uzyskano przy użyciu danych z Google Satellite, co zachęca do ich wykorzystania w analizie miejskiej zabudowy.

Segmentacja dróg

Segmentacja dróg jest pomocna w analizie infrastruktury drogowej, jej planowaniu, monitorowaniu czy optymalizacji ruchu drogowego. Najlepsze efekty, czyli najwięcej wykrytych fragmentów drogi z dużą dokładnością uzyskano na ortofotomapie Poznania, dostępnej w QGIS poprzez wtyczkę QuickMapServices pod nazwą „Poznan 2022 aerial orthophoto”. Nieznacznie gorsze wyniki uzyskała ortofotomapa oferowana przez geoportal. Link do usługi można pobrać ze strony: https://www.geoportal.gov.pl/pl/usluga/uslugi-przegladania-wms-i-wmts/ i dodać ją jako nową warstwę WMS/WMTS do projektu w QGIS.

Tak jak wspomniano w opisie, model dużo lepiej radzi sobie z szerokimi drogami dla samochodów. W przypadku wszystkich zdjęć lotniczych uzyskano wyniki z zadowalającą dokładnością. W przypadku podkładu Bing Aerial za drogę zostało zakwalifikowane również torowisko kolejowe. W prawym górnym rogu znajduje się fragment, gdzie przeważają drogi osiedlowe. Widać bardzo wyraźnie spadek dokładności w segmentacji dróg przez model.

Zdarza się, że wyniki przetwarzania uzyskane z wtyczki Deepness wyglądają na niekompletne – pierwsza próba poniżej – fragmenty obrazu nie mają, żadnych pikseli drogi. W takich sytuacjach zaleca się rozważenie ponownego uruchomienia procesu przetwarzania obrazu. W miarę możliwości można również zwrócić uwagę na informacje zwrotne w logach wtyczki. Zwykle po ponownym przetworzeniu danych można zaobserwować poprawę wyników.

Segmentacja fotowoltaiki

Segmentacja farm fotowoltaicznych na zdjęciach satelitarnych stanowi istotny krok w analizie terenowej oraz w monitorowaniu infrastruktury odnawialnych źródeł energii. Model segmentacji fotowoltaicznej wykazuje wysoką skuteczność w przypadku identyfikacji paneli na budynkach oraz całych farm fotowoltaicznych na zdjęciach satelitarnych dostarczanych przez platformę Google Satellite. Badania wykazały, że model segmentacji fotowoltaicznej dobrze radzi sobie również z wykrywaniem dużych farm fotowoltaicznych na zdjęciach satelitarnych udostępnianych przez platformę MapBox.
W przypadku paneli umieszczonych na dachach budynków na zdjęciach satelitarnych Here Wego i Mapbox model wykrył jedynie niewielkie fragmenty, interpretując je jako panele fotowoltaiczne, podczas gdy w rzeczywistości były to inne elementy, takie jak okna czy detale architektoniczne.

Wykrywanie wierzchołków drzew

Wykrywanie wierzchołków drzew odbywa się na wysokiej rozdzielczości zdjęciach lotniczych. Najlepszą dokładność uzyskano na ortofotomapie Poznania. Jeśli jednak potrzebna jest analiza dla innego miasta niż Poznań, warto skorzystać z „Prawdziwej ortofotomapy” oferowanej przez geoportal. Link do usługi można pobrać z tej samej strony co w przypadku segmentacji dróg i dodać ją jako nową warstwę WMS/WMTS do projektu w QGIS.
Widać jednak, że spora część drzew nie została w ogóle wykryta. Tak jak wspomniano na poczatku, modele nie są uniwersalne i mogą nie działać idealnie na naszych danych. Jeśli występują problemy z którymkolwiek z modeli, warto skontaktować się z autorami wtyczki.

Podsumowanie

Analiza przeprowadzona na różnych modelach segmentacji obrazu wykazała, że mimo pewnych ograniczeń, modele te mogą być wartościowym wsparciem dla użytkowników zajmujących się analizą przestrzenną. Ogólnodostępne zdjęcia lotnicze i satelitarne, takie jak Google Satellite czy ortofotomapy z portalu Geoportal, pozwalają uzyskać wystarczająco dokładne dane, by można wykorzystać je do wstępnych analiz. Pewne niedociągnięcia stanowią dobry punkt wyjścia do dalszych prac nad ulepszeniem modeli segmentacji, celem poprawy ich dokładności i skuteczności w różnych scenariuszach. W sytuacji, gdy dane wymagają bardziej precyzyjnego rozpoznania, otwiera to pole do współpracy z ekspertami ds. uczenia maszynowego w celu stworzenia dedykowanego modelu, który spełni konkretne wymagania użytkownika.

Używając modelu najlepsze wyniki uzyskasz na danych podobnych do tych wykorzystanych w treningu (pora dnia, rozdzielczość przestrzenna, urządzenie wykorzystane do akwizycji, chmury/ich brak – mogą być istotnymi czynnikami).

Sprawdzając różne źródła danych możesz odnaleźć te najlepiej pasujące i wykorzystać je do przeprowadzenia analiz.

Pamiętaj, że model pominie wiele rzeczy (False Negative) oraz wykryje rzeczy których nie ma (False Positive).

Disclaimer by Karol