Sztuczna inteligencja w połączeniu ze sztuką w Muzeum Narodowym w Warszawie! Muzeum zorganizowało hackathon mający na celu wytworzenie rozwiązań wykorzystujących sztuczną inteligencję, które zachęcą do odwiedzin.
Hackathon
Do udziału zostały zaproszone osoby doświadczone jak i początkujące: programiści, graficy, projektanci interakcji, analitycy danych oraz osoby zajmujące się marketingiem czy sztuką. Powstało 8 zespołów, jeden czteroosobowy i pozostałe pięcioosobowe. Hackathon odbył się w dniach 26-27 Maja 2018. Pierwszego dnia celem było wykrystalizowanie pomysłu. W tym zadaniu pomagali mentorzy którzy byli dostępni także drugiego dnia.
Konkurs wygrał zespół DS, ale zanim o aplikacji zobaczmy jak były zdefiniowane wyzwania.
Wyzwania
- Jak zachęcić użytkowników naszych mediów społecznościowych (Facebook, Instagram, Twitter) do interakcji z Muzeum, do poznawania jego zasobów, oferty kulturalnej i edukacyjnej?
- Jak udostępniać i upowszechniać zasoby Muzeum młodym odbiorcom w sposób zabawny i niesztampowy?
- Jak zachęcić osoby niezainteresowane wcześniej sztuką ani zasobami Muzeum, jego ofertą kulturalną i edukacyjną?
- Jak pomóc użytkownikom Muzeum eksplorować kolekcje zarówno te wirtualne jak i znajdujące się na terenie budynku Muzeum?
- Jak ułatwić sprzedaż biletów online i dostęp do informacji praktycznych dotyczących działalności Muzeum?
Zespół DS
Zespół składa się z pięciu osób:
Skarby muzeum
Razem stworzyliśmy Skarby muzeum – aplikację webową oparta na głębokich sieciach neuronowych, która zamienia każdą wizytę w Muzeum, w poszukiwanie tajemnic ukrytych na obrazach. Dzięki tej aplikacji rodzice i dzieci wspólnie wybierają, jakie tajemnice będą odkrywać.
Wybór kategorii poszukiwań
Dzięki naszemu rozwiązaniu chcieliśmy zmienić wizytę w Muzeum w formę aktywności i rozrywki dla dzieci. Równocześnie chcieliśmy zachęcić rodziny do odwiedzania Muzeum i wzbudzić zainteresowanie zasobami. Dzięki tej aplikacji każdy otrzyma niestandardowy, indywidualny plan zwiedzania. Użytkownicy będą mogli połączyć aspekt edukacyjny z aktywnym spędzaniem czasu. Co najważniejsze dla użytkowników, będą oni mogli spędzić wspólnie czas na zabawie ze swoimi dziećmi.
Znajdź ukryte szczegóły na obrazach!
Fragmenty obrazów do znalezienia
Nasze rozwiązanie to także kożyści dla Muzeum takie jak zachęcenie do cyklicznych wizyt czy zaangażowanie i edukacja najmłodszych. Ciekawym efektem ubocznym jest automatyczna klasyfikacja zbiorów z wykorzystaniem sieci neuronowych. Przetestowaliśmy rozwiązanie które pozwoli na wstępną kategoryzację zbiorów na podstawie zawartości obrazów, tak by nie trzeba było wykonywać ręcznie całej pracy.
Do realizacji naszej aplikacji wykorzystaliśmy poniższe technologie:
- Tensorflow Object detection API
- Wykrywanie obiektów – 545 klas
- Google Cloud Vision API
- Etykiety per obraz
- Wykrywanie twarzy
- Safe Search
- Vue.js
- Aplikacja web
- Microsoft Azure Cognitive Services
- Wykrywanie twarzy
- Ocena wieku i płci
Minimum viable product (MVP)
- Responsywna aplikacja webowa
- Automatyczna kategoryzacja obrazów (AI)
- Indywidualne trasy zwiedzania muzeum
- Mapa online/offline (Pdf)
Kierunki rozwoju:
- Dodatkowe opisy dzieł, historie → edukacja
- Interaktywna mapa z lokalizacją obiektów
- Wersja dla różnych grup wiekowych, również dla młodzieży i dorosłych
- Audio przewodnik w aplikacji (Amazon Polly)
- Stacjonarny kiosk z pulpitem z aplikacją/drukowanie map
Mentorzy
Bardzo chciałem tu wszystkich wypisać, ale nie wniosę nic ponadto co można znaleźć na stronie konkursu.
Jury
- Eliza Kruczkowska – dyrektor ds. rozwoju i innowacji, Polski Fundusz Rozwoju
- dr Aleksandra Przegalińska – ekspertka w dziedzinie filozofii sztucznej inteligencji
- Mateusz Labuda – zastępca dyrektora MNW
- Magda Biernat – dyrektorka zarządzająca Centrum Cyfrowego
- dr Andrzej Kuśmierz – współzałożyciel Warszawskiego Akceleratora Technologicznego WAW.ac
- dr Renata Włoch – Instytut Socjologii UW / DELAB UW
