Na sukces aplikacji lub usługi składa się wiele czynników. Firmy chcąc zwiększyć liczbę potencjalnych klientów, wprowadzają usprawnienia mające ułatwić użytkownikom korzystanie z ich produktów. Coraz więcej mówi się też o odpowiedzialności, jaką mają firmy na otaczającą nas rzeczywistość.
Dostępność cyfrowa jest jednym z tych czynników, które pozytywnie wpływają na postrzeganie firmy. Dostępność cyfrowa to dostosowanie serwisów internetowych oraz aplikacji mobilnych dla osób z różnymi niepełnosprawnościami: wzroku, ruchu, słuchu czy też zaburzeniami poznawczymi. W Polsce obowiązuje ustawa nakazująca instytucjom publicznym dostosowanie swoich usług do kryteriów dostępności cyfrowej. Mimo że ustawa zobowiązuje tylko podmioty publiczne, to coraz więcej firmy dobrowolnie dostosowuje swoje produkty dla osób z niepełnosprawnościami, chcąc umożliwić wszystkim korzystanie ze swoich usług.
Na bootcampie Data Science w infoShare Academy, zespół DataVirus postanowił pomóc firmom w poprawie dostępności swoich produktów i stworzył aplikację do tłumaczenia języka migowego w czasie rzeczywistym.
Skład zespołu
- Małgorzata Szczypiór (GitHub)
- Konrad Grygo (GitHub)
- Bartosz Kulpa (GitHub)
- Dagmara Bromirska (GitHub)
Język migowy ASL
Amerykański język migowy ASL to najbardziej popularny język migowy. Rozpowszechniony w USA oraz krajach anglojęzycznych. ASL powstał na początku XIX wieku w Amerykańskiej Szkole dla Niesłyszących w West Hartford. Szacuje się, że użytkownikami tego języka w USA jest od 250 000 do 500 000 osób. Nauka języka zajmuje od 6 do 8 miesięcy.
Cel projektu
Celem projektu było zbudowanie aplikacji służącej do tłumaczenia języka migowego w czasie rzeczywistym. Aplikacja stworzona została na podstawie modelu sieci neuronowych. Zespól stworzył aplikację przy użyciu frameworka Flask, który na podstawie przekazanego zdjęcia ze znakiem języka migowego pozwala zwrócić odpowiednią predykcję. Aplikacja ma też możliwość tłumaczenia znaków języka migowego z nagrań wideo. Do stworzenia aplikacji użyto bibliotek Keras i Tensorflow. Dalsze prace nad aplikacją pozwoliłby na pełne tłumaczenie znaków w czasie rzeczywistym. Warto zaznaczyć,że zespół uzyskał bardzo dobrą skuteczność predykcji.
Wykorzystanie aplikacji
Nauka języka migowego ASL zajmuję od 6 do 8 miesięcy. Jest to swego rodzaju koszt, który przedsiębiorca musi ponieść, aby np. wyszkolić swojego pracownika. O ile podmioty publiczne są zobligowane do tego, aby umożliwić korzystanie z ich usług osobom z niepełnosprawnościami, o tyle prywatne firmy, które nie mają takiego obowiązku, często rezygnują z tych udogodnień z uwagi na koszty. I tu pojawia się aplikacja zespołu DataVirus, która na żywo, w czasie rzeczywistym mogłaby tłumaczyć język migowy.
Innym ciekawym zastosowaniem takiej aplikacji może być pomoc w nauce języka migowego. Osoba, która chciałaby nauczyć się języka migowego, mogłaby sprawdzić, czy poprawnie używa danych znaków. Z języka migowego korzystają nie tylko osoby z niepełnosprawnościami, ale także np. żołnierze elitarnych jednostek specjalnych. Nauka takiego języka byłaby znacznie szybsza i prostsza.
Model i zbiór
Przy tworzeniu aplikacji zespół użył bazy dostępnej w serwisie Kaggle: Sign Language MNIST. Zbiór był bez wartości pustych. Pojedynczy gest to obrazek zawierający 784 piksele (28×28). Zbiór treningowy zawierał 27 000 obserwacji, podczas gdy testowy to 7 000 rekordów (ok. 21% wszystkich obserwacji).
Na pierwszym etapie tworzenia aplikacji zespół przeprowadził normalizacji danych oraz wizualizację wybranych liter alfabetu za pomocą języka ASL. Zespół przygotował odpowiednio wszystkie dane, które miały być użyte na późniejszym etapie przy tworzeniu modelu. Model powstał w oparciu o konwolucyjne sieci neuronowe (CNN). Wykorzystano m.in.: Max Pool, Dropout i funkcję aktywacji ReLu oraz SoftMax.
Skuteczność modelu
Model przygotowany przez zespół miał skuteczność 97%. Model świetnie sobie radzi ze znakami na jednolitym tle, ale także na tych gdzie ma utrudnione zadanie przez bardziej szczegółowe otoczenie.
Zobacz aplikację w akcji
Kurs weekendowy Data Science w infoShare Academy
Dane stały się prawdziwą walutą w dzisiejszych czasach. Firmy odkryły możliwości, jakie płyną ze zbierania danych. Mocniejsze i tańsze komputery sprawiają, że Data Science jest dostępna dla coraz mniejszych firm, co przekłada się na wzrost zapotrzebowania na specjalistów od danych. Jeśli chcesz nauczyć się wykorzystywać dane i towrzyć takie aplikacje jak powyżej, to zapisz się na bootcamp Data Science.
Dla kogo? Dla osób, które chcą sprawnie nauczyć się programowania od najlepszych trenerów-praktyków na rynku i szukają satysfakcji z pracy poprzez posiadania realnego wpływu na swoją firmę. Podczas intensywnych zajęć dowiesz się w jaki sposób pozyskiwać, agregować i przetwarzać dane. Nauczysz się wykorzystywać Machine Learning.
👉 Weekendowy bootcamp Data Science (przebranżowienie)
Przeczytaj: Data Science – pasjonująca branża z wysokim zarobkami >>
Co możesz robić po bootcampie? Poznaj historie naszych absolwentów!
👉 Elektronikę zamienił na programowanie – historia Jarosława Witowskiego
👉 Zamiast zarządzać finansami rozwija zagraniczną aplikację – historia Magdy Kłopotek
👉 Architektka wnętrz, która została programistką – historia Julii Łojek
