Igapäevaselt luuakse sadu uusi äppe, kuid vaid üksikud nendest on suunatud spetsiaalset abi vajavatele inimestele. Tehnoloogiaettevõte lõi rakenduse, mis tänu tehisintellektile suudab “näidata“ emotsioone nägemispuudega või pimedatele inimestele.

“Pimedatele on olemas rakendused, mis on mõeldud nende igapäevaelu abistamiseks, kuid nägime vajadust, millele polnud lahendust veel loodud. Tahtsime luua rakendust, mis võiks parandada pimedate suhtlemist, lugedes vestluskaaslase emotsioone ja tõlkides need helideks, mis tähendaksid kindlaid emotsioone,“ selgitas Poola loovtehnoloog Szymon P. Peplinski.

Pimedad ja nägemispuudega inimesed on tundlikumad puudutuse ja heli suhtes ning see aitab neil igapäevaelus toime tulla. Kuid näiteks mitteverbaalse suhtluse puhul võib neile keeruliseks kujuneda teistega kõnelemine, kuna nad ei taju teise inimese näoilmeid. “Selle parandamiseks valisime välja universaalsed emotsioonid, mida väljendatakse sarnaselt üle maailma ja mis olid meil olemas juba siis, kui me ei osanud rääkida. Need peamised emotsioonid on õnn, kurbus, üllatus, hirm, vastikus, põlgus ja viha. Katsetamisfaasis suutsid meie nägemispuudega konsultandid seda meile kinnitada,“ ütles Peplinski.

Poola loovtehnoloog soovis nägemispuudega inimesed kaasata igasse projekteerimisprotsessi etappi, seega tehti algust pimedate vabatahtlike grupiga. “Alustasime intervjuudega, määratledes nende vajadused ja ootused, seejuures oli oluline mõista, kuidas nad nutitelefone igapäevaselt kasutavad. Testimise käigus nägime kui intuitiivselt ja lihtsasti nad Androidi süsteemi kasutasid ning selle teadmisega arendasime välja esimesed prototüübid, kohandades näotuvastus- ja tuvastamismoodulit ning ehitades emotsioonimudeleid masinaõpet kasutades,“ selgitas Peplinski. Loovtehnoloogi hinnangul oli selline koostöö äärmiselt vajalik, kuna aitas neil paremini mõista, mida vajavad nägemispuudega inimesed nutitelefoni juures.

Rakenduse toimimiseks oli oluline, et nutitelefon omaks tehisintellekti, mis oleks suutlik ja õpivõimeline. “Huawei Mate 20 Pro tehniline keerukus andis võimaluse pilditöötluseks reaalajas, suunates telefoni tagakaamera ühele või mitmele inimesele, registreerib rakendus näod kuni 3 meetri kauguselt, tuvastab pidevalt kõik muutused ja teavitab kasutajat,“ ütles loovtehnoloog. Seejärel kasutab pildialgoritm fotoanalüüsi, et ära tunda ükskõik millisest seitsmest eelnevalt määratletud põhiemotsioonist. Niipea kui AI tunneb emotsioone, kuuleb kasutaja telefonist igale emotsioonile omistatud erilist helisignaali.

AI suudab registreerida ka emotsioonimuutusi ehk nägemispuudega kasutajad saavad näha teiste inimeste reaktsioone, mida nad ütlevad või teevad, isegi kui teine ​​isik ei räägi. Teine vajalik omadus on suutlikkus analüüsida ka gruppe ja teavitada grupi emotsioonide muutustest, andes ruumilise helisignaali iga inimese asukoha osas.

Rakenduses olevad emotsioonide helid valmisid koostöös pimeda helilooja Tomasz Bilecki abiga. Helilooja juhib ka oma podcasti, mis on suunatud pimedatele ja nägemispuudega inimestele ning osales nähtamatu näituse loomisel, mis oli eriline selle poolest, et näituse ala oli ilma valguseta.

Loovtehnoloogi ja helilooja sooviks oli luua igale emotsioonile vastavad ja kergesti äratuntavad helid, mis on lühikesed, kokkuvõtlikud ning pole pealetükkivad. “Tahtsime, et helid ei häiriks vestlusi ega teisi inimesi. Samal ajal pidid need olema kuuldavad ka näiteks ülerahvastatud ruumis või tuulise ilma käes. Selleks lasime vabatahtlike grupil kontrollida erinevates oludes helisid ning neid hinnata,“ sõnas Peplinski.

Peamiseks väljakutseks kujunes algoritmidele võrdleva andmebaasi loomine. Esile tuli tuua seitse emotsiooni tuhandetest nägudest ja õpetada, kuidas neid üksteisest eristada. Algoritmi jaoks oli kõige keerulisem teha vahet väikeste erinevustega emotsioonidel nagu põlgus ja vastikus. Seepärast pidid andmekogumid olema piisavalt laiaulatuslikud ja täpselt määratletud, et algoritmide ebamäärasus kõrvaldada. Andmebaasi loomine oli projekti kõige aeganõudvam osa Peplinski hinnangul.

Kui sulle see lugu meeldis, siis toeta sõltumatut rohelist meediat   Anneta