Arckép hangelemzés alapján – A biometria határai?

Elképesztő ütemben és sokféleségben láthatjuk az arfelismeréses technológiák térhódítást (lásd jelen írás végén, kapcsolódó cikkeinket). A legújabb hír a témában, hogy a közelmúltban megjelent tanulmányukban a MIT Számítástechnika és Mesterséges Intelligencia Laboratóriumának kutatói egy olyan módszert mutattak be , amely viszonylagos pontossággal képes hangminta alapján is egy személy arcát.

Forrás: neurohive.io

Forrás: neurohive.io

Bátorkodunk feltételezni , hogy az alábbi módszer tömeges alkalmazása – nem kevés, egyebek között adatvédelmi és egyéb kérdőjel mellett – azért nem a közeljövő kihívása lesz. A szerk.

A Speech2Face

A “Speech2Face: A Hang Mögött Lévő Arc Megismerése” projekt feltételezi az arcstruktúra bizonyos elemei és a hang közötti korrelációkat. A kutatók egy olyan neurális hálózati architektúrát fejlesztettek, amely kifejezetten az audio rekonstrukció feladatának elvégzésére készült, a módszerhez a Youtube-ból és más internetforrásokból gyűjtött személyek természetes videóit használták. A kutatók arcok és a beszédek szinkronizálását veszik alapul a videókban, hogy megtanulják a személy arcának rekonstrukcióját a beszédszegmensekből.

Forrás: neurohive.io

Forrás: neurohive.io

A technológiában a fejlesztők egy előre beállított arc felismerő, valamint arc dekódoló modell segítségével dolgoznak, amely bemeneti formában egy látens vektort hoz létre és egy rekonstrukcióval ellátott képet ad ki. A videókat kép és hang alapon felbontják, majd párhuzamosan továbbítják két architekturába. A képeket a már fent említett látens vektor alapján az előre betanított arc felismerő modell komponensbe továbbítják (Face Recognition), míg a hangot (Waveform) egy spektrográfba, amely a konvolúciós architektúrát használja. A hang kódolóból érkezett módosított vektor ezt követően a kép dekódoló részbe visszatöltik, ezáltal kapva meg a végső arc felismerést.

Forrás: neurohive.io

Forrás: neurohive.io

A metódus értékelése kapcsán látszik, hogy a megoldás képes az eredeti archoz jelentősen hasonlító arc előállítására (Minket azért a csatolt kép annyira nem győzött meg. A szerk). A fejlesztők készítettek egy oldalt, melyen a mintavételi teszt eredményei láthatók.. A témában írt tudományos értekezés felkerült a 2019-es IEEE Conference on Computer Vision and Pattern Recognition (CVPR) listájára, mint a konferencia által támogatott dokumentum.

Forrás: neurohive.io

Kapcsolódó cikkek: