1 research outputs found
Method for visual analysis of driver's face for automatic lip-reading in the wild
Π ΡΠ°Π±ΠΎΡΠ΅ ΠΏΡΠ΅Π΄Π»ΠΎΠΆΠ΅Π½ ΠΌΠ΅ΡΠΎΠ΄ Π²ΠΈΠ·ΡΠ°Π»ΡΠ½ΠΎΠ³ΠΎ Π°Π½Π°Π»ΠΈΠ·Π° ΠΈ ΡΡΠ΅Π½ΠΈΡ ΡΠ΅ΡΠΈ ΠΏΠΎ Π³ΡΠ±Π°ΠΌ Π²ΠΎΠ΄ΠΈΡΠ΅Π»Ρ ΠΏΡΠΈ ΡΠΏΡΠ°Π²Π»Π΅Π½ΠΈΠΈ ΡΡΠ°Π½ΡΠΏΠΎΡΡΠ½ΡΠΌ ΡΡΠ΅Π΄ΡΡΠ²ΠΎΠΌ. ΠΠ²ΡΠΎΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΎΠ΅ ΡΠ°ΡΠΏΠΎΠ·Π½Π°Π²Π°Π½ΠΈΠ΅ ΡΠ΅ΡΠΈ Π² Π°ΠΊΡΡΡΠΈΡΠ΅ΡΠΊΠΈ Π½Π΅Π±Π»Π°Π³ΠΎΠΏΡΠΈΡΡΠ½ΡΡ
Π΄ΠΈΠ½Π°ΠΌΠΈΡΠ΅ΡΠΊΠΈΡ
ΡΡΠ»ΠΎΠ²ΠΈΡΡ
ΡΠ²Π»ΡΠ΅ΡΡΡ ΠΎΠ΄Π½ΠΎΠΉ ΠΈΠ· Π°ΠΊΡΡΠ°Π»ΡΠ½ΡΡ
Π·Π°Π΄Π°Ρ ΠΈΡΠΊΡΡΡΡΠ²Π΅Π½Π½ΠΎΠ³ΠΎ ΠΈΠ½ΡΠ΅Π»Π»Π΅ΠΊΡΠ°. ΠΡΠΎΠ±Π»Π΅ΠΌΠ° ΡΡΡΠ΅ΠΊΡΠΈΠ²Π½ΠΎΠ³ΠΎ Π°Π²ΡΠΎΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΎΠ³ΠΎ ΡΡΠ΅Π½ΠΈΡ ΠΏΠΎ Π³ΡΠ±Π°ΠΌ Π²ΠΎ Π²ΡΠ΅ΠΌΡ Π΄ΠΎΡΠΎΠΆΠ½ΠΎΠ³ΠΎ Π΄Π²ΠΈΠΆΠ΅Π½ΠΈΡ Π½Π° Π΄Π°Π½Π½ΡΠΉ ΠΌΠΎΠΌΠ΅Π½Ρ Π½Π΅ ΡΠ΅ΡΠ΅Π½Π° ΠΈΠ·-Π·Π° Π½Π°Π»ΠΈΡΠΈΡ ΡΠ°Π·Π»ΠΈΡΠ½ΠΎΠ³ΠΎ ΡΠΎΠ΄Π° ΠΏΠΎΠΌΠ΅Ρ
(ΡΠ°ΡΡΡΠ΅ ΠΏΠΎΠ²ΠΎΡΠΎΡΡ Π³ΠΎΠ»ΠΎΠ²Ρ, Π²ΠΈΠ±ΡΠ°ΡΠΈΡ, Π΄ΠΈΠ½Π°ΠΌΠΈΡΠ΅ΡΠΊΠΎΠ΅ ΠΎΡΠ²Π΅ΡΠ΅Π½ΠΈΠ΅ ΠΈ Ρ.ΠΏ.). ΠΡΠΎΠΌΠ΅ ΡΠΎΠ³ΠΎ, ΠΏΡΠΎΠ±Π»Π΅ΠΌΠ° ΡΡΠ»ΠΎΠΆΠ½ΡΠ΅ΡΡΡ ΠΎΡΡΡΡΡΡΠ²ΠΈΠ΅ΠΌ ΠΏΡΠ΅Π΄ΡΡΠ°Π²ΠΈΡΠ΅Π»ΡΠ½ΡΡ
Π±Π°Π· Π΄Π°Π½Π½ΡΡ
Π²ΠΈΠ·ΡΠ°Π»ΡΠ½ΠΎΠΉ ΡΠ΅ΡΠΈ. ΠΠ»Ρ ΠΏΠΎΠΈΡΠΊΠ° ΠΈ ΠΈΠ·Π²Π»Π΅ΡΠ΅Π½ΠΈΡ ΠΎΠ±Π»Π°ΡΡΠΈ ΠΈΠ½ΡΠ΅ΡΠ΅ΡΠ° ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΡΡΡ ΠΏΡΠΎΠ³ΡΠ°ΠΌΠΌΠ½Π°Ρ Π±ΠΈΠ±Π»ΠΈΠΎΡΠ΅ΠΊΠ° MediaPipe Face Mesh. ΠΠ»Ρ Π°Π½Π°Π»ΠΈΠ·Π° Π²ΠΈΠ·ΡΠ°Π»ΡΠ½ΠΎΠΉ ΡΠ΅ΡΠΈ ΡΠ°Π·ΡΠ°Π±ΠΎΡΠ°Π½Π° ΠΈΠ½ΡΠ΅Π³ΡΠ°Π»ΡΠ½Π°Ρ Π½Π΅ΠΉΡΠΎΡΠ΅ΡΠ΅Π²Π°Ρ Π°ΡΡ
ΠΈΡΠ΅ΠΊΡΡΡΠ° (End-to-End). ΠΠΈΠ·ΡΠ°Π»ΡΠ½ΡΠ΅ ΠΏΡΠΈΠ·Π½Π°ΠΊΠΈ ΠΈΠ·Π²Π»Π΅ΠΊΠ°ΡΡΡΡ ΠΈΠ· ΠΎΡΠ΄Π΅Π»ΡΠ½ΠΎΠ³ΠΎ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΡ Ρ ΠΏΠΎΠΌΠΎΡΡΡ ΡΠ²ΡΡΡΠΎΡΠ½ΠΎΠΉ Π½Π΅ΠΉΡΠΎΠ½Π½ΠΎΠΉ ΡΠ΅ΡΠΈ Π² ΡΠ²ΡΠ·ΠΊΠ΅ Ρ ΠΏΠΎΠ»Π½ΠΎΡΠ²ΡΠ·Π½ΡΠΌ ΡΠ»ΠΎΠ΅ΠΌ. ΠΠ·Π²Π»Π΅ΡΠ΅Π½Π½ΡΠ΅ Π½Π΅ΠΉΡΠΎΡΠ΅ΡΠ΅Π²ΡΠ΅ ΠΏΡΠΈΠ·Π½Π°ΠΊΠΈ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΠΉ ΡΠ²Π»ΡΡΡΡΡ Π²Ρ
ΠΎΠ΄Π½ΡΠΌΠΈ Π΄Π°Π½Π½ΡΠΌΠΈ Π΄Π»Ρ Π½Π΅ΠΉΡΠΎΡΠ΅ΡΠΈ Ρ Π΄Π»ΠΈΠ½Π½ΠΎΠΉ ΠΊΡΠ°ΡΠΊΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΠΎΠΉ ΠΏΠ°ΠΌΡΡΡΡ. Π ΡΠ²ΡΠ·ΠΈ Ρ Π½Π΅Π±ΠΎΠ»ΡΡΠΈΠΌ ΠΎΠ±ΡΠ΅ΠΌΠΎΠΌ ΠΎΠ±ΡΡΠ°ΡΡΠΈΡ
Π΄Π°Π½Π½ΡΡ
Π±ΡΠ»ΠΎ ΠΏΡΠ΅Π΄Π»ΠΎΠΆΠ΅Π½ΠΎ ΠΏΡΠΈΠΌΠ΅Π½ΡΡΡ ΠΌΠ΅ΡΠΎΠ΄ ΠΏΠ΅ΡΠ΅Π½ΠΎΡΠ° ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ. Π Π΅Π·ΡΠ»ΡΡΠ°ΡΡ ΠΏΠΎ Π°Π½Π°Π»ΠΈΠ·Ρ ΠΈ ΡΠ°ΡΠΏΠΎΠ·Π½Π°Π²Π°Π½ΠΈΡ Π²ΠΈΠ·ΡΠ°Π»ΡΠ½ΠΎΠΉ ΡΠ΅ΡΠΈ Π²ΠΎΠ΄ΠΈΡΠ΅Π»Ρ Π² ΠΏΡΠΎΡΠ΅ΡΡΠ΅ ΡΠΏΡΠ°Π²Π»Π΅Π½ΠΈΡ Π°Π²ΡΠΎΠΌΠΎΠ±ΠΈΠ»Π΅ΠΌ ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»ΡΡΡ Π±ΠΎΠ»ΡΡΠΈΠ΅ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΠΈ Π΄Π»Ρ ΡΠ΅ΡΠ΅Π½ΠΈΡ Π°ΠΊΡΡΠ°Π»ΡΠ½ΠΎΠΉ Π·Π°Π΄Π°ΡΠΈ Π°Π²ΡΠΎΠΌΠ°ΡΠΈΡΠ΅ΡΠΊΠΎΠ³ΠΎ ΡΡΠ΅Π½ΠΈΡ ΠΏΠΎ Π³ΡΠ±Π°ΠΌ. ΠΠΊΡΠΏΠ΅ΡΠΈΠΌΠ΅Π½ΡΠ°Π»ΡΠ½ΡΠ΅ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Π½ΠΈΡ Π²ΡΠΏΠΎΠ»Π½Π΅Π½Ρ Π½Π° ΡΠΎΠ±ΡΡΠ²Π΅Π½Π½ΠΎΠΌ Π°ΡΠ΄ΠΈΠΎΠ²ΠΈΠ·ΡΠ°Π»ΡΠ½ΠΎΠΌ ΠΊΠΎΡΠΏΡΡΠ΅ ΡΡΡΡΠΊΠΎΠΉ ΡΠ΅ΡΠΈ RUSAVIC, ΡΠΎΠ±ΡΠ°Π½Π½ΠΎΠΌ Π² ΡΠ΅Π°Π»ΡΠ½ΡΡ
ΡΡΠ»ΠΎΠ²ΠΈΡΡ
Π΄ΠΎΡΠΎΠΆΠ½ΠΎΠ³ΠΎ Π΄Π²ΠΈΠΆΠ΅Π½ΠΈΡ. ΠΠ°ΠΊΡΠΈΠΌΠ°Π»ΡΠ½Π°Ρ ΡΠΎΡΠ½ΠΎΡΡΡ Π²ΠΈΠ·ΡΠ°Π»ΡΠ½ΠΎΠ³ΠΎ ΡΠ°ΡΠΏΠΎΠ·Π½Π°Π²Π°Π½ΠΈΡ 62 Π³ΠΎΠ»ΠΎΡΠΎΠ²ΡΡ
ΡΠΏΡΠ°Π²Π»ΡΡΡΠΈΡ
ΠΊΠΎΠΌΠ°Π½Π΄ Π²ΠΎΠ΄ΠΈΡΠ΅Π»Π΅ΠΉ ΡΠΎΡΡΠ°Π²ΠΈΠ»Π° 64,09 %. ΠΠΎΠ»ΡΡΠ΅Π½Π½ΡΠ΅ ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΡ ΠΌΠΎΠ³ΡΡ Π±ΡΡΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½Ρ Π² ΡΠΈΡΡΠ΅ΠΌΠ°Ρ
Π°ΡΠ΄ΠΈΠΎΠ²ΠΈΠ·ΡΠ°Π»ΡΠ½ΠΎΠ³ΠΎ ΡΠ°ΡΠΏΠΎΠ·Π½Π°Π²Π°Π½ΠΈΡ ΡΠ΅ΡΠΈ, ΠΏΡΠΈΠΌΠ΅Π½ΡΠ΅ΠΌΡΡ
Π² Π°ΠΊΡΡΡΠΈΡΠ΅ΡΠΊΠΈ ΡΠ»ΠΎΠΆΠ½ΠΎΠΉ ΠΎΠ±ΡΡΠ°Π½ΠΎΠ²ΠΊΠ΅ Π΄ΠΎΡΠΎΠΆΠ½ΠΎΠ³ΠΎ Π΄Π²ΠΈΠΆΠ΅Π½ΠΈΡ (Π²ΡΡΠΎΠΊΠ°Ρ ΡΠΊΠΎΡΠΎΡΡΡ Π΄Π²ΠΈΠΆΠ΅Π½ΠΈΡ, ΠΎΡΠΊΡΡΡΡΠ΅ ΠΎΠΊΠ½Π° ΠΈΠ»ΠΈ Π»ΡΠΊ Π² Π°Π²ΡΠΎΠΌΠΎΠ±ΠΈΠ»Π΅, ΠΎΠ΄Π½ΠΎΠ²ΡΠ΅ΠΌΠ΅Π½Π½ΠΎΠ΅ ΠΏΡΠΎΠΈΠ³ΡΡΠ²Π°Π½ΠΈΠ΅ ΠΌΡΠ·ΡΠΊΠΈ, ΡΠ»Π°Π±Π°Ρ ΡΡΠΌΠΎΠΈΠ·ΠΎΠ»ΡΡΠΈΡ ΠΈ Ρ.ΠΏ.).Π Π°Π±ΠΎΡΠ° Π²ΡΠΏΠΎΠ»Π½Π΅Π½Π° ΠΏΡΠΈ ΠΏΠΎΠ΄Π΄Π΅ΡΠΆΠΊΠ΅ ΠΏΡΠΎΠ΅ΠΊΡΠ° ΡΠΎΠ½Π΄Π° Π Π€Π€Π β 19-29-09081-ΠΌΠΊ, Π²Π΅Π΄ΡΡΠ΅ΠΉ Π½Π°ΡΡΠ½ΠΎΠΉ ΡΠΊΠΎΠ»Ρ ΠΠ¨-17.2022.1.6, Π° ΡΠ°ΠΊΠΆΠ΅ ΡΠ°ΡΡΠΈΡΠ½ΠΎ Π² ΡΠ°ΠΌΠΊΠ°Ρ
Π±ΡΠ΄ΠΆΠ΅ΡΠ½ΠΎΠΉ ΡΠ΅ΠΌΡ β FFZF-2022-0005