محققان در حال توسعه فناوری جدیدی هستند که از حرکات دست برای اجرای دستورات در رایانه استفاده می کند.

نمونه اولیه که "Typealike" نام دارد از طریق یک وب کم لپ تاپ معمولی با یک آینه ساده کار می کند. این برنامه دست‌های کاربر را در کنار یا نزدیک کیبورد تشخیص می‌دهد و بر اساس موقعیت‌های مختلف دست، عملیات انجام می‌دهد.

برای مثال، یک کاربر می تواند دست راست خود را با انگشت شست رو به بالا در کنار صفحه کلید قرار دهد و برنامه آن را به عنوان سیگنالی برای افزایش صدا تشخیص دهد. حرکات مختلف و ترکیبات مختلف حرکات را می توان برای انجام طیف وسیعی از عملیات برنامه ریزی کرد.

هدف نوآوری در زمینه تعامل انسان و رایانه، ایجاد تجربه کاربر سریعتر و روانتر، بدون نیاز کمتر به میانبرهای صفحه کلید یا کار با ماوس و ترک پد است.

نالین چیبر، فارغ‌التحصیل اخیر کارشناسی ارشد از دانشکده علوم کامپیوتر چریتون دانشگاه واترلو، می‌گوید: «این کار با یک ایده ساده در مورد روش‌های جدید استفاده از وب‌کم شروع شد. "وب کم به سمت صورت شما نشانه رفته است، اما بیشترین تعاملی که روی کامپیوتر اتفاق می افتد، اطراف دستان شماست. بنابراین ما فکر کردیم، اگر وب کم بتواند حرکات دست را بگیرد، چه کاری می توانیم انجام دهیم؟"

بینش اولیه منجر به ایجاد یک پیوست مکانیکی کوچک شد که وب کم را به سمت پایین به سمت دست ها هدایت می کرد. سپس تیم یک برنامه نرم افزاری ایجاد کرد که قادر به درک حرکات دست متمایز در شرایط متغیر و برای کاربران مختلف است. این تیم از تکنیک های یادگیری ماشین برای آموزش برنامه Typealike استفاده کرد.

فابریس ماتولیک، محقق ارشد شرکت Preferred Networks و محقق سابق پسا دکتری در واترلو، گفت: «این یک شبکه عصبی است، بنابراین باید نمونه‌های الگوریتمی را که می‌خواهید کشف کنید نشان دهید». برخی از افراد ژست‌ها را کمی متفاوت انجام می‌دهند، و اندازه دست‌ها متفاوت است، بنابراین باید داده‌های زیادی را از افراد مختلف با شرایط نوری متفاوت جمع‌آوری کنید.

این تیم پایگاه داده ای از حرکات دست را با ده ها داوطلب پژوهشی ثبت کرد. آنها همچنین از داوطلبان خواستند آزمایش‌ها و نظرسنجی‌هایی انجام دهند تا به تیم کمک کنند تا بدانند چگونه برنامه را تا حد امکان کاربردی و همه‌کاره کنند.

دانیل ووگل، دانشیار علوم کامپیوتر در واترلو می گوید: «ما همیشه در تلاش هستیم تا چیزهایی را بسازیم که مردم به راحتی از آن استفاده کنند. "مردم به چیزی مانند Typealike یا سایر فناوری‌های جدید در زمینه تعامل انسان و کامپیوتر نگاه می‌کنند و می‌گویند که منطقی است. این چیزی است که ما می‌خواهیم. ما می‌خواهیم فناوری بصری و ساده بسازیم، اما گاهی اوقات برای انجام این کار نیاز است. بسیاری از تحقیقات پیچیده و نرم افزارهای پیچیده."

محققان می گویند برنامه های کاربردی دیگری برای برنامه Typealike در واقعیت مجازی وجود دارد که می تواند نیاز به کنترل کننده های دستی را از بین ببرد.

منبع : sciencedaily

عنوان انگلیسی :  System recognizes hand gestures to expand computer input on a keyboard

لینک مطلب : https://www.sciencedaily.com/releases/2022/01/220105094430.htm