مجله: sciencedaily

محققان علوم کامپیوتر نشان داده‌اند که یک تکنیک پرکاربرد به نام هرس شبکه عصبی می‌تواند بر عملکرد مدل‌های یادگیری عمیق تأثیر منفی بگذارد، جزئیاتی را که باعث این مشکلات عملکردی می‌شود، و تکنیکی برای رسیدگی به این چالش نشان دادند.

یادگیری عمیق نوعی هوش مصنوعی است که می تواند برای طبقه بندی چیزهایی مانند تصاویر، متن یا صدا استفاده شود. به عنوان مثال، می توان از آن برای شناسایی افراد بر اساس تصاویر چهره استفاده کرد. با این حال، مدل‌های یادگیری عمیق اغلب به منابع محاسباتی زیادی برای کار کردن نیاز دارند. هنگامی که یک مدل یادگیری عمیق برای برخی از برنامه ها به کار گرفته می شود، این امر چالش هایی را ایجاد می کند. برای مقابله با این چالش ها، برخی از سیستم ها درگیر «هرس شبکه عصبی» هستند. این به طور موثر باعث می‌شود که مدل یادگیری عمیق فشرده‌تر شود و در نتیجه بتواند با استفاده از منابع محاسباتی کمتری کار کند.

جونگ یون کیم، یکی از نویسندگان مقاله در مورد این کار و استادیار علوم کامپیوتر در دانشگاه ایالت کارولینای شمالی، می گوید: "با این حال، تحقیقات ما نشان می دهد که این هرس شبکه می تواند توانایی مدل های یادگیری عمیق برای شناسایی برخی گروه ها را مختل کند."

به عنوان مثال، اگر یک سیستم امنیتی از یادگیری عمیق برای اسکن چهره افراد استفاده می کند تا مشخص کند که آیا آنها به یک ساختمان دسترسی دارند یا خیر، مدل یادگیری عمیق باید فشرده باشد تا بتواند به طور موثر عمل کند. این ممکن است در بیشتر موارد به خوبی کار کند. زمان، اما هرس شبکه همچنین می تواند بر توانایی مدل یادگیری عمیق در شناسایی برخی از چهره ها تأثیر بگذارد.

در مقاله جدید خود، محققان توضیح می‌دهند که چرا هرس شبکه می‌تواند بر عملکرد مدل در شناسایی گروه‌های خاص تأثیر منفی بگذارد - که ادبیات آن‌ها را "گروه‌های اقلیت" می‌نامند - و تکنیک جدیدی را برای رسیدگی به این چالش‌ها نشان می‌دهند.

دو عامل توضیح می دهد که چگونه هرس شبکه می تواند عملکرد مدل های یادگیری عمیق را مختل کند. از نظر فنی، این دو عامل عبارتند از: نابرابری در هنجارهای گرادیان در بین گروه ها. و نابرابری در هنجارهای هسی مرتبط با نادرستی داده های یک گروه. از نظر عملی، این بدان معناست که مدل‌های یادگیری عمیق می‌توانند در تشخیص دسته‌های خاصی از تصاویر، صداها یا متن دقت کمتری داشته باشند. به طور خاص، هرس شبکه می‌تواند نقص‌های دقت را که قبلاً در مدل وجود داشت، تقویت کند.

به عنوان مثال، اگر یک مدل یادگیری عمیق برای تشخیص چهره ها با استفاده از مجموعه داده ای که شامل چهره 100 سفیدپوست و 60 آسیایی است آموزش داده شود، ممکن است در تشخیص چهره های سفید پوست دقیق تر باشد، اما همچنان می تواند عملکرد مناسبی برای تشخیص چهره های آسیایی داشته باشد. . پس از هرس شبکه، مدل به احتمال زیاد قادر به تشخیص برخی از چهره های آسیایی نیست.

کیم می‌گوید: «این کمبود ممکن است در مدل اصلی قابل‌توجه نبوده باشد، اما از آنجایی که با هرس شبکه تقویت می‌شود، ممکن است کمبود قابل توجه باشد.»

کیم می‌گوید: «برای کاهش این مشکل، رویکردی را نشان داده‌ایم که از تکنیک‌های ریاضی برای برابر کردن گروه‌هایی که مدل یادگیری عمیق برای دسته‌بندی نمونه‌های داده استفاده می‌کند، استفاده می‌کند. به عبارت دیگر، ما از الگوریتم‌هایی برای رفع شکاف در دقت در گروه‌ها استفاده می‌کنیم.»

در آزمایش، محققان نشان دادند که استفاده از تکنیک کاهش آنها، عادلانه بودن یک مدل یادگیری عمیق را که تحت هرس شبکه قرار گرفته بود، بهبود بخشید و اساساً آن را به سطوح دقت قبل از هرس برگرداند.

کیم می‌گوید: «من فکر می‌کنم مهم‌ترین جنبه این کار این است که ما اکنون درک کامل‌تری از اینکه چگونه هرس شبکه می‌تواند بر عملکرد مدل‌های یادگیری عمیق برای شناسایی گروه‌های اقلیت، چه از لحاظ نظری و چه از لحاظ تجربی، تأثیر بگذارد، داریم. ما همچنین آماده همکاری با شرکا برای شناسایی اثرات ناشناخته یا نادیده گرفته شده تکنیک های کاهش مدل، به ویژه در برنامه های کاربردی دنیای واقعی برای مدل های یادگیری عمیق هستیم."

مقاله «هرس تأثیر متفاوتی بر دقت مدل دارد» در سی و ششمین کنفرانس سیستم‌های پردازش اطلاعات عصبی (NeurIPS 2022)  که از 28 نوامبر تا دسامبر برگزار می‌شود، ارائه خواهد شد. 9 در نیواورلئان. اولین نویسنده مقاله کونگ تران از دانشگاه سیراکیوز است. این مقاله توسط فردیناندو فیورتو از سیراکوز و توسط راکشیت نایدو از دانشگاه کارنگی ملون نوشته شده است.

این کار با حمایت بنیاد ملی علوم، تحت کمک های مالی SaTC-1945541، SaTC-2133169 و CAREER-2143706 انجام شد. و همچنین برنده یک جایزه محقق تحقیقاتی گوگل و یک جایزه تحقیقاتی آمازون شد.

لینک مطلب: https://www.sciencedaily.com/releases/2022/11/221102115535.htm

منبع: Materials provided by North Carolina State University. Original written by Matt Shipman. Note: Content may be edited for style and length.