طی یک دهه گذشته، دانشمندان تکنیک‌های یادگیری ماشین (ML) را توسعه داده‌اند که به طور چشمگیری در انجام وظایف خود عملکرد خوبی ارائه می‌دهند. در حالی که این الگوریتم‌ها برای تقلید مهارت‌های انسان طراحی شده‌اند، همچنان کمبود ابزاری برای مقایسه توانایی‌های آن‌ها با انسان وجود دارد.
اخیراً دو محقق در دانشگاه Savitribai Phule Pune هند فریم‌ورکی را برای ارزیابی توانایی یادگیری ماشین ایجاد کرده‌اند. این چارچوب منحصر به فرد، که در مقاله‌ای در ژورنال Cognitive Systems Research Elsevier منتشر شده است، عملیات مقایسه خود را توسط تئوری‌های روانشناسی و علوم شناخت ماشین انجام می‌دهد.
سورنا کادام، یکی از محققان این مطالعه به TechXplore گفت: “انسان می‌تواند تعمیم دهد، اما این کار برای ماشین‌آلات کاملاً چالش برانگیز است. تجزیه و تحلیل روش‌های پیشرفته به ما فهماند که معیارهای ارزیابی عملکرد چقدر درست هستند، اما اغلب ما متوجه نمی‌شویم که آیا یک ماشین در حال درک و انجام وظیفه خود است یا صرفاً تقلید می‌کند.”
هنگامی که کادام و سرپرست او، وینای ویدیا فهمیدند برای ارزیابی تکنیک‌های یادگیری ماشین (ML) روش معتبری وجود ندارد، شروع به پرسیدن سوالات اساسی در مورد شناخت ماشین و چگونگی ارزیابی موثر آن کردند. سرانجام آن‌ها تصمیم گرفتند فریم‌ورکی ساختاری طراحی کنند که به محققان کمک کند تا بتوانند درک کنند چگونه ماشین‌ها مهارت‌های جدیدی کسب می‌کنند و میزان واقعی این مهارت‌ها را ارزیابی کنند. فریم‌ورکی که آن‌ها ایجاد کردند، یک روش ساده برای تفکر در مورد شناخت ماشین را ارائه می‌دهد که موازی با شناخت انسان است.
کادام توضیح داد: “ما تصمیم گرفتیم از چگونگی تفکر جمعی بشریت در مورد یادگیری و نحوه اندازه‌گیری یادگیری انسان استفاده کنیم. فریم‌ورک ما از نظریه‌های روانشناسی برای ارائه راهنمایی‌های گام به گام جهت ارزیابی یادگیری ماشین استفاده می‌کند. طبق این فریم‌ورک ابتدا وظایف باید بر اساس دشواری شناختی طبقه‌بندی شوند. سپس فریم‌ورک پیشنهاد می‌دهد که ما وظایف انسانی را لیست کنیم و بررسی کنیم که اجرای آن‌ها برای ماشین‌ها ساده است یا چالش برانگیز.”
چارچوبی که توسط Kadam و Vaidya ایجاد شده، به منظور مقایسه دشواری یا سهولت کاری نسبت به یک کار دیگر طراحی شده است. یادگیری انسان همواره براساس عملکرد یادگیرنده در انجام یک کار خاص ارزیابی می‌شود. چارچوب ارائه شده توسط محققان برای ارزیابی یک وظیفه خاص در ماشین‌ها با استفاده از مفهومی که آن را طبقه‌بندی وظیفه می‌نامند استفاده می‌شود.
کادام گفت: “انسان‌ها در تعمیم بسیار خوب عمل می‌کنند و به سرعت با وظایف جدید خود سازگار می‌شوند، در همین راستا ما نحوه محاسبه پتانسیل تعمیم ماشین‌آلات را بررسی کردیم. برای اولین بار، مطالعه ما این واقعیت را نشان داد که ماشین‌ها هوش بالاتری را ارائه می‌دهند و ما برای اندازه‌گیری آن باید فراتر از معیارهای موجود عمل کنیم.”
کادم و وایدیا در مقاله اخیر خود از چارچوب خود برای مقایسه دو روش پیشرفته یادگیری ماشین (ML) استفاده کردند. بنابراین این فریم‌ورک می‌تواند برای سایر تیم‌های تحقیقاتی که سعی در شناسایی برترین مدل یادگیری ماشین (ML) برای انجام یک کار خاص دارند، مفید واقع شود.
در آینده، این فریم‌ورک می‌تواند به درک بهتر فرآیندهای پیش‌بینی یا عملکرد دستگاه کمک کند که در نهایت می‌تواند قابلیت اطمینان به سیستم‌های هوش مصنوعی را بهبود ببخشد و به توسعه دهندگان اجازه می‌دهد تا از بینش بیشتری در مورد توانایی‌های شناختی برخوردار شوند.
کادام گفت: “با استفاده از این فریم‌ورک، ما چگونگی یادگیری را کشف کردیم و پی بردیم که یادگیری همچنان تحت تأثیر مهارت‌های یادگیرنده و نگرشی که دارد قرار می‌گیرد. این موضوع واقعاً جالب است که کار خود را برای ارزیابی مهارت‌های جسمی و احساسی ماشین‌ها گسترش دهیم. اگرچه مهارت‌های احساسی همچنان دور از ماشین‌ها به نظر می‌رسد اما در حال حاضر ماشین‌ها در تعاملات نزدیک با انسان‌ها استفاده می‌شوند (به عنوان مثال، ربات‌های چت، ربات‌ها برای مراقبت یا همراهی و غیره) ، بنابراین ما احساس می‌کنیم که ماشین‌ها باید بر اساس ضریب احساسی انسانی آزمایش شوند.”
