چه زمانی به یک مدل هوش مصنوعی می توانیم اعتماد کنیم

تکنیکی که محققان توسعه داده اند، معروف به IF-COMP،روش MDL را به اندازه کافی سریع می کند تا با انواع مدل های بزرگ یادگیری عمیق که در بسیاری از تنظیمات دنیای واقعی مستقر شده اند، استفاده شود.

MDL  شامل در نظر گرفتن همه برچسب‌های ممکن است که یک مدل می‌تواند به یک نقطه در آزمایش بدهد. اگر برچسب‌های جایگزین زیادی برای این نقطه وجود داشته باشد که به خوبی مطابقت داشته باشد، اعتماد آن به برچسبی که انتخاب کرده است باید به همین ترتیب کاهش یابد.

Ng می‌گوید: «یکی از راه‌های درک اینکه یک مدل چقدر مطمئن است، گفتن برخی اطلاعات خلاف واقع به آن و دیدن اینکه چقدر احتمال دارد شما را باور کند، خواهد بود.»

به عنوان مثال، مدلی را در نظر بگیرید که می گوید این تصویر پزشکی یک Pleural effusion (آب آوردن ریه) را نشان می دهد. اگر محققین به مدل بگویند که این تصویر Edema (تجمع غیرطبیعی آب موجود در پلاسما در فضای میان بافتی، زیر پوست و حفره‌های بدن و به علت انتقال آن‌ها از درون رگها به آنجاهاست) را نشان می دهد، او مایل است باور خود را به روز کند، مدل باید کمتر به تصمیم اولیه خود اطمینان داشته باشد.

در پایان، IF-COMP می‌تواند به‌طور کارآمد کمی‌سازی‌های عدم قطعیت به خوبی کالیبره‌شده  ای را تولید کند که نشان‌دهنده اطمینان واقعی یک مدل است. این تکنیک همچنین می‌تواند تعیین کند که آیا مدل نقاط داده مشخصی را اشتباه برچسب‌گذاری کرده است یا اینکه مشخص کند کدام نقاط داده پرت هستند.

محققان سیستم خود را روی سه پروژه آزمایش کردند و دریافتند که سریعتر و دقیق تر از روش های دیگر است.

واقعاً مهم است که اطمینان داشته باشیم که یک مدل به خوبی کالیبره شده است، و نیاز روزافزونی برای تشخیص اینکه چه زمانی یک پیش‌بینی خاص کاملاً درست به نظر نمی‌رسد وجود دارد.

قاسمی می‌گوید: «ابزارهای حسابرسی در مشکلات یادگیری ماشینی ضروری‌تر می‌شوند، زیرا ما از مقادیر زیادی داده‌های بررسی نشده برای ساخت مدل‌هایی استفاده می‌کنیم که برای مشکلات مواجهه با انسان به کار می‌روند.»

IF-COMP مدل-آگنوستیک است، بنابراین می تواند کمیت های عدم قطعیت دقیق را برای بسیاری از انواع مدل های یادگیری ماشین ارائه دهد. این می تواند آن را قادر سازد تا در طیف وسیع تری از تنظیمات دنیای واقعی مستقر شود و در نهایت به پزشکان بیشتری کمک کند تا تصمیمات بهتری بگیرند.

Ng می گوید«مردم باید بدانند که این سیستم‌ها بسیار خطاپذیر هستند و می‌توانند هرچه پیش می‌روند، همه چیز را درست کنند. یک مدل ممکن است به نظر بسیار مطمئن به نظر برسد، اما چیزهای مختلفی وجود دارد که مایل به باور با شواهدی بر خلاف آن است.»

در آینده، محققان علاقه مند به اعمال رویکرد خود برای مدل های زبان بزرگ و مطالعه سایر موارد استفاده بالقوه برای اصل حداقل طول توضیحات هستند.