گروهی از پژوهشگران در تلاشند تا به هوش مصنوعی آموزش دهند سیگنالهای مغزی ما را به سخنرانی تبدیل کند. این کار توسط تیمی از پژوهشگران دانشگاه کلمبیا و به سرپرستی دکتر نیما مسگرانی انجام می شود.
محققان دانشگاه کلمبیا از الگوریتمی برای انتقال امواج مغزی به کلمات گفتاری قابل فهم استفاده می کنند.این محققان با بیماران مبتلا به صرع تحت جراحی مغز کار کرده اند تا نتایج فعالیت های خود را مورد بررسی قرار دهند.
پژوهشگران دانشگاه کلمبیا، با کمک این روش یک ابزار دستیابی به موفقیت را ساخته اند که از شبکه های عصبی در یادگیری ماشینی برای خواندن فعالیت مغز استفاده می کند و آن را به گفتار تبدیل می کند.
بر اساس مقاله ای که روز سه شنبه در نشریه Scientific Reports منتشر شده است جزئیات نحوه استفاده از این ابزار در موسسه رفتار ذهنی دانشگاه کلمبیا، از الگوریتم های یادگیری عمیق و تکنولوژی مشابهی که دستگاه هایی مانند “سیری”و”آمازون اکو” دارند، استفاده می کند.
بر اساس این پژوهش تکنولوژی مذکور در نهایت می تواند به بیمارانی که قدرت تکلم خود را از دست داده اند کمک کند که توانایی های سخن گفتن خود را باز گرداند، یا به صورت شفاهی از طریق صدای بازسازی شده روباتیک ارتباط برقرار کنند.
دکتر نیما مسگرانی در این خصوص می گوید: “ما نشان داده ایم که با تکنولوژی مناسب، هر یک از شنوندگان می تواند افکار مردم را رمزگشایی کرده و درک کند.”
بر اساس این پژوهش، هنگامی که ما از مغزهایمان استفاده می کنیم درواقع سیگنال های مختلف را به بخش تفکر مغز خود ارسال می کنیم. بنابراین اگر دانشمندان می توانند این سیگنال ها را رمزگشایی کنند و درک کنند که چگونه آنها مربوط به تشکیل یا شنیدن کلمات هستند، پس ما یک گام به رمزگشایی این سخنان درونی نزدیک شده ایم و این دقیقا همان کاری است که این سیستم انجام می دهد؛ یعن ایجاد “vocoder” که با استفاده از الگوریتم ها و شبکه های عصبی سیگنال را به گفتار تبدیل می کند.
برای انجام این کار، تیم تحقیقاتی پنج بیمار مبتلا به صرع را که قبلا در معرض عمل جراحی مغز قرار داشتند، مورد بررسی قرار دادند و الکترودهایی را به سطوح مختلف مغز آنان متصل کردند، سپس بیماران به 40 ثانیه جمله گوش دادند که به صورت تصادفی 6 بار تکرار می شدند.
پس از آن بیماران به سخنرانی هایی گوش می دادند و سیگنال های مغز آنها به vocoder فرستاده می شد. الگوریتم vocoder، به سیستم هوشمند گفتار روباتیک کمک می کرد که این درونیات را به صدا تبدیل کند. به اعتقاد دکتر مسگرانی این تلاش ها موفقیتی قابل توجه داشته است. آقای مسگرانی می گوید: “ما متوجه شدیم که مردم می توانند حدود 75 درصد از این سخنان را درک و تکرار کنند، که بسیار بالاتر از حد انتظار ما بود.”
مسگرانی ادامه داد: “این موضوع بسیار مهم است که به فردی که توانایی سخن گفتن را از دست داده مهارت های باز سخن گفتن اعطا شود. ممکن است این افراد ب علت انواع بیماری ها یا آسیب های مغزی توان سخن گفتن را از دست داده باشند و این می تواند یک گام مهم برای نجات چنین افرادی باشد.”
