آموزش هوش‌مصنوعی برای درک زبان فارسی

آموزش هوش‌مصنوعی با تکیه بر پردازش زبان طبیعی (NLP)، درک زبان طبیعی (NLU)، یادگیری عمیق و یادگیری ماشین به منظور یادگیری زبان فارسی

مقدمه

هوش مصنوعی پیشرفت بزرگی در درک ارتباطات انسانی دارد؛ از تشخیص احساسات با استفاده از تشخیص چهره گرفته تا مرتب‌سازی خودکار و تولید متن‌های پیچیده.

در کسب‌وکارها، مزایای هوش مصنوعی بی‌شمار است. مشتریان نظرات خود را به طور مداوم در رسانه‌های اجتماعی، بررسی‌های آنلاین، پاسخ‌های نظرسنجی و غیره بیان می‌کنند؛ بدین‌ترتیب اطلاعات زیادی را تولید می‌شود که قابل‌ارزیابی و استفاده است.

با کمک آموزش هوش‌مصنوعی با تکیه بر پردازش زبان طبیعی (NLP) و درک زبان طبیعی (NLU) و یادگیری ماشین، رایانه‌ها می‌توانند به صورت خودکار داده‌ها را تنها در چند ثانیه تجزیه و تحلیل کنند که باعث صرفه‌جویی قابل‌توجهی در زمان و منابع بی‌شماری می‌گردد. در این پست، ما خواهیم فهمید که درک زبان طبیعی چیست، هوش مصنوعی چگونه قادر به فهمیدن زبان فارسی است و این فناوری چه کمکی به کسب‌وکارها می‌کند. پس تا انتهای این مقاله با عامراندیش همراه باشید تا اطلاعات ارزشمندی در این باره بدست آورید.

آموزش هوش‌مصنوعی با تکیه بر پردازش زبان طبیعی NLP

وقتی رایانه شروع به پردازش متن یا صوت انسان می‌کند، تنها به داده‌ها نگاه می‌کند. شما می‌توانید زمزمه کنید “دوستت دارم یا بمب F را پرتاب کن،” ماشین تنها چیزی که می‌بیند کدهای صفر و 1 هستند. به همین منظور، برای آنکه هوش مصنوعی متوجه شود که منظور شما چیست و چه چیزی می‌گویید، واژگان را به عمل تبدیل کرده و سپس نتیجه را به صورت چیزی درمی‌آورد که شما آن را درک کنید، آنان برای این‌منظور از پردازش زبان طبیعی (NLP) استفاده می‌کنند، که دقیقا همان‌چیزی است که به نظر می‌رسد.

شما نیازی به داشتن علم داده برای تعامل با برنامه‌های یادگیری ماشین  ندارید. درحقیقت، به جای آنکه یاد بگیرید که چگونه باید با ماشین سخن گفت، میلیون‌ها نفر از ما، به اپل، گوگل، مایکروسافت و بسیاری از شرکت‌های دیگر بابت حق‌امتیاز آموزش به رایانه‌هایمان و صحبت آنان با ما، پول پرداخت می‌کنیم.

سال‌ها پیش، قبل از راه‌اندازی سیری در سال 2011، مردم و رایانه‌ها نمی‌توانستند با یک زبان با هم سخن گویند زیرا آموزش هوش‌مصنوعی تا این حد پیشرفت و توسعه نیافته بود. باور داشته باشید یا خیر، شما می‌توانستید بر سر رایانه خود فریاد زنید”Skynyrd  پلی کن،” ولی آن قادر به انجام دستور شما نبود.

در آن روزها، رایانه‌ها به اندازه الان، باهوش نبوند، آنان از مزایای یادگیری عمیق برای هدایت پردازش زبان طبیعی برخوردار نبودند.

اکنون یک ایفون معمولی و متوسط شما قدرت پردازش بیشتری نسبت به فریم‌های اصلی IBM را دارد که بسیاری از توسعه‌دهندگان یادگیری ماشین از آن حدود نیم قرن پیش استفاده می‌کردند. الگوریتم‌ها، بسیار قوی‌تر و تواناتر از چیزی شدند که چند دهه پیش درباره آنان فکر می‌کردیم.

این پیشرفت‌های چشمگیر در آموزش هوش‌مصنوعی باعث ایجاد انقلابی در زمینه یادگیری عمیق شده است که ما در حال حاضر از فواید بی‌شمار آن لذت می‌بریم،  با استفاده از این فناوری، پردازش زبان طبیعی از یک فرایند زمان‌بر که قوانینش توسط انسان‌ها نوشته شود، به یک ترفند یادگیری بدون نظارت تبدیل شد که در آن رایانه‌ها بهتر از بسیاری از افراد، درباره چگونگی ارتباطات انسان‌ها با یکدیگر می‌دانند.

روشی که آنان به کار می‌گیرند، تا حد بسیار زیادی به نوع سیستمی که در آن اجرا می‌شوند، بستگی دارد. اصلا ساده نیست که درباره همه مدل‌هایی که باعث ساختن و آموزش هوش‌مصنوعی به پیچیدگی دستیار گوگل یا فارس آوا می‌شود، توضیح دهیم. ولی ایده پشت آنان، ابدا پیچیده نیست.

اساسا، پژوهشگران شبکه عصبی را تولید می‌کنند که تا آنجا که ممکن است، داده‌ها را می‌بلعد. منظور ما از داده در اینجا هزاران و شاید میلیون‌ها فایل پر از اطلاعات است. این داده‌ها می‌توانند فایل‌های صوتی متناسب با متن یادداشت (متن رونویس) یا برعکس باشد. ایده این است اگر شما واژه‌ای بگویید، رایانه یاد خواهد گرفت که آن را تفسیر کرده و به شما براساس آنچه آموخته، پاسخی درخور دهد.

معمول‌ترین تعامل‌های انسان-کامپیوتر براساس NLP (پردازش زبان طبیعی) –آموزش هوش‌مصنوعی– به صورت زیر دنبال می‌شود:

• انسان چیزی به رایانه می‌گوید.
• رایانه فایل صوتی را دریافت می‌کند.
• فایل دریافت‌شده توسط رایانه، به متن تبدیل می‌شود.
• داده‌های متنی پردازش می‌شوند.
• داده‌های پردازش شده، به صوت تبدیل می‌شوند.
• رایانه از این فایل‌های صوتی برای پاسخ به انسان (با زبان خودش) استفاده می‌کند.

البته، تنوعی در تم بالا وجود دارد؛ بسیاری از عملکردهای NLP، کم متمرکز هستند. شما می‌توانید یک الگوریتم ساده بسازید که به عنوان مثال، پرونده‌های عظیم پر از متن را برای کلمات یا عبارات خاص تجزیه کند.

در حقیقت، موارد بی‌شماری برای آموزش هوش‌مصنوعی و پردازش زبان طبیعی وجود دارند:

• چت‌بات‌ها مانند Woebot، که از NLP برای درک پرسش‌های انسان استفاده کرده و براساس جست‌وجو در گوگل و تجزیه متن، پاسخ می‌دهد. البته امروزه، آنان سعی دارند آنچه شما از آنان می‌خواهید، تفسیر نمایند.
• تصحیح خودکار (Auto-Correct) به لطف یادگیری عمیق و پردازش زبان طبیعی، کمتر اشتباهات ناامیدکننده دارد.
• دستیاران مجازی در پردازش زبان طبیعی بسیار عالی عمل می‌کنند، به طوری‌که شما می‌توانید در یک اسپیکر هوشمند، بازی Skyrim را بازی نمایید.

این لیست، می‌تواند همین‌طور ادامه داشته باشد. قسمت وسیعی از دستگاه‌های مبتنی بر هوش مصنوعی که در اختیار عموم قرار گرفته‌اند، محصولات پردازش زبان طبیعی (NLP) هستند.

آموزش هوش‌مصنوعی و درک زبان طبیعی (NLU)

یکی دیگر از فناوری‌هایی که در دستیار گوگل و یا فارس آوا از آن استفاده شده، درک زبان طبیعی است. درک زبان طبیعی (NLU) یکی از زیرمجموعه‌های پردازش زبان طبیعی است که شامل تجزیه زبان انسان به یک قالب قابل‌فهم و خواندن توسط ماشین است. این فناوری شامل برنامه‌های جالبی مانند طبقه‌بندی متن، ترجمه ماشینی و پاسخگویی به سوالات است.

به طور کل، NLU برای درک “زبان طبیعی بشر” از قوانین دستور زبانی و نحوی استفاده می‌کند. به عبارت دیگر، تنها به معنای تحت‌اللفظی واژگان متکی نیست. هدف از این فناوری، درک زبان نوشتاری یا گفتاری توسط ماشین ، درست مانند روشی است که انسان می‌فهمد.

آموزش هوش‌مصنوعی با استفاده از NLU در کارهای پردازش زبان طبیعی (NLP) مانند طبقه‌بندی موضوع، تشخیص زبان و تحلیل احساسات استفاده می‌شود:

• تحلیل احساسات: در تحیل احساسات، هوش مصنوعی به صورت خودکار احساسات درون یک متن را تفسیر کرده و آنان را به صورت مثبت، منفی و یا خنثی طبقه‌بندی می‌نماید. تحلیل احساسات ابزاری است ارزشمند برای درک سریع، و پردازش و آنالیز صدها گفت‌وگوی آنلاین، که می‌تواند بینشی ارزشمند درباره نوع نگاه مشتریان به یک برند یا محصول را ارائه دهد.
• کشف زبان: کشف زبان به صورت خودکار متوجه می‌شود که متن به چه زبانی نوشته شده است. این ابزار، ابزاری است ضروری در خرید بلیت‌ مسیرهای تجاری کسب‌‌وکارها، جلوگیری از اتلاف وقت در انتقال بلیت از یک نماینده مشتری به نماینده‌ای دیگر و پاسخ به مسائل مشتریان به صورت سریع‌تر.
• طبقه‌بندی موضوعی: طبقه‌بندی موضوعی قادر به درک زبان طبیعی است تا متن‌ها را به صورت خودکار در داخل گروه‌های از پیش تعریف‌شده، طبقه‌بندی نماید. به عنوان مثال، شرکت نرم‌افزاری Atlassian، هنگام آموزش هوش‌مصنوعی ، از عبارت‌های “قابلیت اطمینان، قابلیت استفاده و کاربردی” برای طبقه‌بندی و مرتب‌سازی بلیت‌های پشتیبانی مشتریان ورودی استفاده می‌کنند و آژانس‌ها را برای دست‌وپنجه نرم‌کردن با مسائل و مشکلات مربوط مشتریان به صورت کاملا موثر و کارآمدی یاری می‌رساند.

NLP در مقابل NLU: تفاوت این دو در چیست؟

درک زبان طبیعی (NLU) زیرمجموعه ای از پردازش زبان طبیعی (NLP) است. درحالی‌که هر دو NLP و NLU برای ساختن داده‌های قابل درک به ما یاری می‌رسانند، ولی آنان دقیقا یک چیز نیستند.

NLP به چگونگی برنامه‌نویسی رایانه‌ها برای پردازش زبان و تسهیل ارتباط طبیعی دوجانبه میان انسان و رایانه‌ها می‌پردازد. درحالی‌که NLU بر توانایی ماشین به درک زبان بشر تمرکز دارد. NLU به چگونگی چینش مجدد داده‌های ساختاری اشاره دارد تا ماشین‌ها قادر به درک و آنالیز آن باشند.

به این موضوع اینگونه نگاه کنید که قبل از آنکه رایانه بتواند متن بدون‌ساختار را به فرمت قابل خواندن برای خود پردازش نماید، ابتدا باید آموزش هوش‌مصنوعی به گونه‌ای صورت گیرد تا قادر به درک ویژگی‌های متنوع و گسترده زبان بشر باشد.

مثال‌هایی از درک زبان طبیعی (NLU)، فناوری به کارگرفته شده در فارس‌آوا

ترجمه ماشین (MT)

ترجمه دقیق متون یاگفتار از یک زبان به زبان دیگر، یکی از سخت‌ترین چالش‌های پردازش زبان طبیعی (NLP) و درک زبان طبیعی (NLU) است که فارس‌آوا به خوبی از عهده این مهم برآمده است. این دو، از الگوریتم‌های پیچیده‌ای‌ استفاده می‌کنند که متکی بر قوانین زبانی و آموزش هوش‌مصنوعی هستند؛ به عنوان نمونه، ترجمه مایکروسافت، ترجمه فیسبوک و ترجمه گوگل را می‌توان نام برد که رهبران و پیشتازان ترجمه زبان عمومی شناخته می‌شوند.

شما می‌توانید متنی را در فارس آوا تایپ نمایید و یا یک سند را به صورت کامل بارگذاری کرده و سپس ترجمه آن را به ده‌ها زبان با استفاده از ابزار ترجمه ماشین این اپلیکیشن دریافت نمایید. این اپلیکیشن همانند ترجمه گوگل حتی شامل نرم‌افزار تشخیص کاراکتر نوری (OCR)  است که به آن اجازه بیرون کشیدن متن از تصویر را می‌دهد.

استدلال و برهان خودکار

برهان خودکار زیرمجموعه‌ای از علوم شناختی است که برای اثبات خودکار تئوری‌های ریاضی یا استنباط منطقی درباره تشخیص پزشکی استفاده می‌شود. این مهم، پس از آموزش هوش‌مصنوعی به ماشین یک فرم منطق یا برهان را می‌بخشد و به آن‌ها اجازه می‌دهد تا حقایق جدید را از طریق استنتاج و نتیجه‌گیری دریابند.

به زبان ساده، با استفاده از اطلاعات جمع‌آوری و آنالیز شده، برنامه‌های رایانه‌ای قادر به نتیجه‌گیری و استنتاج هستند. برای مثال، در پزشکی، ماشین‌ها می‌توانند بیماری‌ها را برپایه تشخیص‌های قبلی شناسایی کرده و براساس قانون‌های نتیجه‌گیری “اگر-سپس” ارائه دهند.

مسیریابی خودکار بلیت‌ها

یک مثال تجاری مفید از NLU و کاربرد فارس‌آوا، در اتوماسیون خدمات مشتری است. فارس آوا همچون پلتفرم‌های قدرتمند آنالیز متن مانند Monkeylearn، ماشین‌ها را قادر به درک محتوای بلیت‌های پشتیبانی مشتریان و هدایت آنان به دپارتمان‌های صحیح‌ می‌کند؛ بدون آنکه نیازی به باز کردن بلیت‌هایشان توسط کارمندان باشد. انجام این کار نه تنها باعث صرفه‌جویی صدها ساعت در زمان و وقت تیم‌های پشتیبانی مشتریان شده، بلکه به آنان کمک می‌کند تا بلیت‌های فوری و اورژانسی را در اولویت کار خود قرار دهند.

با توجه به Zendesk، شرکت‌های فناوری و تکنولوژی ماهانه بیش از 2600 درخواست پشتیبانی مشتری دریافت می‌دارند. با استفاده از آموزش هوش‌مصنوعی با تکیه بر فناوری NLU در فارس‌آوا، شما می‌توانید داده‌های بدون ساختار (ایمیل‌، رسانه‌های اجتماعی، لایو چت و غیره) را با توجه به موضوعشان، احساسات نهفته در آنان و میزان فوریتشان (در میان دیگر درخواست‌ها) طبقه‌بندی کنید.

فارس آوا همچون مدل‌های قدرتمند یادگیری ماشین پیش‌آموز Monkeylearn، به صورت خودکار بلیت‌های خدمات مشتری را لیبل‌گذاری کرده و یا آنکه شما را برای دستیابی به نتایج دقیق‌تر آموزش می‌دهد.

پاسخ به پرسش‌ها، از دیگر فواید آموزش هوش‌مصنوعی

پاسخ به پرسش‌ها بخشی از زیرمجموعه NLP و تشخیص گفتار است که از NLU برای کمک به رایانه‌ها در درک خودکار پرسش‌های زبان طبیعی بشر، استفاده می‌کند.

برای مثال، یک پرسش بسیار معمول که بسیاری از Google Assistant می‌پرسند: “هوا فردا چگونه است؟”

ابزارهای NLP برای درک پرسش و ارائه مناسب‌ترین پاسخ، پرسش مذکور را به دو بخش موضوع‌ (هوا) و داده (فردا) جداسازی می‌کنند و از طریق جمع‌آوری مجموعه‌‌های بدون ساختار اسناد زبان طبیعی مانند گزارش‌های خبری آنلاین، گردآوری صفحات وب، متون مرجع و غیره به پرسش مذکور پاسخ می‌دهند.

به صورت پیش‌فرض، دستیاران مجازی وضعیت آب‌وهوا مکان فعلی شما را گزارش می‌دهند مگر آنکه شما شهر دیگری را برای آنان مشخص نمایید. هدف پاسخ به پرسش، پاسخ به کاربر با زبان طبیعی خودشان است نه اینکه صرفا پاسخی به صورت لیست متنی در اختیار آنان قرار داده شود.

با درک زبان طبیعی در هوش مصنوعی شروع کنید

موارد فوق، تنها نمونه‌های انگشت‌شمار مثال‌ها و کاربردهای آموزش هوش‌مصنوعی با تکیه بر NLU و NLP در فارس‌آواست. فناوری هوش مصنوعی به یک بنیان اساسی در تجارت تبدیل شده است، خواه متوجه آن باشید و یا نباشید. توصیه‌ها و پیشنهادهای Spotify و یا Netflix، تصحیح خودکار و پاسخ خودکار، دستیاران مجازی و طبقه‌بندی خودکار ایمیل‌ها، تنها چند نمونه کوچک از کاربرد این فناوری در دنیای امروزه ماست.

با استفاده از چگونگی کار پردازش زبان طبیعی (NLP) و یادگیری ماشین در پشت صحنه، تنها چیزی که بدان نیاز دارید، تمرکز بر این ابزارهای همانند فارس‌آوا و کمک‌ به آن در بهبود درک زبان طبیعی‌ (NLU) است.