ما هر روزه با زبانِ فارسي با هم گفت‌و‌گو مي‌کنيم. انگليسي‌ها هم با زبانِ انگليسي با يکديگر صحبت مي‌کنند. به اين صورت است که زبان، ابزاري براي ارتباط با همنوعان در‌آمده است. به اين زبان، زبانِ طبيعي (Natural Language) مي‌گويند و مشکلِ اصليِ آن (از نگاهِ کامپيوتر) اين است که کامپيوتر به صورت پيش‌فرض فقط 0ها و 1ها را مي‌فهمد. يعني يک کامپيوتر نمي‌تواند زبانِ طبيعيِ محاوره‌ايِ ما را متوجه شود. براي همين نياز است تا يک مجموعه عمليات (Processes) بر روي اين زبان طبيعي انجام شود (Natural Language Processing يا همان NLP) تا بتوان آن را براي کامپيوتر قابل فهم کرد. بعد از آن مي‌توان از قدرتِ کاميپوتر در محاسبات و يادگيري ماشين استفاده کنيم تا اطلاعاتِ ارزشمندي را از ميان اين داده‌ها استخراج کنيم.
براي درکِ بهتر، وب‌سايت اخبار گوگل را ببينيد. در اين وب‌سايت، اخبارِ روزانه که از منابعِ خبريِ مختلف جمع‌آوري و به صورت دسته‌بندي شده بر اساس اولويت و اهميت رده‌بندي مي‌شوند. براي مثال برخي از اخبار، ورزشي هستند و برخي ديگر سياسي. گوگل براي اين‌که بتواند اين دسته‌بندي همراه با اهميتِ هر خبر را تشخيص دهد، مي‌توانست چند صد اپراتور (انسان) را استخدام نمايد و اين کار را به صورت دستي انجام دهد. اما با کمک الگوريتم‌هاي مبتني بر متن و متن‌کاوي، گوگل متن‌هاي خبري را به کامپيوتر مي‌دهد و کامپيوتر بعد از انجام عملياتِ پردازش و آناليزِ متن، براي مثال مي‌تواند بفهمد که يک خبر ورزشي است يا سياسي يا اقتصادي! و بعد با کمکِ همين درک از متن، دسته‌بنديِ مختلفي بر روي اين اخبار انجام دهد. همچنين با کمک الگوريتم‌هاي آناليز متن و آناليز گراف، مي‌تواند اهميتِ اين يک خير را درک کرده و اخبار با اهميت بيشتر را بالاتر نمايش دهد.
مثالِ بالا يک نمونه از کاربردهاي پردازشِ متن بود. پردازشِ متن و متن‌کاوي (Text Mining) در کنار الگوريتم‌هاي يادگيريِ ماشين و داده‌کاوي مي‌تواند منجر به خروجي‌هاي مفيدي شود. براي مثال ترجمه‌ي خودکار متون، ساختن ربات خودکار جهت تعامل با کاربر، تشخيص تقلب در پايان‌نامه‌ها و… از کاربردهاي مختلف حوزه‌ي متن‌کاوي و آناليز متن مي‌باشد. در ادامه‌ي اين دوره با مراحل و روش‌هاي مختلفِ آن‌ها آشنا خواهيم شد.
منبع : https://chistio.ir/متن-کاوي-text-mining-پردازش-زبان-طبيعي-nlp-چيست/
درباره این سایت