هرم دانش: چگونه می توان از داده های پراکنده به تخصص و خرد رسید؟

مکانیزم‌هایی که خرد را ایجاد می‌کنند، هرگز خودکار نمی‌شوند و مستقل نخواهند بود یعنی حتماً قضاوتها و ترجیحات فرد در آنها داخل می‌شود. چه بسا که این خرد، که برای دستیابی به آرمانها و پیگیری آرمانها ضروری است. این ویژگی باعث می‌شود که انسان را از ماشین متمایز شود. نکته مهم اینجاست که سه لایه پایین هرم، احتمال دارد که توسط کامپیوترها ضبط و دستکاری شود، اما در سطح خرد به یک بازیگر انسانی نیاز است. آن بازیگر خارج از سیستم DIKW و خارج از قلمرو عملیات محاسباتی و رایانه است. بنابراین، خرد که در راس هرم قرار دارد، بالاترین سطح ساختارهای منطقی و محاسباتی نیست، بلکه سطوح پایین سیستم‌های انسانی و ترجیحات آنها است.

 هدف نهایی هر کسب و کار در استفاده از داده‌ها و اطلاعات، دستیابی به مزیت رقابتی است. مزیت رقابتی همان چیزی است که شما می‌توانید بهتر از بقیه انجام دهید و ارزش‌آفرین است. دستیابی به این چنین مزیتی بسیار دشوار است ولی در صورتی که این اتفاق بیفتد، به یک جایگاه مستحکم در بازار، محیط و بین رقبا دست خواهید یافت. بدیهی است هر گونه داده‌هایی که از کسب و کار می‌جوشد و موارد مرتبط و معتبر آن بر اساس میزان کمک کردن به مزیت رقابتی ارزیابی می‌شوند. با مدل‌سازی متغیرها و داده‌های سازمانی در قالب اطلاعات، به یک آگاهی و درک از محیط داخل و خارج می‌رسیم. این اطلاعات مبنایی می‌شود تا مدیران بر اساس آن سوالات مهم و مسائل استراتژیک را مشخص کرده و پاسخ دهند. همین پاسخ‌ها است که اصول کسب و کار و باورها را تعیین و تثبیت می‌کند. در این صورت است که می‌توان امیدوار بود مجموعه دریافت سیگنالها، سنجش، اصول، ادراک و باورها به اثربخشی استراتژیک منتهی بشود. 

 کشف دانش از پایگاه‌های داده (Knowledge discovery in DataBases-KDD)

فَیاد (Fayyad) با درک اهمیت داده‌های کسب و کار، فرآیندی را مطرح می‌کند که از آن می‌توان برای «کشف دانش از پایگاه‌های داده» استفاده کرد که یک روش معروف برای کشف دانش از داده‌ها محسوب می‌شود و بر بکارگیری تکنیک های داده کاوی اشاره دارد. این موضوع یک زمینه مورد علاقه برای اکثر محققان در زمینه‌های مختلف از جمله هوش مصنوعی، یادگیری ماشین، تشخیص الگو، کسب دانش برای سیستم‌های خبره و تجسم داده‌ها است.

هدف اصلی فرآیند کشف دانش از داده، استخراج اطلاعات از داده‌ها در زمینه پایگاه‌های داده بزرگ است. این کار را با استفاده از الگوریتم‌های داده کاوی برای شناسایی آنچه دانش تلقی می‌شود، انجام می‌دهد. این فرآیند، یک کار تعاملی و تکرار شونده است و شامل مراحل متعددی با تصمیمات زیادی است که توسط کاربر گرفته می‌شود. مراحلی را معرفی می‌کند که باید به صورت گام به گام برای رسیدن به دانش و استراتژی طی شود. در فضای کاری دوره فعلی که در دسترس بودن و فراوانی داده‌ها بسیار زیاد است، بر اهمیت کشف دانش و داده‌کاوی می‌افزاید. تعجب‌آور نیست که در توسعه اخیر این رشته، طیف گسترده ای از تکنیک‌های داده‌کاوی برای متخصصان قابل دسترسی است. از آنجاکه بینش حاصل شده از داده‌ها برای کسب و کار ارزش‌آفرین است، می‌توانیم از این فرآیند برای تصمیم‌گیری‌های کسب و کار نیز بهره گرفت. مطابق با آنچه که فیاد معرفی می‌کند، روند کشف دانش شامل نُه مرحله است. این مراحل به صورت تکرارپذیر و تعاملی است بدین معنی که ممکن است هر مرحله به دفعات تکرار شده و برای کسب اطلاعات با حد کفایت بالا به مراحل قبلی نیز برگشت شود.

1. مرحله اول آگاهی از دامنه مربوطه است که در آن اهداف و نتایج داده‌کاوی تعیین می‌شود.
2. مرحله دوم انتخاب و ایجاد یک مجموعه داده که در آن کشف انجام خواهد شد. پس از تعیین اهداف، داده‌های مورد استفاده برای فرآیند کشف دانش تعیین می‌شوند. این کار شامل به دست آوردن داده‌های مهم و پس از آن ادغام تمام داده‌ها برای کشف دانش در یک مجموعه است. این فرایند به دلیل یادگیری و کشف داده‌های قابل دسترسی مهم است. اینجا شواهدی برای ساخت مدلها به دست می‌آید. 
3. مرحله سوم، پیش‌پردازش و پاکسازی داده است که در آن قابلیت اطمینان داده‌ها بهبود می‌یابد. این کار  شامل پاکسازی داده‌ها برای مثال  مقادیر مفقوده و حذف نویز یا داده‌های پرت است. این کار ممکن است با تکنیک‌های آماری پیچیده یا استفاده از الگوریتم‌های داده‌کاوی انجام شود.
4. مرحله چهارم، تبدیل داده‌ها است. در این مرحله با تکنیکهایی مانند کاهش ابعاد و نمونه‌گیری و همچنین تغییر ویژگی به عنوان مثال گسسته‌سازی ویژگی‌های عددی داده‌های مورد نیاز تهیه می‌شود.
5. مرحله پنجم، پیش‌بینی و توصیف است. در این مرحله روش داده‌کاوی مشخص می‌شود. برای مثال طبقه‌بندی، رگرسیون، خوشه‌بندی و غیره در این مرحله مشخص می‌شود.
6. مرحله ششم، در این مرحله الگوریتم داده‌کاوی انتخاب می‌شود. 
7. مرحله هفتم، استفاده از الگوریتم است که ممکن است لازم باشد چندین بار از الگوریتم استفاده کنیم تا نتیجه رضایت‌بخشی حاصل شود.
8. مرحله هشتم، ارزیابی است. در این مرحله، ما الگوهای استخراج شده، قوانین و قابلیت اطمینان به هدف مشخص شده در مرحله اول را ارزیابی و تفسیر می‌کنیم.
9. مرحله نهم، استفاده از دانش کشف شده و ایجاد تغییراتی در سیستم اجرایی و عملیاتی است. 

فرآیند استاندارد بین صنعتی برای داده‌کاوی (کریسپ-دی‌ام)

(Cross Industry Standard for Data Mining (CRISP-DM

علاوه بر کشف دانش از داده‌ها، مدل مرجع پرکاربرد دیگری نیز وجود دارد که به آن «فرآیند استاندارد بین صنعتی برای داده‌کاوی» یا به اختصار کریسپ-دی.ام است. است،  به طور معمول داده‌کاوی پنج مرحله دارد که از جمع‌آوری داده‌ها تا استقرار مدل ادامه می‌یابد.

بر اساس مدل داده‌کاوی کریسپ که به عنوان یک فرآیند استاندارد برای داده‌کاوی معرفی شده است، باید گام‌های زیر برداشته شود:

1. جمع‌آوری داده‌ها: به جمع‌آوری داده‌های اولیه و درک ویژگی‌های آنها مربوط می‌شود. همچنین به بررسی کیفیت داده‌ها و تشخیص زیرمجموعه‌های موردنظر برای بررسی بیشتر می‌پردازد.
2. آماده‌سازی داده‌ها: شامل کلیه فعالیتها برای تهیه داده‌های منتخب برای انجام کاوش در داده‌هاست. مواردی از قبیل مقادیر از دست رفته، داده‌های دارای نویز و داده‌های پرت شناسایی و مرتفع می‌شوند. یکپارچه‌سازی داده‌ها انجام شده و تغییرات لازم اعمال می‌شود. بسیاری از الگوریتم‌های داده‌کاوی با داده‌های پیش‌پردازش شده، بهتر کار می‌کنند. همچنین وقتی ویژگی‌های جدیدی که در مجموعه داده اصلی وجود ندارد از قبل تعیین شده باشد یا به صورت خودکار با استفاده از دانش دامنه ایجاد شده باشد.
3. مدل‌سازی: شامل انتخاب یک روش استخراج داده برای مسئله تعریف شده در مرحله اول است. انتخاب الگوریتم مناسب با توجه به ماهیت داده‌های موجود انجام می‌شود. پارامترهای مدلها بر اساس یادگیری ماشین برآورد می‌شوند. گاهی هم بیش از یک الگوریتم برای مسئله استفاده می‌شود.
4. ارزیابی مدل: مدل ارائه شده از نظر کیفیت و اثربخشی ارزیابی می‌شود. بر این اساس مشخص می‌شود که آیا مدل به اهداف تعیین شده رسیده است یا خیر.
5. استقرار: مدل آماده شده برای استفاده روزمره بکار گرفته می‌شود و به عنوان بخشی از سیستم خبره هوشمندی استراتژیک در آن گنجانده می‌شود.

نتیجه‌گیری 

بنظر می‌رسد آن‌طور که باید، هنوز از داده‌هایی که پایگاه‌های داده جمع می‌شوند و یا آنهایی که در قالب فایلهای اکسل وجود دارند، استفاده‌ای فراتر از حد یک گزارش روزانه داشته باشیم. یک دلیل ممکن است این باشد که داده‌های مختلف در واحدهای سازمانی مختلف تولید می‌شوند. ممکن است در نگاه اول ارتباطی بین داده‌های منابع انسانی از قبیل ساعات کاری، اضافه‌کاری و تاخیر‌ها با ضریب دسترسی کارخانه مشاهده نشود. دلیل دیگر دشواری کار کردن با آنها به دلیل بزرگ شدن بیش از حد داده‌ها است و سرانجام اینکه شاید تا قبل از این، هنوز بلوغ داده‌ای شرکتها آنقدر نبوده که بتوان به داده‌کاوی پرداخت. گفته شد که یک مرکز هوشمندی مبتنی بر مدیریت داده‌های استراتژیک لازم است که بتواند در هر لحظه با فراخواندن داده‌های مورد نیاز به تحلیل آنها پرداخته و با یک سازوکار منجسم تحت عنوان «قیف پردازش سیگنال»‌ بتواند هشدارهای مناسبی را به مدیران برای تغییر در تصمیم‌ها و رفتارهایشان ایجاد کند. این ابزار بر اساس سه کار رصد، فیلتر و پردازش شکل می‌گیرد.