پایان نامه بررسی و مطالعه کامل داده کاوی و داده کاوی با SQL SERVER2005 پیاده سازی آن

چکیده

بررسی ومطالعه ی کامل داده کاوی و داده کاوی با SQL SERVER2005

پیاده سازی آن روی بانک اطلاعاتی دانشگاه آزاد قوچان

امروزه با گسترش سيستم هاي پايگاهي و حجم بالاي داده ها ي ذخيره شده در اين سيستم ها ، نياز به ابزاري است تا بتوان داده هاي ذخيره شده را پردازش کرد و اطلاعات حاصل از اين پردازش را در اختيار کاربران قرار داد.

داده کاوي يکي از مهمترين روش ها ی کشف دانش است که به وسيله آن الگوهاي مفيد در داده ها با حداقل دخالت کاربران شناخته مي شوند و اطلاعاتي را در اختيار کاربران و تحليل گران قرار مي دهند تا براساس آنها تصميمات مهم و حياتي در سازمانها اتخاذ شوند.داده کاوی را تحلیل گران با اهداف گوناگونی از قبیل کلاس بندی, پیش بینی, خوشه بندی ,تخمین انجام می دهند. برای کلاس بندی, مدل هاو الگوریتم هایی مانند قاعده ی بیز, درخت تصمیم, شبکه ی عصبی, الگوریتم ژنتیک مطرح شده است.برای پیش بینی مدل رگرسیون خطی ومنطقی و برای خوشه بندی الگوریتم های سلسله مراتبی و تفکیکی,  وبرای تخمین مدل های درخت تصمیم و شبکه ی عصبی  مطرح می شود. در فصل دوم و سوم با الگوریتم ژنتیک که یکی از الگوریتم های داده کاوی و با شبکه ی عصبی که یکی از مدل های داده کاوی هستند آشنا می شویم .درفصل چهارم به محاسبات نرم و برخی از اجزای اصلی ان و نقش آنها در داده کاوی می پردازیم.

در فصل پنجم با ابزارهای داده کاوی آشنا می شویم . برای داده کاوی ابزارهای متنوعی وجود دارد. می توان ابزارداده کاوی را با تطبیق آن ابزار با داده های مسئله و با توجه به محیط داده ای که می خواهید از آن استفاده کنید، و امکاناتی که آن ابزار دارد انتخاب کنید.وسپس به داده کاوی با SQLSERVER2005 می پردازیم .ودرفصل ششم به داده کاوی با SQL SERVER2005  روی بانک اطلاعاتی دانشگاه آزاد قوچان پرداختیم.

 کلمات کلیدی ،کلاس بندی ، خوشه بندی ، پیش بینی ، تخمین

فصــل اول

مقدمه ای بر داده کاوی ^[1]

 1-1–مقدمه

امروزه با گسترش سيستم هاي پايگاهي و حجم بالاي داده ها ي ذخيره شده در اين سيستم ها ، نياز به ابزاري است تا بتوان داده هاي ذخيره شده را پردازش کرد و اطلاعات حاصل از اين پردازش را در اختيار کاربران قرار داد .با استفاده از ابزارهاي گوناگون گزارش گيري معمولي ، مي توان اطلاعاتي را در اختيار کاربران قرار داد تا بتوانند به نتيجه گيري در مورد داده ها و روابط منطقي ميان آنها بپردازند اما وقتي که حجم داده ها خیلی بالا باشد ، کاربران هر چند زبر دست و با تجربه باشند نمي توانند الگوهاي مفيد را در ميان حجم انبوه داده ها تشخيص دهند و يا اگر قادر به اين کار هم با شوند ، هزينه عمليات از نظر نيروي انساني و مادي بسيار بالا است .از سوي ديگر کاربران معمولا فرضيه اي را مطرح مي کنند و سپس بر اساس گزارشات مشاهده شده به اثبات يا رد فرضيه مي پردازند ، در حالي که امروزه نياز به روشهايي است که اصطلاحا به کشف دانش^[2] بپردازند يعني با کمترين دخالت کاربر و به صورت خودکار الگوها و رابطه هاي منطقي را بيان نمايند .

داده کاوي^[3] يکي از مهمترين اين روش ها است که به وسيله آن الگوهاي مفيد در داده ها با حداقل دخالت کاربران شناخته مي شوند و اطلاعاتي را در اختيار کاربران و تحليل گران قرار مي دهند تا براساس آنها تصميمات مهم و حياتي در سازمانها اتخاذ شوند

1-2-عامل مسبب پيدايش داده کاوی

اصلی ترين دليلی که باعث شده داده کاوی کانون توجهات در صنعت اطلاعات قرار بگيرد، مساله در دسترس بودن حجم وسيعی از داده ها و نياز شديد به اينکه از اين داده ها, اطلاعات و دانش سودمند استخراج کنيم. اطلاعات و دانش بدست آمده در کاربردهای وسيعی مورد استفاده قرار می گيرد.

داده کاوی را می توان حاصل سير تکاملی طبيعی تکنولوژی اطلاعات دانست، که اين سير تکاملی ناشی از يک سير تکاملی در صنعت پايگاه داده می باشد، نظير عمليات جمع آوری داده ها وايجاد پايگاه داده، مديريت داده و تحليل و فهم داده ها.

تکامل تکنولوژی پايگاه داده و استفاده فراوان آن در کاربردهای مختلف سبب جمع آوری حجم فراوانی داده شده است. اين داده های فراوان باعث ايجاد نياز برای ابزارهای قدرتمند برای تحليل داده ها گشته، زيرا در حال حاضر به لحاظ داده ثروتمند هستيم ولی دچار کمبود اطلاعات می باشيم.

ابزارهای داده کاوی داده ها را آناليز می کنند و الگوهای داده ها را کشف می کنند که می توان از آن در کاربردهايی نظير تعيين استراتژی برای کسب و کار، پايگاه دانش^[4] و تحقيقات علمی و پزشکی، استفاده کرد. شکاف موجود بين داده ها و اطلاعات سبب ايجاد نياز برای ابزارهای داده کاوی شده است تا داده های بی ارزش را به دانشی ارزشمند تبديل کنيم .

–3-داده كاوي و مفهوم  اكتشاف دانش    (K.D.D) 

با حجم عظيم داده هاي ذخيره شده در فايلها، بانكهاي اطلاعاتي و ساير بانك هاي داده اي، توسعه ي ابزارهايي براي تحليل و شايد تفسير چنين داده هايي و براي استخراج علوم شگفت انگيزي كه مي توانند در تصميم گيري مفيد باشند، امري بسيار مهم و ضروري است. داده كاوي با عنوان كشف دانش در پايگاه هاي داده (KDD) شناخته مي‌شود. كشف علومي كه قبلا ناشناخته بوده‌اند و اطلاعاتي كه در بانكهاي اطلاعاتي موجود بوده و ذاتا بالقوه و مفيد هستند.

با وجود آنكه داده كاوي و كشف دانش در پايگاه‌هاي داده مترادف همديگر هستند، ولي در اصل، داده كاوي ذاتاً بخشي و تنها قسمتي جزئي از فرآيند كشف دانش است. فرآيند كشف دانش در بر گيرنده ي چندين مرحله مي باشد كه از اطلاعات خام، گونه هايي از علوم جديد را بدست مي دهد. مراحل كشف دانش به قرار زير است:

1- پاكسازي داده ها  : در اين فاز داده هاي اضافي و نامربوط از مجموعه داده ها حذف مي شوند.(داده های ناکامل) [2]

 2-يکپارچه سازی داده ها^[5] : چندين منبع داده ترکيب می شوند،

   3-انتخاب داده ها : انبار داده ها شامل انواع مختلف و گوناگوني از داده ها است که همه آنها در داده کاوي مورد نياز نيستند . براي فرايند داده کاوي بايد داده ها ي مورد نياز انتخاب شوند . به عنوان مثال در يک پايگاه داده هاي مربوط به سيستم فروشگاهي ، اطلاعاتي در مورد خريد مشتريان ، خصوصيات آماري آنها ، تامين کنندگان ، خريد ، حسابداري و … وجود دارند . براي تعيين نحوه چيدن قفسه ها تنها به داده ها يي در مورد خريد مشتريان و خصوصيات آماري آنها نياز است . حتي در مواردي نياز به کاوش در تمام محتويات پايگاه نيست بلکه ممکن است به منظور کاهش هزينه عمليات ، نمونه هايي از عناصر انتخاب و کاوش شوند .

   4-تبديل داده ها : هنگامي که داده هاي مورد نياز انتخاب شدند و داده هاي مورد کاوش مشخص گرديدند، معمولا به تبديلات خاصي روي داده ها نياز است. نوع تبديل به عمليات و تکنيک داده کاوي مورد استفاده بستگي دارد، تبديلاتي ساده همچون تبديل نوع داده اي به نوع ديگر تا تبديلات پيچيده تر همچون تعريف صفات جديد با انجام عملياتهاي رياضي و منطقي روي صفات موجود.

5-داده کاوی : بخش اصلی فرايند ، که در آن با استفاده از روش ها و تکنيک های خاص ، استخراج الگو های مفید ،  دانش استخراج می شود.

 6-زيابی الگو^[6]  : مشخص کردن الگوهای صحيح و مورد نظر به وسيله معيارهای اندازه گيری.

 7-زنمايی دانش :  در اين  بخش به منظور ارائه دانش استخراج شده به کاربر ، از يک سری ابزارهای بصری سازی استفاده می گردد.

1-3-1-تعریف داده کاوی        

در متون آکادميک تعاريف گوناگوني براي داده کاوي ارائه شده اند . در برخي از اين تعاريف داده کاوي در حد ابزاري که کاربران را قادر به ارتباط مستقيم با حجم عظيم داده ها مي سازد معرفي

پایان نامه بررسی و مطالعه کامل داده کاوی و داده کاوی با SQL SERVER2005 پیاده سازی آن