-
تئوری اطلاعات
تئوری اطلاعات
تئوری اطلاعات
نظریّهٔ اطّلاعات مدلی ریاضی از شرایط و عوامل موثر در انتقال و پردازش داده‌ها و اطّلاعاتکلاود شانون در سال ۱۹۴۸ میلادی نسبت داده می‌شود. نظریه اطلاعات مورد استفاده خاص مهندسین مخابرات بوده، هرچند برخی از مفاهیم آن در رشته‌های دیگری مانند روان‌شناسی، زبان‌شناسی نیز مورد استفاده قرار گرفته‌است. آمار و احتمالات بوده و با مفاهیم روزمره از اطلاعات مانند «دانش» و یا استفاده‌های روزمره از آن در زبان طبیعی مانند «بازیابی اطلاعات»، «تحلیل اطلاعات»، «چهارراه اطلاعات» و غیره تفاوت می‌دارد. اگر چه نظریه اطلاعات رشته‌های دیگر مانند روان شناسی و فلسفه را تحت تأثیر قرار داده، ولی بدلیل مشکلات تبدیل «مفهوم آماری اطلاعات» به «مفهوم معنایی دانش و محتوا» تأثیراتش بیشتر از نوع القای احساساتی نسبت به مفهوم اطلاعات بوده‌است. فراهم می‌آورد. نظریه اطلاعات با ارائه روشی جهت «کمّی سازی و اندازه‌گیری عددی اطلاعات» به موضوعاتی مانند ارسال، دریافت، و ذخیره‌سازی بهینهٔ داده‌ها و اطلاعات می‌پردازد. تمرکز اصلی این نظریه بر روی محدودیت‌های بنیادین که در ارسال و تحلیل داده‌ها وجود دارد می‌باشد، و کمتر به نحوه عملکرد دستگاه‌های خاص می‌پردازد. پیدایش این نظریه عموماً به مهندس برقی به نام مفهوم اطلاعاتی که توسط شانون مطالعه شد اطلاعات از دید
تاریخچه
خلق تلگراف و تلفن توجه و علاقه نسبت به مفهوم اطلاعات و انتقال آن را افزایش داد. در سال ۱۸۴۴ میلادی، ساموئل مورس خط تلگرافی بین شهرهای واشنگتن و بالتیمور در آمریکا ساخت. مورس هنگام ارسال اطلاعات به مشکلات عملی الکتریکی برخورد. او متوجه شد که خطوطی که از زیر زمین کشیده شده‌اند مشکلات بیشتری از خطوطی که هوایی از طریق تیر منتقل می‌شوند دارند و این خود زمینه‌ای برای تحقیقات بعدی شد. با اختراع تلفن توسط الکساندر گراهام بل در سال ۱۸۷۵ میلادی و گسترش شدید آن، برخی از دانشوران به بررسی مشکلات انتقال اطلاعات پرداختند. اکثر این تحقیقات از تبدیل فوریه استفاده جسته ولی تمرکز آنها بیشتر به جنبه عملی و مهندسی موضوع بود.
شروع تحقیق در مورد نظریه اطلاعات اولین بار در سال ۱۹۲۴ توسط هری نایکوئیست انجام شد. نایکویست وجود نرخ ماکزیمم ارسال اطلاعات را متوجه شده و فرمولی جهت محاسبه این نرخ ماکزیمم ارائه کرد. کار مهم دیگر در این زمان مقاله «انتقال اطلاعات» در سال ۱۹۲۸ میلادی توسط هارتلی بود که اولین پایه‌های ریاضی نظریه اطلاعات را بنا گذاشت. در مقاله‌ای به نام «عوامل خاصی که سرعت تلگراف را تحت تأثیر قرار می‌دهند»
http://upload.wikimedia.org/wikipedi...16-2001%29.jpg http://bits.wikimedia.org/skins-1.5/...gnify-clip.png
کلود شانون
تولد واقعی نظریه اطلاعات را به مقاله «نظریه ریاضی مخابرات» توسط کلاود شانون نسبت داد. یکی از نکات اصلی مقاله شانون توجه به این نکته بود که بررسی سیگنال‌های مخابراتی را باید از بررسی معانی ای که آن سیگنال‌ها حمل می‌کنند جدا کرد، در حالی که پیش از او اطلاعات موجود در یک سیگنال الکتریکی از پیغامی که آن سیگنال منتقل می‌کند جدا در نظر گرفته نمی‌شد. شانون همچنین به این نکته توجه کرد که طول یک سیگنال همیشه متناسب با میزان اطلاعات آن نیست. مثلاً نقل شده‌است که در نامه‌ای که ویکتور هوگو به ناشرش نوشت، فقط نماد «؟» را نوشته بود. در پاسخ نامه‌ای دریافت کرد که فقط حاوی نماد «!» بود. این دو نماد برای هر دو طرف حاوی اطلاعات زیادی می‌باشد، هرچند از دید ناظری که معانی آنها را نداند، بی معنی هستند. مثال دیگر این جمله‌ای طولانی است که به زبان فارسی نوشته شده باشد، ولی برای یک انگلیسی زبانی که فارسی نمی‌داند مفهومی ندارد. بدین سان شانون پیشنهاد نمود که مسئله ارسال سیگنال‌ها را از ارسال معانی موجود در آنها جدا کرده، و برای موضوع اول نظریه ریاضی ای تولید نمود.
شانون در آن زمان در آزمایشگاه بل مشغول به کار بود و سعی در تعبیه خطوط تلفن با ضریب اعتماد بالا داشت. پیش از شانون عوامل موثر در استفاده بهینه از خطوط تلفن شناخته نشده بود و تعداد حداکثر مکالمات تلفنی که می‌توان روی خطوط تلفن موجود انجام داد نامشخص بود. شانون پس از ارائه تعریفی ریاضی از کانال مخابراتی، ظرفیتی به کانال مخابراتی نسبت داد که بیانگر میزان حداکثر اطلاعاتی است که روی کانال می‌توان مخابره کرد. فرمول ظرفیت کانال شانون نه تنها به کانال‌های بدون اغتشاش (بدون نویز)، بلکه حتی به کانال‌های با اغتشاش واقعی نیز قابل اعمال بود. شانون فرمولی ارائه کرد که نحوه تاثیر پهنای باند کانال، و نسبت توان سیگنال ارسالی به اغتشاش (نسبت داده به نوفه) بر ظرفیت کانال را را آشکار می‌کرد.
مفهوم اطلاعات و راه‌های اندازه‌گیری آن
مفهوم اطلاعاتی که توسط شانون مطالعه شد اطلاعات از دید آمار و احتمالات بوده و با مفاهیم روزمره از اطلاعات مانند «دانش» و یا استفاده‌های روزمره از آن در زبان طبیعی مانند «بازیابی اطلاعات»، «تحلیل اطلاعات»، «چهارراه اطلاعات» و غیره تفاوت می‌دارد. اگر چه نظریه اطلاعات رشته‌های دیگر مانند روان شناسی و فلسفه را تحت تأثیر قرار داده، ولی بدلیل مشکلات تبدیل «مفهوم آماری اطلاعات» به «مفهوم معنایی دانش و محتوا» تأثیراتش بیشتر از نوع القای احساساتی نسبت به مفهوم اطلاعات بوده‌است.
آمار و احتمالات نقشی حیاتی و عمده در ظهور و رشد نظریه اطلاعات برعهده دارد.
قضایای شانون
در این نظریه، کلاود شانون نحوهٔ مدل‌سازی مسئله ارسال اطلاعات در یک کانال مخابراتی را به صورت پایه‌ای بررسی نموده، و مدل کاملی برای مدل‌سازی ریاضی منبع اطلاعات، کانال ارسال اطلاعات و بازیابی آن ارائه نموده‌است. او مسالهٔ ارسال اطلاعات از یک منبع به یک مقصد را به کمک علم احتمالات بررسی و تحلیل نمود. دو نتیجهٔ بسیار مهم، معروف به قضیه‌های شانون، عبارت‌اند از:
آنتروپی آن منبع است؛ به عبارت دیگر نمی‌توان دنباله خروجی از یک منبع اطلاعات را با کمتر از آنتروپی آن منبع ارسال نمود.
ظرفیت کانال می‌گوئیم. ارسال با نرخی بیشتر از ظرفیت یک کانال روی آن منجر به خطا می‌شود.
این زمینه از علم مخابرات، به زیربخش‌های کدگذاری منبع و کدگذاری کانال تقسیم می‌گردد. مباحث رمزنگاری مطرح شده توسط شانون نیز از این بنیان ریاضی بهره جسته‌است. از زیر شاخه‌های مرتبط با آن می‌توان نظریه کدینگ جبری کانال را نام برد.
۱- حداقل میزان نرخی که می‌توان نرخ فشرده کردن اطلاعات یک منبع تصادفی اطلاعات را به آن محدود نمود برابر با آنتروپی آن منبع است؛ به عبارت دیگر نمی‌توان دنباله خروجی از یک منبع اطلاعات را با کمتر از آنتروپی آن منبع ارسال نمود.
۲- حداکثر میزان نرخی که می‌توان بر روی یک کانال مخابراتی اطلاعات ارسال نمود به نحوی که قادر به آشکارسازی اطلاعات در مقصد، با احتمال خطای در حد قابل قبول کم، باشیم، مقداری ثابت و وابسته به مشخصات کانال است، که به آن ظرفیت کانال می‌گوئیم. ارسال با نرخی بیشتر از ظرفیت یک کانال روی آن منجر به خطا می‌شود. این زمینه از علم مخابرات، به زیربخش‌های کدگذاری منبع و کدگذاری کانال تقسیم می‌گردد. مباحث رمزنگاری مطرح شده توسط شانون نیز از این بنیان ریاضی بهره جسته‌است. از زیر شاخه‌های مرتبط با آن می‌توان نظریه کدینگ جبری کانال را نام برد.
