در واقع تئوری اطلاعات و کدینگ دو مقوله هستند که از هم نشات گرفته اند... در سیستم های مخابراتی ما داده های معلومی نداریم و اینکه فرستنده چه داده ای را ارسال میکند یک فرآیند کاملا تصادفیست... فرآیند تصادفی بودن آن داده یعنی قطعا یک تابع احتمال (جرم احتمال، چگالی احتمال) برای آن در نظر گرفته می شود...