Entropy (ទ្រឹស្តីព័ត៌មាន)
Entropy (ព័ត៌មាន)- រង្វាស់នៃភាពចៃដន្យនៃព័ត៌មាន ភាពមិនច្បាស់លាស់នៃរូបរាងនៃតួអក្សរណាមួយនៃអក្ខរក្រមបឋម។ អវត្ដមាននៃការបាត់បង់ព័ត៌មាន វាស្មើនឹងចំនួនព័ត៌មានក្នុងមួយនិមិត្តសញ្ញានៃសារដែលបានបញ្ជូន។
ជាឧទាហរណ៍ នៅក្នុងលំដាប់នៃអក្សរដែលបង្កើតជាប្រយោគជាភាសារុស្សី អក្សរផ្សេងគ្នាលេចឡើងនៅប្រេកង់ផ្សេងៗគ្នា ដូច្នេះភាពមិនច្បាស់លាស់នៃការកើតឡើងសម្រាប់អក្សរខ្លះគឺតិចជាងសម្រាប់អក្សរផ្សេងទៀត។ ប្រសិនបើយើងយកទៅក្នុងគណនីថាបន្សំមួយចំនួននៃអក្សរ (ក្នុងករណីនេះយើងនិយាយអំពី entropy នលំដាប់ទី សូមមើល ) គឺកម្រណាស់ បន្ទាប់មកភាពមិនច្បាស់លាស់ត្រូវបានកាត់បន្ថយបន្ថែមទៀត។
ដើម្បីបង្ហាញពីគំនិតនៃ entropy នៃព័ត៌មាន អ្នកក៏អាចងាកទៅរកឧទាហរណ៍ពីវាលនៃ thermodynamic entropy ដែលមានឈ្មោះថា Maxwell's demon ។ គោលគំនិតនៃព័ត៌មាន និង entropy មានទំនាក់ទំនងយ៉ាងស៊ីជម្រៅជាមួយគ្នា ប៉ុន្តែទោះបីជាយ៉ាងនេះក៏ដោយ ការអភិវឌ្ឍន៍នៃទ្រឹស្តីនៅក្នុងមេកានិចស្ថិតិ និងទ្រឹស្ដីព័ត៌មានត្រូវចំណាយពេលជាច្រើនឆ្នាំដើម្បីធ្វើឱ្យពួកគេត្រូវគ្នានឹងគ្នាទៅវិញទៅមក។
និយមន័យផ្លូវការ
| និយមន័យដោយប្រើព័ត៌មានផ្ទាល់ខ្លួន |
|
វាក៏អាចធ្វើទៅបានផងដែរដើម្បីកំណត់ entropy នៃអថេរចៃដន្យដោយការណែនាំជាដំបូងគំនិតនៃការចែកចាយនៃអថេរចៃដន្យមួយ។ Xដែលមានចំនួនកំណត់នៃតម្លៃ៖ ខ្ញុំ(X) = − កំណត់ហេតុ ទំ X (X).បន្ទាប់មក entropy នឹងត្រូវបានកំណត់ជា: ឯកតារង្វាស់នៃព័ត៌មាន និង entropy អាស្រ័យលើមូលដ្ឋាននៃលោការីត៖ ប៊ីត ណាត ឬ ហាតលី។ |
ពត៌មានវិទ្យាសម្រាប់ព្រឹត្តិការណ៍ចៃដន្យឯករាជ្យ xជាមួយ នរដ្ឋដែលអាចធ្វើបាន (ពី 1 ដល់ ន) ត្រូវបានគណនាដោយរូបមន្ត៖
តម្លៃនេះត្រូវបានគេហៅផងដែរ។ entropy សារជាមធ្យម. តម្លៃត្រូវបានគេហៅថា entropy ឯកជនលក្ខណៈតែប៉ុណ្ណោះ ខ្ញុំ- រដ្ឋ។
ដូច្នេះ entropy នៃព្រឹត្តិការណ៍ xគឺជាផលបូកដែលមានសញ្ញាផ្ទុយនៃផលិតផលទាំងអស់នៃប្រេកង់ដែលទាក់ទងនៃការកើតឡើងនៃព្រឹត្តិការណ៍ ខ្ញុំគុណនឹងលោការីតគោលពីរផ្ទាល់ខ្លួន (មូលដ្ឋាន 2 ត្រូវបានជ្រើសរើសសម្រាប់តែភាពងាយស្រួលនៃការធ្វើការជាមួយព័ត៌មានដែលបង្ហាញក្នុងទម្រង់គោលពីរ)។ និយមន័យនេះសម្រាប់ព្រឹត្តិការណ៍ចៃដន្យដាច់ដោយឡែកអាចត្រូវបានពង្រីកទៅជាមុខងារចែកចាយប្រូបាប៊ីលីតេ។
ជាទូទៅ ខ- អារី entropy(កន្លែងណា ខស្មើនឹង 2, 3, …) ប្រភពដែលមានអក្ខរក្រមដំបូង និងការចែកចាយប្រូបាប៊ីលីតេដាច់ពីគ្នា។ ទំ ខ្ញុំគឺជាប្រូបាប៊ីលីតេ ក ខ្ញុំ (ទំ ខ្ញុំ = ទំ(ក ខ្ញុំ) ) ត្រូវបានកំណត់ដោយរូបមន្ត៖
និយមន័យនៃ entropy របស់ Shannon គឺទាក់ទងទៅនឹងគំនិតនៃ entropy ទែរម៉ូឌីណាមិក។ Boltzmann និង Gibbs បានធ្វើការងារជាច្រើនលើទែម៉ូឌីណាមិកស្ថិតិ ដែលរួមចំណែកដល់ការទទួលយកពាក្យ "entropy" នៅក្នុងទ្រឹស្តីព័ត៌មាន។ មានទំនាក់ទំនងរវាងទែរម៉ូឌីណាមិក និងធាតុព័ត៌មាន។ ជាឧទាហរណ៍ បិសាចរបស់ Maxwell ក៏មានភាពផ្ទុយគ្នាទៅនឹងធាតុកំដៅនៃព័ត៌មានដែរ ហើយការទទួលបានព័ត៌មានណាមួយគឺស្មើនឹងការបាត់បង់ entropy ។
និយមន័យជំនួស
វិធីមួយទៀតដើម្បីកំណត់មុខងារ entropy ហគឺជាភស្តុតាង ហត្រូវបានកំណត់តែមួយគត់ (ដូចដែលបានបញ្ជាក់មុន) ប្រសិនបើ និងប្រសិនបើ ហបំពេញលក្ខខណ្ឌ៖
ទ្រព្យសម្បត្តិ
វាជាការសំខាន់ដែលត្រូវចងចាំថា entropy គឺជាបរិមាណដែលបានកំណត់នៅក្នុងបរិបទនៃគំរូប្រូបាប៊ីលីស្ទិចសម្រាប់ប្រភពទិន្នន័យ។ ឧទាហរណ៍ ការបោះកាក់មាន entropy នៃ −2(0.5log 2 0.5) = 1 bit ក្នុងមួយបោះ (សន្មត់ថាវាឯករាជ្យ)។ ប្រភពដែលបង្កើតខ្សែអក្សរដែលមានតែអក្សរ "A" មានសូន្យ entropy៖ 
. ដូច្នេះ ជាឧទាហរណ៍ វាអាចត្រូវបានបង្កើតឡើងជាក់ស្តែងថា entropy នៃអត្ថបទភាសាអង់គ្លេសគឺ 1.5 ប៊ីតក្នុងមួយតួអក្សរ ដែលជាការពិតណាស់នឹងប្រែប្រួលសម្រាប់អត្ថបទផ្សេងៗគ្នា។ កម្រិតនៃ entropy នៃប្រភពទិន្នន័យមានន័យថាចំនួនមធ្យមនៃប៊ីតក្នុងមួយធាតុទិន្នន័យដែលត្រូវការដើម្បីអ៊ិនគ្រីបវាដោយមិនបាត់បង់ព័ត៌មានជាមួយនឹងការអ៊ិនកូដដ៏ល្អប្រសើរ។
- ប៊ីតទិន្នន័យមួយចំនួនអាចមិនផ្ទុកព័ត៌មាន។ ឧទាហរណ៍ រចនាសម្ព័ន្ធទិន្នន័យតែងតែរក្សាទុកព័ត៌មានដែលលែងត្រូវការគ្នា ឬមានផ្នែកដូចគ្នាបេះបិទដោយមិនគិតពីព័ត៌មាននៅក្នុងរចនាសម្ព័ន្ធទិន្នន័យ។
- ចំនួន entropy មិនតែងតែត្រូវបានបង្ហាញជាចំនួនគត់នៃប៊ីតទេ។
លក្ខណៈសម្បត្តិគណិតវិទ្យា
ប្រសិទ្ធភាព
អក្ខរក្រមដំបូងដែលបានជួបប្រទះនៅក្នុងការអនុវត្តមានការចែកចាយប្រូបាប៊ីលីតេដែលនៅឆ្ងាយពីភាពល្អប្រសើរបំផុត។ ប្រសិនបើអក្ខរក្រមដើមមាន នតួអក្សរបន្ទាប់មកវាអាចប្រៀបធៀបទៅនឹង "អក្ខរក្រមដែលបានធ្វើឱ្យប្រសើរ" ដែលការចែកចាយប្រូបាប៊ីលីតេគឺឯកសណ្ឋាន។ សមាមាត្រនៃអក្ខរក្រមដើម និងអក្ខរក្រមដែលបានធ្វើឱ្យប្រសើរគឺជាប្រសិទ្ធភាពនៃអក្ខរក្រមដើម ដែលអាចបង្ហាញជាភាគរយ។
វាធ្វើតាមពីនេះថាប្រសិទ្ធភាពនៃអក្ខរក្រមដើមជាមួយ ននិមិត្តសញ្ញាអាចត្រូវបានកំណត់យ៉ាងសាមញ្ញថាស្មើនឹងរបស់វា។ ន- អារី entropy ។
Entropy កំណត់ការបង្រួមអតិបរមាដែលអាចបាត់បង់ (ឬស្ទើរតែគ្មានការបាត់បង់) ដែលអាចត្រូវបានដឹងដោយប្រើសំណុំធម្មតាតាមទ្រឹស្តី ឬនៅក្នុងការអនុវត្ត ការសរសេរកូដ Huffman ការសរសេរកូដ Lempel-Ziv-Welch ឬការសរសេរកូដនព្វន្ធ។
បំរែបំរួលនិងទូទៅ
entropy តាមលក្ខខណ្ឌ
ប្រសិនបើលំដាប់នៃតួអក្សរអក្ខរក្រមមិនឯករាជ្យ (ឧទាហរណ៍ ជាភាសាបារាំង អក្សរ "q" ស្ទើរតែតែងតែធ្វើតាមដោយ "u" ហើយបន្ទាប់ពីពាក្យ "មេដឹកនាំ" នៅក្នុងកាសែតសូវៀត ពាក្យ "ផលិតកម្ម" ឬ "ពលកម្ម" ។ ជាធម្មតាត្រូវបានគេអនុវត្តតាម) បរិមាណនៃព័ត៌មានដែលបានអនុវត្តតាមលំដាប់នៃនិមិត្តសញ្ញាបែបនេះ (ហើយហេតុដូច្នេះហើយ entropy) គឺតូចជាងជាក់ស្តែង។ entropy តាមលក្ខខណ្ឌត្រូវបានប្រើប្រាស់ដើម្បីគណនាការពិតបែបនេះ។
entropy តាមលក្ខខណ្ឌនៃលំដាប់ទីមួយ (ស្រដៀងទៅនឹងគំរូ Markov នៃលំដាប់ទីមួយ) គឺជា entropy សម្រាប់អក្ខរក្រម ដែលប្រូបាប៊ីលីតេនៃរូបរាងនៃអក្សរមួយបន្ទាប់ពីមួយផ្សេងទៀតត្រូវបានគេដឹង (នោះគឺប្រូបាប៊ីលីតេនៃបន្សំអក្សរពីរ) :
កន្លែងណា ខ្ញុំគឺជារដ្ឋដែលពឹងផ្អែកលើតួអក្សរមុន និង ទំ ខ្ញុំ (j) គឺជាប្រូបាប៊ីលីតេ j, បានផ្តល់ថា ខ្ញុំគឺជាតួអង្គពីមុន។
ដូច្នេះសម្រាប់ភាសារុស្ស៊ីដោយគ្មានអក្សរ "" ។
នៅក្នុងលក្ខខណ្ឌនៃ entropies ឯកជន និងទូទៅ ការបាត់បង់ព័ត៌មានត្រូវបានពិពណ៌នាទាំងស្រុងក្នុងអំឡុងពេលបញ្ជូនទិន្នន័យនៅក្នុងឆានែលដែលមានសំលេងរំខាន។ សម្រាប់ការនេះ ហៅថា ម៉ាទ្រីសឆានែល. ដូច្នេះដើម្បីពណ៌នាការខាតបង់ពីប្រភព (នោះគឺជាសញ្ញាដែលបានផ្ញើត្រូវបានគេស្គាល់) ពិចារណាប្រូបាប៊ីលីតេតាមលក្ខខណ្ឌនៃការទទួលបាននិមិត្តសញ្ញាដោយអ្នកទទួល។ ខ jសន្មតថាតួអក្សរមួយត្រូវបានផ្ញើ ក ខ្ញុំ. ក្នុងករណីនេះម៉ាទ្រីសឆានែលមានទម្រង់ដូចខាងក្រោមៈ
| ខ 1 | ខ 2 | … | ខ j | … | ខ ម | |
|---|---|---|---|---|---|---|
| ក 1 | … | … | ||||
| ក 2 | … | … | ||||
| … | … | … | … | … | … | … |
| ក ខ្ញុំ | … | … | ||||
| … | … | … | … | … | … | … |
| ក ម | … | … |
ជាក់ស្តែងប្រូបាប៊ីលីតេដែលមានទីតាំងនៅតាមអង្កត់ទ្រូងពិពណ៌នាអំពីប្រូបាប៊ីលីតេនៃការទទួលត្រឹមត្រូវហើយផលបូកនៃធាតុទាំងអស់នៃជួរឈរនឹងផ្តល់ប្រូបាប៊ីលីតេនៃរូបរាងនៃតួអក្សរដែលត្រូវគ្នានៅផ្នែកម្ខាងនៃអ្នកទទួល - ទំ(ខ j) . ការបាត់បង់ក្នុងមួយសញ្ញាបញ្ជូន ក ខ្ញុំត្រូវបានពិពណ៌នានៅក្នុងលក្ខខណ្ឌនៃ entropy តាមលក្ខខណ្ឌដោយផ្នែក៖
ដើម្បីគណនាការបាត់បង់ការបញ្ជូននៃសញ្ញាទាំងអស់ entropy តាមលក្ខខណ្ឌសរុបត្រូវបានប្រើ៖
វាមានន័យថា entropy ពីផ្នែកខាងប្រភពវាត្រូវបានពិចារណាស្រដៀងគ្នា - entropy ពីផ្នែកអ្នកទទួល: ជំនួសឱ្យវាត្រូវបានចង្អុលបង្ហាញគ្រប់ទីកន្លែង (សង្ខេបធាតុនៃខ្សែអក្សរអ្នកអាចទទួលបាន។ ទំ(ក ខ្ញុំ) និងធាតុនៃអង្កត់ទ្រូងមានន័យថាប្រូបាប៊ីលីតេដែលពិតប្រាកដតួអក្សរដែលត្រូវបានផ្ញើនោះគឺជាប្រូបាប៊ីលីតេនៃការបញ្ជូនត្រឹមត្រូវ) ។
entropy ទៅវិញទៅមក
entropy ទៅវិញទៅមក, ឬ entropy សហជីពត្រូវបានរចនាឡើងដើម្បីគណនា entropy នៃប្រព័ន្ធអន្តរទំនាក់ទំនង ( entropy នៃរូបរាងរួមគ្នានៃសារដែលអាស្រ័យតាមស្ថិតិ) និងត្រូវបានតាង ហ(កខ) កន្លែងណា កដូចរាល់ដង កំណត់លក្ខណៈរបស់ឧបករណ៍បញ្ជូន និង ខ- អ្នកទទួល។
ទំនាក់ទំនងរវាងសញ្ញាដែលបានបញ្ជូន និងទទួលត្រូវបានពិពណ៌នាដោយប្រូបាប៊ីលីតេនៃព្រឹត្តិការណ៍រួមគ្នា ទំ(ក ខ្ញុំ ខ j) ហើយម៉ាទ្រីសមួយប៉ុណ្ណោះត្រូវបានទាមទារដើម្បីពិពណ៌នាពេញលេញអំពីលក្ខណៈឆានែល៖
| ទំ(ក 1 ខ 1) | ទំ(ក 1 ខ 2) | … | ទំ(ក 1 ខ j) | … | ទំ(ក 1 ខ ម) |
| ទំ(ក 2 ខ 1) | ទំ(ក 2 ខ 2) | … | ទំ(ក 2 ខ j) | … | ទំ(ក 2 ខ ម) |
| … | … | … | … | … | … |
| ទំ(ក ខ្ញុំ ខ 1) | ទំ(ក ខ្ញុំ ខ 2) | … | ទំ(ក ខ្ញុំ ខ j) | … | ទំ(ក ខ្ញុំ ខ ម) |
| … | … | … | … | … | … |
| ទំ(ក ម ខ 1) | ទំ(ក ម ខ 2) | … | ទំ(ក ម ខ j) | … | ទំ(ក ម ខ ម) |
សម្រាប់ករណីទូទៅជាងនេះ នៅពេលដែលមិនមានឆានែលត្រូវបានពិពណ៌នា ប៉ុន្តែប្រព័ន្ធអន្តរកម្មសាមញ្ញ ម៉ាទ្រីសមិនចាំបាច់ជាការ៉េទេ។ ជាក់ស្តែង ផលបូកនៃធាតុទាំងអស់នៃជួរឈរដែលមានលេខ jនឹងអោយ ទំ(ខ j) , ផលបូកនៃបន្ទាត់ដែលមានលេខ ខ្ញុំមាន ទំ(ក ខ្ញុំ) ហើយផលបូកនៃធាតុទាំងអស់នៃម៉ាទ្រីសគឺ 1. ប្រូបាប៊ីលីតេរួម ទំ(ក ខ្ញុំ ខ j) ព្រឹត្តិការណ៍ ក ខ្ញុំនិង ខ jត្រូវបានគណនាជាផលិតផលនៃប្រូបាប៊ីលីតេដើម និងតាមលក្ខខណ្ឌ
ប្រូបាប៊ីលីតេតាមលក្ខខណ្ឌត្រូវបានផលិតដោយរូបមន្តរបស់ Bayes ។ ដូច្នេះ ទិន្នន័យទាំងអស់សម្រាប់គណនាប្រភព និងអ្នកទទួលគឺអាចរកបាន៖
entropy ទៅវិញទៅមកត្រូវបានគណនាដោយការបូកសរុបជួរបន្តគ្នា (ឬជួរឈរ) នៃប្រូបាប៊ីលីតេម៉ាទ្រីសទាំងអស់គុណនឹងលោការីតរបស់ពួកគេ៖
| ហ(កខ) = − | ∑ | ∑ | ទំ(ក ខ្ញុំ ខ j) កំណត់ហេតុ ទំ(ក ខ្ញុំ ខ j). |
| ខ្ញុំ | j |
ឯកតារង្វាស់គឺប៊ីត/តួអក្សរពីរ នេះត្រូវបានពន្យល់ដោយការពិតដែលថា entropy ទៅវិញទៅមកពិពណ៌នាអំពីភាពមិនច្បាស់លាស់សម្រាប់គូនៃតួអក្សរ - ផ្ញើ និងទទួល។ តាមរយៈការផ្លាស់ប្តូរដ៏សាមញ្ញ យើងក៏ទទួលបានផងដែរ។
entropy ទៅវិញទៅមកមានទ្រព្យសម្បត្តិ ភាពពេញលេញនៃព័ត៌មាន- ពីវាអ្នកអាចទទួលបានបរិមាណទាំងអស់ដែលកំពុងពិចារណា។
រឿង
កំណត់ចំណាំ
សូមមើលផងដែរ
តំណភ្ជាប់
- លោក Claude E Shannon ទ្រឹស្តីគណិតវិទ្យានៃការទំនាក់ទំនង
- S. M. Korotaev ។
វិស្វករអាមេរិកាំង និងគណិតវិទូ
ស្ថាបនិកនៃទ្រឹស្តីព័ត៌មាន,
ទាំងនោះ។ ទ្រឹស្តីនៃដំណើរការ, ការបញ្ជូន
និងការរក្សាទុកព័ត៌មាន
លោក Claude Shannonគឺជាអ្នកដំបូងដែលបកស្រាយសារដែលបានបញ្ជូន និងសំឡេងរំខាននៅក្នុងបណ្តាញទំនាក់ទំនងក្នុងលក្ខខណ្ឌនៃស្ថិតិ ដោយពិចារណាទាំងសំណុំសារដែលកំណត់ និងបន្ត។ Claude Shannon ត្រូវបានគេហៅថា "បិតានៃទ្រឹស្តីព័ត៌មាន".
ស្នាដៃវិទ្យាសាស្ត្រដ៏ល្បីល្បាញបំផុតមួយរបស់ Claude Shannon គឺជាអត្ថបទរបស់គាត់។ "ទ្រឹស្តីគណិតវិទ្យានៃការទំនាក់ទំនង"បោះពុម្ពនៅឆ្នាំ 1948 ។
នៅក្នុងការងារនេះ Shannon ដោយស្វែងយល់ពីបញ្ហានៃការបញ្ជូនព័ត៌មានដោយសមហេតុផលតាមរយៈបណ្តាញទំនាក់ទំនងដែលមិនមានសម្លេងរំខាន បានស្នើវិធីសាស្រ្តប្រូបាប៊ីលីស្ទីកក្នុងការយល់ដឹងអំពីទំនាក់ទំនង បានបង្កើតទ្រឹស្តីគណិតវិទ្យាដំបូងបង្អស់នៃ entropy ជារង្វាស់នៃភាពចៃដន្យ និងណែនាំរង្វាស់នៃការចែកចាយដាច់ពីគ្នា។ ទំប្រូបាប៊ីលីតេនៅលើសំណុំនៃស្ថានភាពជំនួសរបស់អ្នកបញ្ជូន និងអ្នកទទួលសារ។
Shannon កំណត់តម្រូវការសម្រាប់ការវាស់វែងនៃ entropy និងទទួលបានរូបមន្តដែលបានក្លាយជាមូលដ្ឋាននៃទ្រឹស្តីព័ត៌មានបរិមាណ:
H(p)
.
នៅទីនេះ ន- ចំនួនតួអក្សរដែលសារអាចត្រូវបានតែង (អក្ខរក្រម), ហ - ពត៌មានប្រព័ន្ធគោលពីរ .
នៅក្នុងការអនុវត្ត, ប្រូបាប៊ីលីតេ ភីនៅក្នុងរូបមន្តខាងលើ ពួកគេត្រូវបានជំនួសដោយការប៉ាន់ស្មានស្ថិតិ៖ ភី - ប្រេកង់ដែលទាក់ទង ខ្ញុំ-th តួអក្សរនៅក្នុងសារ, ដែលជាកន្លែងដែល ន- ចំនួនតួអក្សរទាំងអស់នៅក្នុងសារ, ន- ប្រេកង់ដាច់ខាត ខ្ញុំតួអក្សរទីនៅក្នុងសារ, i.e. លេខកើតឡើង ខ្ញុំតួអក្សរទីនៅក្នុងសារ។
នៅក្នុងការណែនាំអំពីអត្ថបទរបស់គាត់ "ទ្រឹស្តីគណិតវិទ្យានៃការទំនាក់ទំនង" Shannon កត់សម្គាល់ថានៅក្នុងអត្ថបទនេះគាត់បានពង្រីកលើទ្រឹស្តីនៃការទំនាក់ទំនងដែលជាបទប្បញ្ញត្តិសំខាន់ៗដែលមាននៅក្នុងការងារសំខាន់ៗ។ នីឃ្វីស្តនិង ហាតលី.
Harry Nyquist (1889-1976) - វិស្វករជនជាតិអាមេរិកស៊ុយអែត
ប្រភពដើម, មួយក្នុងចំណោមអ្នកត្រួសត្រាយផ្លូវ
ទ្រឹស្តីព័ត៌មាន
លទ្ធផលដំបូងរបស់ Nyquist ក្នុងការកំណត់កម្រិតបញ្ជូនដែលត្រូវការដើម្បីបញ្ជូនព័ត៌មាន បានដាក់មូលដ្ឋានគ្រឹះសម្រាប់ភាពជោគជ័យជាបន្តបន្ទាប់របស់លោក Claude Shannon ក្នុងការអភិវឌ្ឍន៍ទ្រឹស្ដីព័ត៌មាន។
Hartley បានណែនាំរង្វាស់លោការីតនៃព័ត៌មាននៅឆ្នាំ 1928 ។ ហ = ខេកំណត់ហេតុ ២ នដែលជារឿយៗត្រូវបានគេហៅថាចំនួនព័ត៌មាន Hartley ។
Hartley ជាម្ចាស់ទ្រឹស្តីបទសំខាន់ៗដូចខាងក្រោមលើចំនួនព័ត៌មានដែលត្រូវការ៖ ប្រសិនបើនៅក្នុងសំណុំដែលបានផ្តល់ឱ្យ ម, រួមមាន នធាតុ, ធាតុត្រូវបានផ្ទុក xដែលវាត្រូវបានគេស្គាល់ថាជាកម្មសិទ្ធិរបស់ឈុតនេះ។ មបន្ទាប់មកដើម្បីស្វែងរក xវាចាំបាច់ក្នុងការទទួលបានចំនួនព័ត៌មានអំពីសំណុំនេះស្មើនឹងកំណត់ហេតុ 2 នប៊ីត។
ដោយវិធីនេះយើងកត់សំគាល់ថាឈ្មោះ ប៊ីធីបានមកពីអក្សរកាត់ជាភាសាអង់គ្លេស BIT - ឌីជីថលប៊ីណារី. ពាក្យនេះត្រូវបានស្នើឡើងដំបូងដោយគណិតវិទូជនជាតិអាមេរិក លោក John Tukeyនៅឆ្នាំ 1946 ។ Hartley និង Shannon បានប្រើប៊ីតជាឯកតារង្វាស់សម្រាប់ព័ត៌មាន។
ជាទូទៅ ធាតុ Shannon គឺជា entropy នៃសំណុំប្រូបាប ទំ 1 , ទំ 2 ,…, ទំ ន.
Ralph Vinton Lyon Hartley (1888-1970) - អ្នកវិទ្យាសាស្ត្រអេឡិចត្រូនិកអាមេរិក
និយាយយ៉ាងតឹងរឹងប្រសិនបើ X ទំ 1 , ទំ 2 ,…, ទំ នគឺជាប្រូបាប៊ីលីតេនៃតម្លៃដែលអាចធ្វើបានទាំងអស់របស់វា បន្ទាប់មកមុខងារ ហ (X)កំណត់ entropy នៃអថេរចៃដន្យនេះខណៈពេលដែល, ទោះបីជា Xហើយមិនមែនជាអាគុយម៉ង់ entropy ទេយើងអាចសរសេរបាន។ ហ (X).
ដូចគ្នានេះដែរប្រសិនបើ យគឺជាអថេរចៃដន្យដាច់ដោយឡែកកំណត់ និង q 1 , q 2 ,…, q m គឺជាប្រូបាប៊ីលីតេនៃតម្លៃដែលអាចធ្វើបានទាំងអស់របស់វា បន្ទាប់មកសម្រាប់អថេរចៃដន្យនេះ យើងអាចសរសេរបាន។ ហ (យ)
.
John Wilder Tukey (1915-2000) - គណិតវិទូជនជាតិអាមេរិក។ Tukey ជាប់ឆ្នោត
ប៊ីត ដើម្បីសម្គាល់លេខមួយខ្ទង់
នៅក្នុងប្រព័ន្ធគោលពីរ
Shannon ដាក់ឈ្មោះមុខងារ ហ(X)entropy លើដំបូន្មាន លោក John von Neumann.
Neumann បានប្រកែក៖ មុខងារនេះគួរតែត្រូវបានគេហៅថា entropy "សម្រាប់ហេតុផលពីរ។ ជាដំបូង មុខងារមិនច្បាស់លាស់របស់អ្នកត្រូវបានប្រើប្រាស់ក្នុងមេកានិចស្ថិតិក្រោមឈ្មោះនេះ ដូច្នេះវាមានឈ្មោះរួចហើយ។ នៅក្នុងចំណាត់ថ្នាក់ទីពីរ ហើយសំខាន់ជាងនេះទៅទៀត គ្មាននរណាម្នាក់ដឹងថាអ្វីជា entropy ពិតប្រាកដនោះទេ ដូច្នេះអ្នកនឹងតែងតែមានចំណុចកំពូលក្នុងការពិភាក្សា។.
វាត្រូវតែត្រូវបានសន្មត់ថាដំបូន្មានរបស់ Neumann មិនមែនជាការលេងសើចនោះទេ។ ភាគច្រើនទំនងជាទាំង John von Neumann និង Claude Shannon បានដឹងអំពីការបកស្រាយព័ត៌មាននៃ entropy Boltzmann ជាបរិមាណដែលបង្ហាញពីភាពមិនពេញលេញនៃព័ត៌មានអំពីប្រព័ន្ធ។
នៅក្នុងនិយមន័យរបស់ Shannon ធាតុចូលគឺជាចំនួននៃព័ត៌មានក្នុងមួយសារបឋមនៃប្រភពដែលបង្កើតសារឯករាជ្យស្ថិតិ.
7. Kolmogorov entropy
Andrey Nikolaevich Kolmogorov (1903-1987) -
អ្នកវិទ្យាសាស្ត្រសូវៀតម្នាក់ក្នុងចំណោមអ្នកធំជាងគេ
អ្នកគណិតវិទ្យានៃសតវត្សទី 20
A.N. Kolmogorovលទ្ធផលជាមូលដ្ឋានត្រូវបានទទួលនៅក្នុងផ្នែកជាច្រើននៃគណិតវិទ្យា រួមទាំងទ្រឹស្តីភាពស្មុគស្មាញនៃក្បួនដោះស្រាយ និងទ្រឹស្តីព័ត៌មាន។
ជាពិសេស គាត់ដើរតួយ៉ាងសំខាន់ក្នុងការផ្លាស់ប្តូរទ្រឹស្ដីព័ត៌មាន ដែលបង្កើតឡើងដោយ Claude Shannon ជាវិន័យបច្ចេកទេស ទៅជាវិទ្យាសាស្ត្រគណិតវិទ្យាយ៉ាងម៉ត់ចត់ និងក្នុងការកសាងទ្រឹស្ដីព័ត៌មាននៅលើមូលដ្ឋានខុសគ្នាពី Shannon's ។
នៅក្នុងស្នាដៃរបស់គាត់លើទ្រឹស្តីព័ត៌មាន និងក្នុងវិស័យទ្រឹស្តីនៃប្រព័ន្ធថាមវន្ត A.N. Kolmogorov ជាទូទៅគំនិតនៃ entropy ទៅនឹងដំណើរការចៃដន្យ ergodic តាមរយៈការកំណត់ការចែកចាយប្រូបាប៊ីលីតេ។ ដើម្បីយល់ពីអត្ថន័យនៃការធ្វើទូទៅនេះ ចាំបាច់ត្រូវដឹងពីនិយមន័យ និងគោលគំនិតជាមូលដ្ឋាននៃទ្រឹស្តីនៃដំណើរការចៃដន្យ។
តម្លៃនៃ entropy Kolmogorov (ហៅផងដែរថា K-entropy) បញ្ជាក់ការប៉ាន់ប្រមាណនៃអត្រានៃការបាត់បង់ព័ត៌មាន និងអាចបកស្រាយថាជារង្វាស់នៃ "អង្គចងចាំ" នៃប្រព័ន្ធ ឬជារង្វាស់នៃអត្រា "បំភ្លេច" លក្ខខណ្ឌដំបូង។ វាក៏អាចត្រូវបានមើលថាជារង្វាស់នៃភាពចៃដន្យនៃប្រព័ន្ធមួយ។
8. Renyi entropy
Alfred Renyi (1921-1970) - គណិតវិទូហុងគ្រី អ្នកបង្កើត
វិទ្យាស្ថានគណិតវិទ្យានៅទីក្រុង Budapest
ឥឡូវនេះដាក់ឈ្មោះរបស់គាត់។
បានណែនាំវិសាលគមប៉ារ៉ាម៉ែត្រតែមួយនៃ Rényi entropies ។
ម៉្យាងវិញទៀត Renyi entropy គឺជាការធ្វើឱ្យទូទៅនៃធាតុ Shannon ។ ម៉្យាងវិញទៀត ក្នុងពេលជាមួយគ្នា វាគឺជាការទូទៅនៃចម្ងាយ (ភាពខុសគ្នា) Kullback-Leibler. យើងក៏កត់សម្គាល់ផងដែរថាវាគឺជា Rényi ដែលជាម្ចាស់ភស្តុតាងពេញលេញនៃទ្រឹស្តីបទ Hartley លើចំនួនព័ត៌មានដែលត្រូវការ។
ចម្ងាយ Kullback-Leibler(information divergence, relative entropy) គឺជារង្វាស់ asymmetric នៃចម្ងាយពីគ្នាទៅវិញទៅមកនៃការចែកចាយប្រូបាប៊ីលីតេពីរ។.
ជាធម្មតាការចែកចាយប្រៀបធៀបមួយគឺជាការចែកចាយ "ពិត" ហើយការចែកចាយទីពីរគឺជាការចែកចាយប៉ាន់ស្មាន (អាចផ្ទៀងផ្ទាត់បាន) ដែលជាការប៉ាន់ស្មាននៃការចែកចាយទីមួយ។
អនុញ្ញាតឱ្យមាន X, យគឺជាអថេរចៃដន្យដាច់ដោយឡែកដែលជួរនៃតម្លៃដែលអាចធ្វើបានជារបស់សំណុំដែលបានផ្តល់ឱ្យ ហើយមុខងារប្រូបាប៊ីលីតេត្រូវបានគេដឹងថា៖ ទំ (X = មួយ ខ្ញុំ) = ភីនិង ទំ (យ = មួយ ខ្ញុំ) = ឈី.
បន្ទាប់មកតម្លៃ DKL នៃចម្ងាយ Kullback-Leibler ត្រូវបានគណនាដោយរូបមន្ត
ឃ KL (X, យ) =, ឃ KL (យ, X) = .
ក្នុងករណីអថេរចៃដន្យបន្តយ៉ាងពិតប្រាកដ X, យដែលផ្តល់ដោយដង់ស៊ីតេចែកចាយរបស់ពួកគេ នៅក្នុងរូបមន្តសម្រាប់គណនាតម្លៃនៃចម្ងាយ Kullback-Leibler ផលបូកត្រូវបានជំនួសដោយអាំងតេក្រាលដែលត្រូវគ្នា។
ចម្ងាយ Kullback-Leibler តែងតែជាលេខដែលមិនអវិជ្ជមាន ហើយវាជាសូន្យ ឃ KL(X, យ) = 0 ប្រសិនបើ និងលុះត្រាតែសមភាព X = យ.
នៅឆ្នាំ 1960 លោក Alfred Renyi ផ្តល់នូវការធ្វើឱ្យទូទៅរបស់គាត់អំពី entropy ។
Renyi entropy គឺជាក្រុមគ្រួសារនៃមុខងារសម្រាប់ភាពចម្រុះបរិមាណនៃភាពចៃដន្យនៃប្រព័ន្ធ។ Rényi បានកំណត់ entropy របស់គាត់ថាជាពេលនៃលំដាប់αនៃរង្វាស់នៃការ decomposition ε (គ្របដណ្តប់) ។
អនុញ្ញាតឱ្យ α ជាចំនួនពិតប្រាកដដែលបំពេញតម្រូវការ α ≥ 0, α ≠ 1. បន្ទាប់មក លំដាប់ Rényi នៃលំដាប់ α ត្រូវបានផ្តល់ឱ្យដោយ ហ α = ហ α ( X)
កន្លែងណា ភី = ទំ (X = x ខ្ញុំ) - ប្រូបាប៊ីលីតេនៃព្រឹត្តិការណ៍ដែលមាននៅក្នុងការពិតដែលថាអថេរចៃដន្យដាច់ដោយឡែកមួយ។ Xនឹងស្មើនឹងតម្លៃដែលអាចធ្វើបានដែលត្រូវគ្នារបស់វា ន- ចំនួនសរុបនៃតម្លៃដែលអាចធ្វើបានខុសៗគ្នានៃអថេរចៃដន្យ X.
សម្រាប់ការចែកចាយសូម្បីតែនៅពេល ទំ 1 = ទំ 2 =…= ទំ ន =1/នទាំងអស់ Rényi entropies គឺស្មើគ្នា ហ α ( X) = កំណត់ហេតុ ន.
បើមិនដូច្នោះទេ entropies Rényi ថយចុះបន្តិចនៅពេលដែលតម្លៃនៃប៉ារ៉ាម៉ែត្រαកើនឡើង។ Rényi entropies ដើរតួនាទីយ៉ាងសំខាន់ក្នុងបរិស្ថានវិទ្យា និងស្ថិតិជាសន្ទស្សន៍នៃភាពចម្រុះ។
Rényi entropy មានសារៈសំខាន់ផងដែរនៅក្នុងព័ត៌មាន quantum ហើយអាចត្រូវបានប្រើជារង្វាស់នៃភាពស្មុគស្មាញ។
អនុញ្ញាតឱ្យយើងពិចារណាករណីពិសេសមួយចំនួននៃ entropy Renyi សម្រាប់តម្លៃជាក់លាក់នៃលំដាប់α:
1. Entropy Hartley : ហ 0 = ហ 0 (X) = កំណត់ហេតុ នកន្លែងណា ន- អំណាចនៃជួរនៃតម្លៃដែលអាចធ្វើបាននៃអថេរចៃដន្យចុងក្រោយ X, i.e. ចំនួននៃធាតុផ្សេងគ្នាដែលជាកម្មសិទ្ធិរបស់សំណុំនៃតម្លៃដែលអាចធ្វើបាន;
2. ព័ត៌មាន Shannon Entropy : ហ 1 = ហ 1 (X) = ហ 1 (ទំ) (កំណត់ជាដែនកំណត់ដូចជា α → 1 ដែលងាយស្រួលរក ឧទាហរណ៍ ការប្រើច្បាប់របស់ L'Hopital);
3. ធាតុចូលដែលទាក់ទងគ្នា។ ឬ ការប៉ះទង្គិច entropy: ហ 2 = ហ 2 (X)= - ln ( X = យ);
4. មីន-entropy : ហ ∞ = ហ ∞ (X).
ចំណាំថាសម្រាប់តម្លៃដែលមិនអវិជ្ជមាននៃលំដាប់ (α ≥ 0) វិសមភាពតែងតែមាន ហ ∞ (X) ≤ ហ α ( X) ក្រៅពីនេះ ហ 2 (X) ≤ ហ 1 (X) និង ហ ∞ (X) ≤ ហ 2 (X) ≤ ២ ហ ∞ (X).
Alfred Rényi បានណែនាំមិនត្រឹមតែ entropies ដាច់ខាតរបស់គាត់ (1.15) ប៉ុណ្ណោះទេ គាត់ក៏បានកំណត់ជួរនៃវិធានការណ៍ផ្សេងគ្នាដែលជាទូទៅបង្ហាញពីភាពខុសគ្នា Kullback-Leibner ។
អនុញ្ញាតឱ្យ α ជាចំនួនពិតដែលបំពេញតម្រូវការ α > 0, α ≠ 1. បន្ទាប់មក នៅក្នុងសញ្ញាណដែលប្រើក្នុងការកំណត់តម្លៃ ឃ KLចម្ងាយ Kullback-Leibler តម្លៃនៃភាពខុសគ្នានៃលំដាប់ Rényi ត្រូវបានកំណត់ដោយរូបមន្ត
ឃ α ( X, យ)
, ឃ α ( X, យ)
.
Renyi Divergence ត្រូវបានគេហៅថាផងដែរ។ អាល់ហ្វា- divergence ឬ α-divergence ។ Renyi ខ្លួនគាត់ផ្ទាល់បានប្រើលោការីតទៅគោល 2 ប៉ុន្តែដូចរាល់ដង តម្លៃនៃមូលដ្ឋានលោការីតគឺមិនសំខាន់ទាល់តែសោះ។
9. Tallis entropy
Constantino Tsallis (កើតឆ្នាំ 1943) - រូបវិទូប្រេស៊ីល
ប្រភពដើមក្រិក
នៅឆ្នាំ 1988 គាត់បានស្នើឱ្យមានការបង្កើតទូទៅថ្មីនៃ entropy ដែលងាយស្រួលសម្រាប់ប្រើក្នុងការអភិវឌ្ឍទ្រឹស្ដីនៃទែម៉ូឌីណាមិកមិនលីនេអ៊ែរ។
ការធ្វើទូទៅនៃ entropy ដែលស្នើឡើងដោយគាត់ប្រហែលជាក្នុងពេលអនាគតដ៏ខ្លីខាងមុខអាចដើរតួនាទីយ៉ាងសំខាន់នៅក្នុងទ្រឹស្តីរូបវិទ្យា និងរូបវិទ្យាតារាសាស្ត្រ។
ទីប្រជុំជន Tsallisការ៉េជាញឹកញាប់គេហៅថា entropy មិនទូលំទូលាយ (មិនបន្ថែម) ត្រូវបានកំណត់សម្រាប់ ន microstates តាមរូបមន្តខាងក្រោម៖
ការ៉េ = ការ៉េ (X) = ការ៉េ (ទំ) = ខេ· , 
.
នៅទីនេះ ខេ- វិមាត្រថេរ ប្រសិនបើវិមាត្រមានតួនាទីសំខាន់ក្នុងការយល់ដឹងអំពីបញ្ហា។
Tsallis និងអ្នកគាំទ្ររបស់គាត់ស្នើឱ្យបង្កើត "មេកានិចស្ថិតិនិងទែរម៉ូឌីណាមិកដែលមិនទូលំទូលាយ" ជាការធ្វើឱ្យទូទៅនៃវិន័យបុរាណទាំងនេះចំពោះករណីនៃប្រព័ន្ធដែលមានការចងចាំយូរនិង / ឬកងកម្លាំងជួរវែង។
ពីពូជផ្សេងទៀតទាំងអស់នៃ entropy, incl ។ ហើយពី Rényi entropy, Tsallis entropy ខុសគ្នាត្រង់ថាវាមិនមែនជាសារធាតុបន្ថែមទេ។ នេះគឺជាភាពខុសគ្នាជាមូលដ្ឋាន និងសំខាន់.
Tsallis និងអ្នកគាំទ្ររបស់គាត់ជឿថាលក្ខណៈពិសេសនេះធ្វើឱ្យវាអាចបង្កើតទែម៉ូឌីណាមិកថ្មីនិងទ្រឹស្តីស្ថិតិថ្មីដែលជាវិធីដើម្បីពិពណ៌នាយ៉ាងសាមញ្ញនិងត្រឹមត្រូវអំពីប្រព័ន្ធដែលមានអង្គចងចាំវែងនិងប្រព័ន្ធដែលធាតុនីមួយៗមានអន្តរកម្មមិនត្រឹមតែជាមួយអ្នកជិតខាងដែលនៅជិតបំផុតប៉ុណ្ណោះទេ។ ផងដែរជាមួយនឹងប្រព័ន្ធទាំងមូលទាំងមូល។ ឬផ្នែកធំ។
ឧទាហរណ៍នៃប្រព័ន្ធបែបនេះ ហើយដូច្នេះវត្ថុដែលអាចធ្វើទៅបាននៃការស្រាវជ្រាវដោយប្រើទ្រឹស្ដីថ្មីគឺប្រព័ន្ធទំនាញអវកាស៖ ចង្កោមផ្កាយ ណុប៊ីឡា កាឡាក់ស៊ី ចង្កោមកាឡាក់ស៊ី។ល។
ចាប់តាំងពីឆ្នាំ 1988 នៅពេលដែល Constantino Tsallis បានស្នើសុំធាតុចូលរបស់គាត់ ចំនួនដ៏សំខាន់នៃកម្មវិធីនៃទែម៉ូឌីណាមិកនៃប្រព័ន្ធ anomalous (ជាមួយនឹងអង្គចងចាំប្រវែង និង/ឬជាមួយនឹងកម្លាំងរយៈចម្ងាយឆ្ងាយ) បានបង្ហាញខ្លួន រួមទាំងនៅក្នុងវិស័យទែរម៉ូឌីណាមិកនៃប្រព័ន្ធទំនាញផែនដី។
10. Quantum von Neumann entropy
John (Janos) von Neumann (1903-1957) - គណិតវិទូ និងរូបវិទ្យាជនជាតិអាមេរិក
ដើមកំណើតហុងគ្រី
វត្ថុធាតុវ៉ុន នឺម៉ាន់ ដើរតួយ៉ាងសំខាន់ក្នុងរូបវិទ្យាកង់ទិច និងក្នុងការស្រាវជ្រាវតារាសាស្ត្រ។
លោក John von Neumannបានចូលរួមចំណែកយ៉ាងសំខាន់ក្នុងការអភិវឌ្ឍន៍ផ្នែកវិទ្យាសាស្ត្រដូចជារូបវិទ្យា quantum, quantum logic, functional analysis, set theory, computer science and economics។
គាត់គឺជាសមាជិកនៃគម្រោង Manhattan សម្រាប់ការអភិវឌ្ឍន៍អាវុធនុយក្លេអ៊ែរ ដែលជាអ្នកបង្កើតទ្រឹស្តីហ្គេមគណិតវិទ្យា និងគំនិតនៃ cellular automata ហើយក៏ជាស្ថាបនិកនៃស្ថាបត្យកម្មកុំព្យូទ័រទំនើបផងដែរ។
អ៊ីនត្រូភី វ៉ន នឺម៉ាន់ ដូចជា អេនត្រូភី ណាក៏ដោយ ត្រូវបានភ្ជាប់ជាមួយព័ត៌មាន៖ ក្នុងករណីនេះ ជាមួយនឹងព័ត៌មានអំពីប្រព័ន្ធឃ្វាន់តុំ។ ហើយក្នុងន័យនេះ វាដើរតួនាទីនៃប៉ារ៉ាម៉ែត្រមូលដ្ឋានដែលកំណត់លក្ខណៈបរិមាណនៃស្ថានភាព និងទិសដៅនៃការវិវត្តន៍នៃប្រព័ន្ធ Quantum ។
បច្ចុប្បន្ននេះ អេនត្រូភី វ៉ន ណឺម៉ាន់ ត្រូវបានគេប្រើយ៉ាងទូលំទូលាយក្នុងទម្រង់ផ្សេងៗគ្នា (អេត្រូភីតាមលក្ខខណ្ឌ អេនត្រូភីដែលទាក់ទង។
វិធានការផ្សេងៗនៃការជាប់គាំងគឺទាក់ទងដោយផ្ទាល់ទៅនឹងធាតុវ៉ុណឺម៉ាន់។ ទោះជាយ៉ាងណាក៏ដោយ ការងារមួយចំនួនបានលេចឡើងនាពេលថ្មីៗនេះ ដែលត្រូវបានឧទ្ទិសដល់ការរិះគន់របស់ Shannon entropy ជារង្វាស់នៃព័ត៌មាន និងភាពមិនគ្រប់គ្រាន់ដែលអាចកើតមានរបស់វា ហើយជាលទ្ធផល ភាពមិនគ្រប់គ្រាន់នៃ entropy von Neumann ជាការធ្វើឱ្យទូទៅនៃ Shannon entropy ។
ការពិនិត្យឡើងវិញ (ជាអកុសល ទស្សន៍ទ្រនិច និងជួនកាលមិនគ្រប់គ្រាន់ក្នុងគណិតវិទ្យាយ៉ាងម៉ត់ចត់) នៃការវិវត្តន៍នៃទស្សនៈវិទ្យាសាស្ត្រលើគោលគំនិតនៃ entropy អនុញ្ញាតឱ្យយើងឆ្លើយសំណួរសំខាន់ៗទាក់ទងនឹងខ្លឹមសារពិតនៃ entropy និងការរំពឹងទុកសម្រាប់ការប្រើប្រាស់វិធីសាស្រ្ត entropy ក្នុងការស្រាវជ្រាវវិទ្យាសាស្ត្រ និងជាក់ស្តែង។ . យើងដាក់កម្រិតខ្លួនយើងក្នុងការពិចារណាលើចម្លើយចំពោះសំណួរពីរបែបនេះ។
សំណួរទីមួយ: តើពូជជាច្រើននៃ entropy ទាំងដែលត្រូវបានពិចារណា និងមិនត្រូវបានពិចារណាខាងលើ មានអ្វីដូចគ្នាក្រៅពីឈ្មោះដូចគ្នា?
សំណួរនេះកើតឡើងដោយធម្មជាតិ ប្រសិនបើយើងពិចារណាលើភាពចម្រុះដែលកំណត់លក្ខណៈនៃគំនិតផ្សេងៗដែលមានស្រាប់អំពី entropy ។
រហូតមកដល់បច្ចុប្បន្ន សហគមន៍វិទ្យាសាស្ត្រមិនទាន់បានបង្កើតចម្លើយតែមួយ ដែលត្រូវបានទទួលស្គាល់ជាសកលចំពោះសំណួរនេះទេ៖ អ្នកវិទ្យាសាស្ត្រខ្លះឆ្លើយសំណួរនេះដោយបញ្ជាក់ ខ្លះទៀតជាអវិជ្ជមាន ហើយអ្នកផ្សេងទៀតនៅតែចាត់ទុកភាពសាមញ្ញនៃ entropies នៃប្រភេទផ្សេងៗជាមួយនឹងការសង្ស័យគួរឱ្យកត់សម្គាល់។ ...
តាមមើលទៅ Clausius គឺជាអ្នកវិទ្យាសាស្ត្រដំបូងគេដែលជឿជាក់លើលក្ខណៈសកលនៃ entropy ហើយជឿថាវាដើរតួនាទីយ៉ាងសំខាន់ក្នុងដំណើរការទាំងអស់ដែលកើតឡើងនៅក្នុងសកលលោក ជាពិសេសកំណត់ទិសដៅនៃការអភិវឌ្ឍន៍របស់ពួកគេទាន់ពេលវេលា។
និយាយអីញ្ចឹងវាគឺជា Rudolf Clausius ដែលជាម្ចាស់មួយនៃការបង្កើតច្បាប់ទីពីរនៃទែរម៉ូឌីណាមិក: "មិនមានដំណើរការណាដែលលទ្ធផលតែមួយគត់គឺការផ្ទេរកំដៅពីរាងកាយត្រជាក់ទៅក្តៅជាង".
រូបមន្តនៃច្បាប់ទីពីរនៃទែរម៉ូឌីណាមិកត្រូវបានគេហៅថា postulate របស់ Clausius ហើយដំណើរការដែលមិនអាចត្រឡប់វិញបាន សំដៅដល់នៅក្នុង postulate នេះគឺ ដំណើរការ Clausius .
ចាប់តាំងពីការរកឃើញនៃច្បាប់ទីពីរនៃទែរម៉ូឌីណាមិច ដំណើរការដែលមិនអាចត្រឡប់វិញបានបានដើរតួនាទីតែមួយគត់នៅក្នុងរូបភាពរូបវិទ្យានៃពិភពលោក។ ដូច្នេះ អត្ថបទដ៏ល្បីល្បាញឆ្នាំ 1849 លោក William Thompsonដែលក្នុងនោះរូបមន្តទីមួយនៃច្បាប់ទី 2 នៃទែរម៉ូឌីណាមិកត្រូវបានផ្តល់ឱ្យត្រូវបានគេហៅថា "នៅលើទំនោរសកលនៅក្នុងធម្មជាតិដើម្បីរំសាយថាមពលមេកានិច" ។
ចំណាំផងដែរថា Clausius ក៏ត្រូវបានបង្ខំឱ្យប្រើភាសា cosmological: "Entropy នៃសកលលោកមានទំនោរទៅអតិបរមា".
Ilya Romanovich Prigozhin (1917-2003) - រូបវិទូជនជាតិបែលហ្សិក-អាមេរិក និង
គីមីវិទ្យានៃប្រភពដើមរុស្ស៊ី,
រង្វាន់ណូបែល
គីមីវិទ្យាឆ្នាំ ១៩៧៧
បានឈានដល់ការសន្និដ្ឋានស្រដៀងគ្នា Ilya Prigogine. Prigogine ជឿថាគោលការណ៍នៃ entropy គឺទទួលខុសត្រូវចំពោះភាពមិនអាចត្រឡប់វិញនៃពេលវេលានៅក្នុងសកលលោក ហើយប្រហែលជាដើរតួនាទីយ៉ាងសំខាន់ក្នុងការយល់ដឹងពីអត្ថន័យនៃពេលវេលាដែលជាបាតុភូតរូបវន្ត។
រហូតមកដល់បច្ចុប្បន្ន ការសិក្សាជាច្រើន និងការធ្វើឱ្យទូទៅនៃ entropy ត្រូវបានអនុវត្ត រួមទាំងពីទស្សនៈនៃទ្រឹស្តីគណិតវិទ្យាដ៏តឹងរឹងមួយ។ ទោះជាយ៉ាងណាក៏ដោយ សកម្មភាពគួរឱ្យកត់សម្គាល់របស់គណិតវិទូនៅក្នុងតំបន់នេះមិនទាន់មានតម្រូវការនៅក្នុងកម្មវិធីនៅឡើយទេ លើកលែងតែការងារដែលអាចធ្វើបាន។ Kolmogorov, រីនីនិង តាលីស.
ដោយមិនសង្ស័យ entropy គឺតែងតែជារង្វាស់ (កម្រិត) នៃភាពវឹកវរ, ភាពច្របូកច្របល់។ វាគឺជាភាពចម្រុះនៃការបង្ហាញនៃបាតុភូតនៃភាពវឹកវរ និងវិបល្លាស ដែលកំណត់ពីភាពជៀសមិនរួចនៃភាពចម្រុះនៃការកែប្រែ entropy ។
សំណួរទីពីរ៖ តើវាអាចទៅរួចក្នុងការទទួលស្គាល់វិសាលភាពនៃវិធីសាស្រ្ត entropy ថាទូលំទូលាយទេ ឬតើកម្មវិធីទាំងអស់នៃ entropy និងច្បាប់ទីពីរនៃទែរម៉ូឌីណាមិចបានកំណត់ចំពោះទែរម៉ូឌីណាមិកខ្លួនឯង និងផ្នែកពាក់ព័ន្ធនៃវិទ្យាសាស្ត្ររូបវិទ្យា?
ប្រវត្តិសាស្រ្តនៃការសិក្សាវិទ្យាសាស្ត្រនៃ entropy បង្ហាញថា entropy គឺជាបាតុភូតវិទ្យាសាស្ត្រដែលបានរកឃើញនៅក្នុងទែរម៉ូឌីណាមិចហើយបន្ទាប់មកបានធ្វើចំណាកស្រុកដោយជោគជ័យទៅកាន់វិទ្យាសាស្ត្រផ្សេងទៀតហើយលើសពីនេះទៅទៀតទៅទ្រឹស្តីព័ត៌មាន។
ដោយមិនសង្ស័យ អេនត្រូពីដើរតួយ៉ាងសំខាន់ក្នុងស្ទើរតែគ្រប់ផ្នែកនៃវិទ្យាសាស្ត្រធម្មជាតិទំនើប៖ ក្នុងរូបវិទ្យាកម្ដៅ រូបវិទ្យាស្ថិតិ រូបវិទ្យា និងគីមី ជីវរូបវិទ្យា តារារូបវិទ្យា លោហធាតុវិទ្យា និងទ្រឹស្តីព័ត៌មាន។
និយាយអំពីគណិតវិទ្យាអនុវត្ត មនុស្សម្នាក់មិនអាចខកខានក្នុងការនិយាយអំពីការអនុវត្តគោលការណ៍អតិបរមារបស់ entropy នោះទេ។
ដូចដែលបានកត់សម្គាល់រួចមកហើយ កម្មវិធីសំខាន់ៗនៃ entropy គឺជាវត្ថុមេកានិច quantum និង relativistic ។ នៅក្នុងរូបវិទ្យា quantum និង astrophysics កម្មវិធីនៃ entropy មានការចាប់អារម្មណ៍យ៉ាងខ្លាំង។
ចូរយើងលើកឡើងតែលទ្ធផលដើមមួយនៃទ្រម៉ូឌីណាមិកប្រហោងខ្មៅប៉ុណ្ណោះ៖ entropy នៃប្រហោងខ្មៅគឺស្មើនឹងមួយភាគបួននៃផ្ទៃរបស់វា (តំបន់នៃផ្តេកព្រឹត្តិការណ៍).
នៅក្នុង cosmology វាត្រូវបានគេជឿថា entropy នៃសកលលោកគឺស្មើនឹងចំនួននៃ cosmic microwave background radiation quanta ក្នុងមួយ nucleon ។
ដូច្នេះ វិសាលភាពនៃវិធីសាស្រ្ត entropy គឺទូលំទូលាយណាស់ ហើយរួមបញ្ចូលនូវផ្នែកជាច្រើននៃចំនេះដឹង ពីទែម៉ូឌីណាមិក ផ្នែកផ្សេងទៀតនៃវិទ្យាសាស្ត្ររូបវិទ្យា វិទ្យាសាស្ត្រកុំព្យូទ័រ និងការបញ្ចប់ឧទាហរណ៍ជាមួយនឹងប្រវត្តិសាស្រ្ត និងសេដ្ឋកិច្ច។
A.V. សេហ្គាល។បណ្ឌិតវិទ្យាសាស្ត្រសេដ្ឋកិច្ច សាកលវិទ្យាល័យ Crimean ដាក់ឈ្មោះតាម V.I. Vernadsky
1.4 Entropy នៃប្រភព។ លក្ខណៈសម្បត្តិនៃបរិមាណនៃព័ត៌មាននិង entropy
ចំនួនព័ត៌មានដែលមាននៅក្នុងសារបឋមមួយ។ x ខ្ញុំ , មិនកំណត់លក្ខណៈពេញលេញនៃប្រភព។ ប្រភពនៃសារដាច់ដោយឡែកអាចត្រូវបានកំណត់លក្ខណៈ ចំនួនមធ្យមនៃព័ត៌មានក្នុងមួយសារបឋម ដែលត្រូវបានគេហៅថា entropy នៃប្រភព
, ខ្ញុំ =1…k , (1.3)
កន្លែងណា k - ទំហំអក្ខរក្រមសារ។
ដូច្នេះ entropy គឺជារង្វាស់ជាមធ្យមនៃភាពមិនច្បាស់លាស់នៃចំណេះដឹងរបស់អ្នកទទួលទាក់ទងនឹងស្ថានភាពនៃវត្ថុដែលបានសង្កេត។
នៅក្នុងកន្សោម (1.3) មធ្យមភាគស្ថិតិ (ឧ. និយមន័យនៃការរំពឹងទុកគណិតវិទ្យានៃអថេរចៃដន្យដាច់ដោយឡែក ខ្ញុំ (X ខ្ញុំ )) ត្រូវបានអនុវត្តលើក្រុមទាំងមូលនៃសារប្រភព។ ក្នុងករណីនេះ ចាំបាច់ត្រូវគិតគូរពីទំនាក់ទំនងប្រូបាប៊ីលីតេទាំងអស់រវាងសារ។ Entropy នៃប្រភពកាន់តែខ្ពស់ បរិមាណនៃព័ត៌មានជាមធ្យមកាន់តែច្រើនដែលរួមបញ្ចូលក្នុងសារនីមួយៗ វាកាន់តែពិបាកក្នុងការចងចាំ (កត់ត្រា) ឬបញ្ជូនសារបែបនេះតាមបណ្តាញទំនាក់ទំនង។ ដូច្នេះខ្លឹមសារនៃ entropy របស់ Shannon មានដូចខាងក្រោម៖ entropy នៃអថេរចៃដន្យដាច់ដោយឡែកគឺជាអប្បបរមានៃចំនួនមធ្យមនៃប៊ីតដែលត្រូវការបញ្ជូនតាមបណ្តាញទំនាក់ទំនងអំពីតម្លៃបច្ចុប្បន្ននៃអថេរចៃដន្យនេះ។
ថាមពលដែលត្រូវការដើម្បីបញ្ជូនសារគឺសមាមាត្រទៅនឹង entropy (ចំនួនមធ្យមនៃព័ត៌មានក្នុងមួយសារ) ។ វាធ្វើតាមថាបរិមាណនៃព័ត៌មាននៅក្នុងលំដាប់នៃ ន សារត្រូវបានកំណត់ដោយចំនួនសារទាំងនេះ និង entropy នៃប្រភព, i.e.
ខ្ញុំ (ន)=NH(X) .
Entropy ជារង្វាស់បរិមាណនៃមាតិកាព័ត៌មាននៃប្រភពមួយមានដូចខាងក្រោម លក្ខណៈសម្បត្តិ៖
1) entropy គឺសូន្យ ប្រសិនបើយ៉ាងហោចណាស់សារមួយអាចទុកចិត្តបាន (ឧ. មានប្រូបាប៊ីលីតេ ភី = 1);
2) តម្លៃនៃ entropy គឺតែងតែធំជាង ឬស្មើសូន្យ ពិតប្រាកដ និងកំណត់។
3) entropy នៃប្រភពដែលមានព្រឹត្តិការណ៍ជំនួសពីរអាចប្រែប្រួលពី 0 ទៅ 1;
4) entropy គឺជាបរិមាណបន្ថែម៖ entropy នៃប្រភពដែលសារមានសារពីប្រភពឯករាជ្យស្ថិតិជាច្រើនគឺស្មើនឹងផលបូកនៃ entropies នៃប្រភពទាំងនេះ។
5) entropy នឹងមានអតិបរមា ប្រសិនបើសារទាំងអស់មានប្រូបាប៊ីលីតេស្មើគ្នា
. (1.4)
ជាមួយនឹងសារមិនស្មើគ្នា x ខ្ញុំ entropy ថយចុះ។ ក្នុងន័យនេះ រង្វាស់ប្រភពមួយត្រូវបានណែនាំថាជា ភាពលើសលប់ស្ថិតិនៃអក្ខរក្រមប្រភព
, (1.5)
កន្លែងណា ហ (X ) គឺជា entropy នៃប្រភពពិត; ហ (X ) អតិបរមា= កំណត់ហេតុ 2 k គឺជា entropy អតិបរមាដែលអាចសម្រេចបាននៃប្រភព។
ភាពច្របូកច្របល់នៃប្រភពនៃព័ត៌មានដែលកំណត់ដោយរូបមន្ត (1.5) បង្ហាញពីការបម្រុងទុកព័ត៌មាននៃសារ ដែលធាតុផ្សំនៃព័ត៌មានមិនស្មើគ្នា។
ក៏មានគំនិតផងដែរ។ ភាពច្របូកច្របល់ semantic ដែលកើតឡើងពីការពិតដែលថាគំនិតណាមួយដែលមាននៅក្នុងសារពីប្រយោគនៃភាសារបស់មនុស្សអាចត្រូវបានបង្កើតតាមរបៀបខ្លីជាងនេះ។ វាត្រូវបានគេជឿថាប្រសិនបើសារមួយអាចត្រូវបានខ្លីដោយមិនបាត់បង់មាតិកា semantic របស់វានោះវាមាន semantic redundancy ។
ពិចារណាអថេរចៃដន្យដាច់ដោយឡែក (d.r.v.) X និង យ ផ្តល់ឱ្យដោយច្បាប់ចែកចាយ ទំ (X = X ខ្ញុំ )= ភី , ទំ (យ = យ )= qj និងការចែកចាយរួមគ្នា ទំ (X = X ខ្ញុំ , យ = យ )= ទំ . បន្ទាប់មក ចំនួនព័ត៌មានដែលមាននៅក្នុង ឃ. ក្នុង X ទាក់ទងទៅនឹង d.s. ក្នុង យ , ត្រូវបានកំណត់ដោយរូបមន្ត
. (1.6)
សម្រាប់អថេរចៃដន្យបន្ត (r.v.) X និង យ ផ្តល់ដោយដង់ស៊ីតេនៃការចែកចាយប្រូបាប៊ីលីតេ r X (t 1 ) , r យ (t 2 ) និង r XY (t 1 , t 2 ) រូបមន្តស្រដៀងគ្នាមានទម្រង់
វាច្បាស់ណាស់។
ដូច្នេះ
ទាំងនោះ។ យើងមកដល់កន្សោម (1.3) សម្រាប់ការគណនា entropy ហ (X ) .
ទ្រព្យសម្បត្តិនៃចំនួនព័ត៌មាន និង entropy៖
1) ខ្ញុំ (X , យ ) ≥ 0 ; ខ្ញុំ (X , យ ) =0 Û X និង យ ឯករាជ្យ (អថេរចៃដន្យមួយមិនពិពណ៌នាផ្សេងទៀត);
2) ខ្ញុំ (x, យ ) =ខ្ញុំ(យ X ) ;
3) HX =0 Û X = const ;
4)
ខ្ញុំ
(X, Y)
=HX+HY-H
(X, Y)
,
កន្លែងណា 
;
5) ខ្ញុំ (X, Y) ≤ I(X, X); I(X,Y)=I(X,X) Þ X=f(Y) .
សំណួរសាកល្បង
១ តើព័ត៌មានប្រភេទណាខ្លះ?
2 តើធ្វើដូចម្តេចដើម្បីបកប្រែព័ត៌មានបន្តទៅជាទម្រង់ដាច់ដោយឡែក (ឌីជីថល)?
3 តើអត្រាគំរូនៃព័ត៌មានបន្តគឺជាអ្វី?
4 តើទ្រឹស្តីបទបំបែកបំបាក់ត្រូវបានបង្កើតយ៉ាងដូចម្តេច?
5 តើអ្វីជាព័ត៌មាន ការសរសេរកូដ បណ្តាញទំនាក់ទំនង សំលេងរំខាន?
6 តើអ្វីជាបទប្បញ្ញត្តិចម្បងនៃវិធីសាស្រ្តប្រូបាប៊ីលីស្ទិចរបស់ Shannon ក្នុងការកំណត់បរិមាណព័ត៌មាន?
៧ តើចំនួនព័ត៌មានដែលមាននៅក្នុងសារតែមួយនៃប្រភពដាច់ដោយឡែកត្រូវបានកំណត់យ៉ាងដូចម្តេច?
៨ តើចំនួនព័ត៌មានក្នុងមួយសារនៃប្រភពនៃសារដែលពឹងផ្អែកគ្នាទៅវិញទៅមកត្រូវបានកំណត់យ៉ាងដូចម្តេច?
9 តើអ្វីជាប្រភពនៃ entropy? តើវាមានលក្ខណៈសម្បត្តិអ្វីខ្លះ?
10 នៅក្រោមលក្ខខណ្ឌអ្វីជា entropy នៃប្រភពអតិបរមា?
11 តើចំនួនព័ត៌មានត្រូវបានកំណត់យ៉ាងដូចម្តេច? តើបរិមាណព័ត៌មានមានលក្ខណៈសម្បត្តិអ្វីខ្លះ?
12 តើអ្វីបណ្តាលឱ្យមានស្ថិតិដដែលៗនៃប្រភពព័ត៌មាន?
តើពាក្យ "entropy" មានន័យយ៉ាងណាក្នុងទ្រឹស្ដីព័ត៌មាន? និងទទួលបានចម្លើយល្អបំផុត
ឆ្លើយតបពី MarZ[ហ្គូរូ]
ពត៌មានវិទ្យា ដូចដែលបានកំណត់ដោយ Shannon និងបន្ថែមដោយអ្នករូបវិទ្យាផ្សេងទៀត ទាក់ទងយ៉ាងជិតស្និទ្ធជាមួយនឹងគោលគំនិតនៃ thermodynamic entropy ។ នេះគឺជាតម្លៃដែលបង្ហាញពីចំនួនព័ត៌មានដែលមិនអាចកាត់ថ្លៃបាន (មិនអាចបង្រួមបាន) នៃព័ត៌មាន មាតិកានៅក្នុងប្រព័ន្ធដែលបានផ្តល់ឱ្យ (ជាធម្មតានៅក្នុងសញ្ញាដែលបានទទួល)។
នៅក្នុងទ្រឹស្តីព័ត៌មាន
Entropy នៅក្នុងមេកានិចស្ថិតិគឺទាក់ទងយ៉ាងជិតស្និទ្ធទៅនឹង entropy ព័ត៌មាន - រង្វាស់នៃភាពមិនច្បាស់លាស់នៃសារដែលត្រូវបានពិពណ៌នាដោយសំណុំនៃនិមិត្តសញ្ញា x_1,ldots,x_n និងប្រូបាប៊ីលីតេ p_1,ldots,p_n នៃការកើតឡើងនៃនិមិត្តសញ្ញាទាំងនេះនៅក្នុងសារ។ នៅក្នុងទ្រឹស្ដីព័ត៌មាន ធាតុនៃសារដែលមានការចែកចាយប្រូបាប៊ីលីតេដាច់ដោយឡែកគឺជាបរិមាណ
Sn = − ∑PkInPk,
k
កន្លែងណា
∑Pk = ១.
k
entropy នៃព័ត៌មានគឺស្មើនឹងសូន្យ នៅពេលដែលប្រូបាប៊ីលីតេណាមួយស្មើនឹងមួយ (ហើយនៅសល់ - ដល់សូន្យ) ពោលគឺនៅពេលដែលព័ត៌មានអាចព្យាករណ៍បានទាំងស្រុង ហើយមិនមានអ្វីថ្មីសម្រាប់អ្នកទទួលនោះទេ។ entropy យកតម្លៃដ៏ធំបំផុតសម្រាប់ការចែកចាយ equiprobable នៅពេលដែលប្រូបាប៊ីលីតេទាំងអស់ pk គឺដូចគ្នា; i.e. នៅពេលដែលភាពមិនច្បាស់លាស់ដែលត្រូវបានដោះស្រាយដោយសារគឺនៅអតិបរមារបស់វា។ អេនត្រូពីព័ត៌មានក៏មានលក្ខណៈសម្បត្តិគណិតវិទ្យាទាំងអស់ផងដែរ ដែលធាតុទ្រម៉ូឌីណាមិកមាន។ ឧទាហរណ៍ វាជាការបន្ថែម៖ entropy នៃសារជាច្រើនគឺស្មើនឹងផលបូកនៃ entropies នៃសារនីមួយៗ។
ប្រភព៖ http://www.wikiznanie.ru/ru-wz/index.php/РРСС,СЂРѕРїРёСЏ
ចម្លើយពី អាឡិចសាន់ឌឺហ្សូណូវ[គ្រូ]
ដូចនៅក្នុងទែរម៉ូឌីណាមិចដែរ entropy គឺជារង្វាស់នៃបញ្ហានៃប្រព័ន្ធមួយ។
ចម្លើយពី .
[សកម្ម]
Entropy (ព័ត៌មាន) - រង្វាស់នៃភាពចៃដន្យនៃព័ត៌មាន, ភាពមិនច្បាស់លាស់នៃរូបរាងនៃតួអក្សរណាមួយនៃអក្ខរក្រមបឋម។ អវត្ដមាននៃការបាត់បង់ព័ត៌មាន វាស្មើនឹងចំនួនព័ត៌មានក្នុងមួយនិមិត្តសញ្ញានៃសារដែលបានបញ្ជូន។
ចម្លើយពី 3 ចម្លើយ[គ្រូ]
ហេ! នេះគឺជាជម្រើសនៃប្រធានបទដែលមានចម្លើយចំពោះសំណួររបស់អ្នក៖ តើពាក្យ "entropy" មានន័យយ៉ាងណាពីទស្សនៈនៃទ្រឹស្តីព័ត៌មាន?
គំនិត ធាតុចូល
ណែនាំជាលើកដំបូងនៅក្នុងឆ្នាំ 1865 ដោយ R. Clausius ក្នុងទែម៉ូឌីណាមិកដើម្បីកំណត់រង្វាស់នៃការរលាយថាមពលដែលមិនអាចត្រឡប់វិញបាន។ Entropy ត្រូវបានប្រើនៅក្នុងផ្នែកផ្សេងៗនៃវិទ្យាសាស្ត្រ រួមទាំងទ្រឹស្ដីព័ត៌មាន ជារង្វាស់នៃភាពមិនប្រាកដប្រជានៃបទពិសោធន៍ ការធ្វើតេស្តដែលអាចមានលទ្ធផលខុសៗគ្នា។ និយមន័យទាំងនេះនៃ entropy មានទំនាក់ទំនងខាងក្នុងយ៉ាងស៊ីជម្រៅ។ ដូច្នេះ ដោយផ្អែកលើគំនិតអំពីព័ត៌មាន រាល់បទប្បញ្ញត្តិសំខាន់បំផុតនៃរូបវិទ្យាស្ថិតិអាចត្រូវបានកាត់ចេញ។ [ប៊ីអេស។ រូបវិទ្យា។ M: សព្វវចនាធិប្បាយរុស្ស៊ីដ៏អស្ចារ្យ ឆ្នាំ ១៩៩៨]។
តម្លៃនេះត្រូវបានគេហៅផងដែរ។ entropy មធ្យមសារ។ Entropy នៅក្នុងរូបមន្តរបស់ Shannon គឺជាលក្ខណៈជាមធ្យម - ការរំពឹងទុកតាមគណិតវិទ្យានៃការចែកចាយអថេរចៃដន្យមួយ។
ជាឧទាហរណ៍ នៅក្នុងលំដាប់នៃអក្សរដែលបង្កើតជាប្រយោគជាភាសារុស្សី អក្សរផ្សេងគ្នាលេចឡើងនៅប្រេកង់ផ្សេងៗគ្នា ដូច្នេះភាពមិនច្បាស់លាស់នៃការកើតឡើងសម្រាប់អក្សរខ្លះគឺតិចជាងសម្រាប់អក្សរផ្សេងទៀត។
នៅឆ្នាំ 1948 ខណៈពេលដែលការស៊ើបអង្កេតបញ្ហានៃការបញ្ជូនព័ត៌មានដោយសមហេតុផលតាមរយៈបណ្តាញទំនាក់ទំនងដែលមិនមានសម្លេងរំខាន លោក Claude Shannon បានស្នើនូវវិធីសាស្រ្តបដិវត្តន៍ប្រូបាប៊ីលីកដើម្បីការយល់ដឹងអំពីទំនាក់ទំនង និងបានបង្កើតទ្រឹស្តីគណិតវិទ្យាដំបូងបង្អស់នៃ entropy ។ គំនិតដ៏ត្រេកត្រអាលរបស់គាត់បានបម្រើជាមូលដ្ឋានយ៉ាងឆាប់រហ័សសម្រាប់ការអភិវឌ្ឍន៍ទ្រឹស្តីព័ត៌មាន ដែលប្រើគំនិតនៃប្រូបាប៊ីលីតេ។ គោលគំនិតនៃ entropy ដែលជារង្វាស់នៃភាពចៃដន្យត្រូវបានណែនាំដោយ Shannon នៅក្នុងអត្ថបទរបស់គាត់ "A Mathematical Theory of Communication" ដែលបានបោះពុម្ពជាពីរផ្នែកនៅក្នុង Bell System Technical Journal ក្នុងឆ្នាំ 1948 ។
ក្នុងករណីដែលមានព្រឹត្តិការណ៍ប្រហាក់ប្រហែលគ្នា (ករណីពិសេស) នៅពេលដែលជម្រើសទាំងអស់មានប្រូបាប៊ីលីតេស្មើគ្នា ការពឹងផ្អែកនៅតែមានតែលើចំនួនជម្រើសដែលបានពិចារណាប៉ុណ្ណោះ ហើយរូបមន្ត Shannon ត្រូវបានសម្រួលយ៉ាងខ្លាំង ហើយស្របគ្នានឹងរូបមន្ត Hartley ដែលត្រូវបានស្នើឡើងដំបូងដោយ វិស្វករជនជាតិអាមេរិក លោក Ralph Hartleyនៅឆ្នាំ 1928 ជាវិធីសាស្រ្តវិទ្យាសាស្ត្រមួយក្នុងការវាយតម្លៃសារ៖
ដែលជាកន្លែងដែលខ្ញុំជាចំនួននៃព័ត៌មានដែលបានបញ្ជូន p គឺជាប្រូបាប៊ីលីតេនៃព្រឹត្តិការណ៍ N គឺជាចំនួនដែលអាចធ្វើបាននៃសារផ្សេងៗគ្នា (equiprobable) ។កិច្ចការទី 1. ព្រឹត្តិការណ៍ប្រហាក់ប្រហែល។
មានសន្លឹកបៀចំនួន 36 សន្លឹក។ តើមានព័ត៌មានប៉ុន្មានក្នុងសារដែលថាកាតដែលមានរូប “សន្លឹកអាត់” ត្រូវបានយកចេញពីនាវា។ "សន្លឹកអាត់នៃ spades"?
ប្រូបាប៊ីលីតេ p1 = 4/36 = 1/9 និង p2 = 1/36 ។ ដោយប្រើរូបមន្ត Hartley យើងមាន៖
ចម្លើយ៖ ៣.១៧; 5.17 ប៊ីត
ចំណាំ (ពីលទ្ធផលទីពីរ) ថា 6 ប៊ីតត្រូវការដើម្បីអ៊ិនកូដផែនទីទាំងអស់។
វាក៏ច្បាស់ផងដែរពីលទ្ធផលដែលប្រូបាប៊ីលីតេនៃព្រឹត្តិការណ៍កាន់តែទាប ព័ត៌មានបន្ថែមវាមាន។ (ទ្រព្យសម្បត្តិនេះត្រូវបានគេហៅថា ឯកោ)
កិច្ចការ 2. នៅលើព្រឹត្តិការណ៍មិនស្មើគ្នា
មានសន្លឹកបៀចំនួន 36 សន្លឹក។ ក្នុងនោះមានសន្លឹកបៀចំនួន១២សន្លឹក។ ម្យ៉ាងវិញទៀត សន្លឹកបៀមួយសន្លឹកត្រូវបានគេយកចេញពីនាវា ហើយបង្ហាញដើម្បីកំណត់ថាតើរូបបញ្ឈរមួយត្រូវបានពណ៌នានៅលើវាដែរឬទេ។ កាតត្រូវបានត្រលប់ទៅតុ។ កំណត់ចំនួនព័ត៌មានដែលបានបញ្ជូនរាល់ពេលដែលកាតមួយត្រូវបានបង្ហាញ។
