ენტროპია (ინფორმაციის თეორია)

ენტროპია (ინფორმაციული)- ინფორმაციის შემთხვევითობის საზომი, პირველადი ანბანის ნებისმიერი სიმბოლოს გარეგნობის გაურკვევლობა. ინფორმაციის დაკარგვის არარსებობის შემთხვევაში, ის რიცხობრივად უდრის ინფორმაციის რაოდენობას გადაცემული შეტყობინების სიმბოლოზე.

მაგალითად, ასოების თანმიმდევრობაში, რომლებიც ქმნიან წინადადებას რუსულში, სხვადასხვა ასო ჩნდება სხვადასხვა სიხშირეზე, ამიტომ ზოგიერთი ასოსთვის გაურკვევლობა ნაკლებია, ვიდრე სხვებისთვის. თუ გავითვალისწინებთ, რომ ასოების ზოგიერთი კომბინაცია (ამ შემთხვევაში საუბარია ენტროპიაზე ნრიგითი, იხ.) ძალიან იშვიათია, შემდეგ გაურკვევლობა კიდევ უფრო მცირდება.

ინფორმაციული ენტროპიის კონცეფციის საილუსტრაციოდ, შეიძლება ასევე მივმართოთ მაგალითს თერმოდინამიკური ენტროპიის სფეროდან, რომელსაც მაქსველის დემონი ეწოდება. ინფორმაციისა და ენტროპიის ცნებებს ღრმა კავშირები აქვთ ერთმანეთთან, მაგრამ ამის მიუხედავად, სტატისტიკურ მექანიკაში და ინფორმაციის თეორიის თეორიების განვითარებას მრავალი წელი დასჭირდა, რათა მათ შეესატყვისებინათ ერთმანეთი.

ფორმალური განმარტებები

განმარტება საკუთარი ინფორმაციის გამოყენებით

ასევე შესაძლებელია შემთხვევითი ცვლადის ენტროპიის დადგენა შემთხვევითი ცვლადის განაწილების ცნებების პირველად შემოღებით. X, რომელსაც აქვს მნიშვნელობების სასრული რაოდენობა: მე(X) = -ლოგი პ X (X). შემდეგ ენტროპია განისაზღვრება შემდეგნაირად: ინფორმაციისა და ენტროპიის საზომი ერთეული დამოკიდებულია ლოგარითმის საფუძველზე: ბიტი, ნატი ან ჰარტლი.

ინფორმაციის ენტროპიადამოუკიდებელი შემთხვევითი მოვლენებისთვის xთან ნშესაძლო მდგომარეობები (1-დან ნ) გამოითვლება ფორმულით:

ამ მნიშვნელობას ასევე უწოდებენ საშუალო შეტყობინების ენტროპია. მნიშვნელობა ეწოდება კერძო ენტროპიადამახასიათებელი მხოლოდ მე-ე სახელმწიფო.

ამრიგად, მოვლენის ენტროპია xარის ჯამი მოვლენის წარმოშობის ფარდობითი სიხშირეების ყველა პროდუქტის საპირისპირო ნიშნით მეგამრავლებული საკუთარ ბინარულ ლოგარითმებზე (ბაზა 2 არჩეულია მხოლოდ ბინარული ფორმით წარმოდგენილ ინფორმაციასთან მუშაობის მოხერხებულობისთვის). დისკრეტული შემთხვევითი მოვლენების ეს განმარტება შეიძლება გავრცელდეს ალბათობის განაწილების ფუნქციაზე.

Ზოგადად ბ-არი ენტროპია(სად ბუდრის 2, 3, ...) წყაროები საწყისი ანბანით და დისკრეტული ალბათობის განაწილებით, სადაც გვ მეარის ალბათობა ა მე (გვ მე = გვ(ა მე) ) განისაზღვრება ფორმულით:

შენონის ენტროპიის განმარტება დაკავშირებულია თერმოდინამიკური ენტროპიის კონცეფციასთან. ბოლცმანმა და გიბსმა ბევრი იმუშავეს სტატისტიკურ თერმოდინამიკაზე, რამაც ხელი შეუწყო სიტყვა „ენტროპიის“ მიღებას ინფორმაციის თეორიაში. არსებობს კავშირი თერმოდინამიკურ და ინფორმაციულ ენტროპიას შორის. მაგალითად, მაქსველის დემონი ასევე უპირისპირდება ინფორმაციის თერმოდინამიკურ ენტროპიას და ნებისმიერი რაოდენობის ინფორმაციის მიღება უდრის დაკარგულ ენტროპიას.

ალტერნატიული განმარტება

ენტროპიის ფუნქციის განსაზღვრის კიდევ ერთი გზა ჰამის დასტურია ჰცალსახად არის განსაზღვრული (როგორც ზემოთ აღინიშნა) თუ და მხოლოდ იმ შემთხვევაში ჰაკმაყოფილებს პირობებს:

Თვისებები

მნიშვნელოვანია გვახსოვდეს, რომ ენტროპია არის სიდიდე, რომელიც განისაზღვრება მონაცემთა წყაროს სავარაუდო მოდელის კონტექსტში. მაგალითად, მონეტის გადაგდებას აქვს ენტროპია −2(0.5log 2 0.5) = 1 ბიტი თითო გადაგდებაზე (თუ ვივარაუდებთ, რომ ის დამოუკიდებელია). წყაროს, რომელიც ქმნის სტრიქონს, რომელიც შედგება მხოლოდ ასო "A"-სგან, აქვს ნულოვანი ენტროპია: . მაგალითად, ემპირიულად შეიძლება დადგინდეს, რომ ინგლისური ტექსტის ენტროპია არის 1,5 ბიტი თითო სიმბოლოზე, რაც, რა თქმა უნდა, განსხვავდება სხვადასხვა ტექსტისთვის. მონაცემთა წყაროს ენტროპიის ხარისხი ნიშნავს ბიტების საშუალო რაოდენობას მონაცემთა ელემენტზე, რომელიც საჭიროა მისი დაშიფვრისთვის ინფორმაციის დაკარგვის გარეშე, ოპტიმალური კოდირებით.

1. ზოგიერთი მონაცემთა ბიტი შეიძლება არ შეიცავდეს ინფორმაციას. მაგალითად, მონაცემთა სტრუქტურები ხშირად ინახავს ზედმეტ ინფორმაციას, ან აქვთ იდენტური განყოფილებები მონაცემთა სტრუქტურაში არსებული ინფორმაციის მიუხედავად.
2. ენტროპიის რაოდენობა ყოველთვის არ არის გამოხატული ბიტების მთელი რიცხვით.

მათემატიკური თვისებები

ეფექტურობა

პრაქტიკაში ნაცნობ საწყის ანბანს აქვს ალბათობის განაწილება, რომელიც შორს არის ოპტიმალურისგან. თავდაპირველი ანბანი რომ ჰქონოდა ნსიმბოლოები, მაშინ ის შეიძლება შევადაროთ „ოპტიმიზებულ ანბანს“, რომლის ალბათობის განაწილება ერთგვაროვანია. ორიგინალური და ოპტიმიზებული ანბანის ენტროპიის თანაფარდობა არის ორიგინალური ანბანის ეფექტურობა, რომელიც შეიძლება გამოხატული იყოს პროცენტულად.

აქედან გამომდინარეობს, რომ ორიგინალური ანბანის ეფექტურობა ნსიმბოლოები შეიძლება განისაზღვროს უბრალოდ მისი ტოლი ნ-არი ენტროპია.

ენტროპია ზღუდავს მაქსიმალურ უზარმაზარ (ან თითქმის უდანაკარგო) შეკუმშვას, რომელიც შეიძლება განხორციელდეს თეორიულად ტიპიური ნაკრების ან, პრაქტიკაში, ჰაფმანის კოდირების, ლემპელ-ზივ-უელჩის ან არითმეტიკული კოდირების გამოყენებით.

ვარიაციები და განზოგადება

პირობითი ენტროპია

თუ ანბანური სიმბოლოების თანმიმდევრობა დამოუკიდებელი არ არის (მაგალითად, ფრანგულში ასო "q"-ს თითქმის ყოველთვის მოსდევს "u", ხოლო სიტყვის "ლიდერის" შემდეგ საბჭოთა გაზეთებში სიტყვა "წარმოება" ან "შრომა". ჩვეულებრივ მიჰყვებოდა), ასეთი სიმბოლოების თანმიმდევრობით გადატანილი ინფორმაციის რაოდენობა (და, შესაბამისად, ენტროპია) აშკარად უფრო მცირეა. პირობითი ენტროპია გამოიყენება ასეთი ფაქტების გასათვალისწინებლად.

პირველი რიგის პირობითი ენტროპია (პირველი რიგის მარკოვის მოდელის მსგავსი) არის ანბანის ენტროპია, სადაც ცნობილია ერთი ასოს მეორის მიყოლებით გამოჩენის ალბათობა (ანუ ორასოიანი კომბინაციების ალბათობა). :

სადაც მეარის მდგომარეობა დამოკიდებული წინამორბედ ხასიათზე და გვ მე (ჯ) არის ალბათობა ჯ, იმ პირობით, რომ მეწინა პერსონაჟი იყო.

ასე რომ, რუსული ენისთვის ასო "".

პირადი და ზოგადი პირობითი ენტროპიების თვალსაზრისით, ინფორმაციის დანაკარგები სრულად არის აღწერილი ხმაურიან არხში მონაცემთა გადაცემის დროს. ამისთვის ე.წ არხის მატრიცები. ასე რომ, წყაროდან დანაკარგების აღსაწერად (ანუ ცნობილია გაგზავნილი სიგნალი), განიხილეთ მიმღების მიერ სიმბოლოს მიღების პირობითი ალბათობა. ბ ჯვარაუდობენ, რომ პერსონაჟი გაიგზავნა ა მე. ამ შემთხვევაში, არხის მატრიცას აქვს შემდეგი ფორმა:

	ბ 1	ბ 2	…	ბ ჯ	…	ბ მ
ა 1			…		…
ა 2			…		…
…	…	…	…	…	…	…
ა მე			…		…
…	…	…	…	…	…	…
ა მ			…		…

ცხადია, დიაგონალის გასწვრივ მდებარე ალბათობები აღწერს სწორი მიღების ალბათობას, ხოლო სვეტის ყველა ელემენტის ჯამი მისცემს მიმღების მხარეს შესაბამისი სიმბოლოს გამოჩენის ალბათობას - გვ(ბ ჯ) . დანაკარგი თითო გადაცემულ სიგნალზე ა მე, აღწერილია ნაწილობრივი პირობითი ენტროპიის მიხედვით:

ყველა სიგნალის გადაცემის დანაკარგის გამოსათვლელად გამოიყენება მთლიანი პირობითი ენტროპია:

ეს ნიშნავს ენტროპიას წყაროს მხრიდან, ანალოგიურად განიხილება - ენტროპია მიმღების მხრიდან: მის ნაცვლად ყველგან არის მითითებული (სტრიქონის ელემენტების შეჯამებით, შეგიძლიათ მიიღოთ გვ(ა მე) , ხოლო დიაგონალის ელემენტები ნიშნავს იმის ალბათობას, რომ ზუსტად ის სიმბოლო იქნა გაგზავნილი, ანუ სწორი გადაცემის ალბათობა).

ორმხრივი ენტროპია

ორმხრივი ენტროპია, ან კავშირის ენტროპია, შექმნილია ურთიერთდაკავშირებული სისტემების ენტროპიის გამოსათვლელად (სტატისტიკურად დამოკიდებული შეტყობინებების ერთობლივი გარეგნობის ენტროპია) და აღინიშნება ჰ(აბ), სადაც ა, როგორც ყოველთვის, ახასიათებს გადამცემს და ბ- მიმღები.

გადაცემულ და მიღებულ სიგნალებს შორის ურთიერთობა აღწერილია ერთობლივი მოვლენების ალბათობით გვ(ა მე ბ ჯ) და მხოლოდ ერთი მატრიცაა საჭირო არხის მახასიათებლების სრულად აღსაწერად:

გვ(ა 1 ბ 1)	გვ(ა 1 ბ 2)	…	გვ(ა 1 ბ ჯ)	…	გვ(ა 1 ბ მ)
გვ(ა 2 ბ 1)	გვ(ა 2 ბ 2)	…	გვ(ა 2 ბ ჯ)	…	გვ(ა 2 ბ მ)
…	…	…	…	…	…
გვ(ა მე ბ 1)	გვ(ა მე ბ 2)	…	გვ(ა მე ბ ჯ)	…	გვ(ა მე ბ მ)
…	…	…	…	…	…
გვ(ა მ ბ 1)	გვ(ა მ ბ 2)	…	გვ(ა მ ბ ჯ)	…	გვ(ა მ ბ მ)

უფრო ზოგადი შემთხვევისთვის, როდესაც აღწერილია არა არხი, არამედ უბრალოდ ურთიერთქმედების სისტემები, მატრიცა არ უნდა იყოს კვადრატი. ცხადია, სვეტის ყველა ელემენტის ჯამი რიცხვთან ჯმისცემს გვ(ბ ჯ) , წრფის ჯამი რიცხვთან მეიქ არის გვ(ა მე) და მატრიცის ყველა ელემენტის ჯამი არის 1. ერთობლივი ალბათობა გვ(ა მე ბ ჯ) ივენთი ა მედა ბ ჯგამოითვლება ორიგინალური და პირობითი ალბათობის ნამრავლად,

პირობითი ალბათობები წარმოებულია ბეიზის ფორმულით. ამრიგად, ყველა მონაცემი წყაროსა და მიმღების ენტროპიების გამოსათვლელად ხელმისაწვდომია:

ორმხრივი ენტროპია გამოითვლება მატრიცის ყველა ალბათობის თანმიმდევრული მწკრივის (ან სვეტის) ჯამით, გამრავლებული მათ ლოგარითმზე:

ჰ(აბ) = −	∑	∑	გვ(ა მე ბ ჯ) ჟურნალი გვ(ა მე ბ ჯ).
	მე	ჯ

საზომი ერთეული არის ბიტი / ორი სიმბოლო, ეს აიხსნება იმით, რომ ურთიერთ ენტროპია აღწერს გაურკვევლობას სიმბოლოების წყვილისთვის - გაგზავნილი და მიღებული. მარტივი გარდაქმნებით ჩვენ ასევე ვიღებთ

ორმხრივი ენტროპია აქვს თვისებას ინფორმაციის სისრულეს- მისგან შეგიძლიათ მიიღოთ ყველა განსახილველი რაოდენობა.

ამბავი

შენიშვნები

იხილეთ ასევე

ბმულები

• კლოდ ე შენონი კომუნიკაციის მათემატიკური თეორია
• S. M. კოროტაევი.

კლოდ ელვუდ შენონი (1916-2001) -
ამერიკელი ინჟინერი და მათემატიკოსი
ინფორმაციის თეორიის ფუძემდებელი,
იმათ. დამუშავების, გადაცემის თეორიები
და ინფორმაციის შენახვა

კლოდ შენონიიყო პირველი, ვინც განმარტა გადაცემული შეტყობინებები და ხმაური საკომუნიკაციო არხებში სტატისტიკის თვალსაზრისით, შეტყობინებების როგორც სასრული, ისე უწყვეტი ნაკრების გათვალისწინებით. კლოდ შენონს ეძახიან "ინფორმაციის თეორიის მამა".

კლოდ შენონის ერთ-ერთი ყველაზე ცნობილი სამეცნიერო ნაშრომი მისი სტატიაა "კომუნიკაციის მათემატიკური თეორია"გამოქვეყნდა 1948 წელს.

ამ ნაშრომში შენონმა, ხმაურიანი საკომუნიკაციო არხის მეშვეობით ინფორმაციის რაციონალური გადაცემის პრობლემის შესწავლისას, შესთავაზა კომუნიკაციების გაგების ალბათური მიდგომა, შექმნა ენტროპიის პირველი, ჭეშმარიტად მათემატიკური თეორია, როგორც შემთხვევითობის საზომი, და შემოიღო დისკრეტული საზომი. განაწილება გვალბათობა შეტყობინებების გადამცემისა და მიმღების ალტერნატიულ მდგომარეობებზე.

შენონმა დაადგინა მოთხოვნები ენტროპიის გაზომვისთვის და გამოიტანა ფორმულა, რომელიც გახდა რაოდენობრივი ინფორმაციის თეორიის საფუძველი:

H(p).

Აქ ნ- სიმბოლოების რაოდენობა, საიდანაც შესაძლებელია შეტყობინების შედგენა (ანბანი), ჰ - ინფორმაციის ორობითი ენტროპია .

პრაქტიკაში, ალბათობა პიზემოთ მოცემულ ფორმულაში ისინი ჩანაცვლებულია სტატისტიკური შეფასებით: პი - ფარდობითი სიხშირე მე-მესიჯის სიმბოლო, სადაც ნ- შეტყობინებაში ყველა სიმბოლოს რაოდენობა, N i- აბსოლუტური სიხშირე მეგზავნილის სიმბოლო, ე.ი. შემთხვევის ნომერი მეგზავნილის სიმბოლო.

მისი სტატიის „კომუნიკაციის მათემატიკური თეორიის“ შესავალში, შენონი აღნიშნავს, რომ ამ სტატიაში იგი აფართოებს კომუნიკაციის თეორიას, რომლის ძირითად დებულებებს შეიცავს მნიშვნელოვანი ნაშრომები. ნიკვისტიდა ჰარტლი.

ჰარი ნიკვისტი (1889-1976) -
შვედი ამერიკელი ინჟინერი
წარმოშობა, ერთ-ერთი პიონერი
ინფორმაციის თეორია

Nyquist-ის პირველმა შედეგებმა ინფორმაციის გადაცემისთვის საჭირო გამტარუნარიანობის განსაზღვრაში საფუძველი ჩაუყარა კლოდ შენონის შემდგომ წარმატებას ინფორმაციის თეორიის შემუშავებაში.

ჰარტლიმ შემოიტანა ინფორმაციის ლოგარითმული საზომი 1928 წელს. ჰ = კჟურნალი 2 ნ, რომელსაც ხშირად ჰარტლის ინფორმაციის რაოდენობას უწოდებენ.

ჰარტლის ფლობს შემდეგ მნიშვნელოვან თეორემას ინფორმაციის საჭირო რაოდენობის შესახებ: თუ მოცემულ სიმრავლეში მ, შედგება ნელემენტები, ელემენტი შეიცავს x, რომლის შესახებაც ცნობილია მხოლოდ ის, რომ სწორედ ამ კომპლექტს ეკუთვნის მ, შემდეგ იპოვონ x, აუცილებელია ამ ნაკრების შესახებ ინფორმაციის მოპოვება, რომელიც უდრის log 2-ს ნცოტა.

სხვათა შორის, აღვნიშნავთ, რომ სახელ BITმოვიდა ინგლისური აბრევიატურიდან BIT - ორობითი ციფრული. ეს ტერმინი პირველად ამერიკელმა მათემატიკოსმა შემოგვთავაზა ჯონ ტუკი 1946 წელს. ჰარტლიმ და შენონმა გამოიყენეს ბიტი, როგორც ინფორმაციის საზომი ერთეული.

ზოგადად, შენონის ენტროპია არის ალბათობათა სიმრავლის ენტროპია გვ 1 , გვ 2 ,…, p n.

რალფ ვინტონ ლიონ ჰარტლი (1888-1970)
– ამერიკელი ელექტრონიკის მეცნიერი

მკაცრად რომ ვთქვათ, თუ X გვ 1 , გვ 2 ,…, p nარის მისი ყველა შესაძლო მნიშვნელობის ალბათობა, შემდეგ ფუნქცია ჰ (X)ადგენს ამ შემთხვევითი ცვლადის ენტროპიას, ხოლო, თუმცა Xდა არ არის ენტროპიის არგუმენტი, შეგვიძლია დავწეროთ ჰ (X).

ანალოგიურად, თუ იარის სასრული დისკრეტული შემთხვევითი ცვლადი და ქ 1 , ქ 2 ,…, ქ m არის მისი ყველა შესაძლო მნიშვნელობის ალბათობა, მაშინ ამ შემთხვევითი ცვლადისთვის შეგვიძლია დავწეროთ ჰ (ი).

ჯონ უაილდერ ტუკი (1915-2000) -
ამერიკელი მათემატიკოსი. ტუკი აირჩიეს
ბიტი ერთი ციფრის აღსანიშნავად
ბინარულ სისტემაში

შენონმა დაასახელა ფუნქცია ჰ(X)ენტროპია რჩევით ჯონ ფონ ნოიმანი.

ნეიმანი ამტკიცებდა: ამ ფუნქციას უნდა ეწოდოს ენტროპია „ორი მიზეზის გამო. უპირველეს ყოვლისა, თქვენი გაურკვევლობის ფუნქცია გამოიყენებოდა სტატისტიკურ მექანიკაში ამ სახელით, ამიტომ მას უკვე აქვს სახელი. მეორე ადგილზე და რაც მთავარია, არავინ იცის რეალურად რა არის ენტროპია, ასე რომ თქვენ ყოველთვის გექნებათ უპირატესობა დისკუსიაში“..

უნდა ვივარაუდოთ, რომ ნოიმანის რჩევა არ იყო უბრალო ხუმრობა. სავარაუდოდ, ჯონ ფონ ნოიმანმაც და კლოდ შენონმაც იცოდნენ ბოლცმანის ენტროპიის ინფორმაციული ინტერპრეტაციის შესახებ, როგორც სიდიდე, რომელიც ახასიათებს სისტემის შესახებ ინფორმაციის არასრულყოფილებას.

შენონის განმარტებით ენტროპიაარის სტატისტიკურად დამოუკიდებელ შეტყობინებების წარმომქმნელი წყაროს თითო ელემენტარული გზავნილის ინფორმაციის რაოდენობა.

7. კოლმოგოროვის ენტროპია

ანდრეი ნიკოლაევიჩი
კოლმოგოროვი (1903-1987) -
საბჭოთა მეცნიერი, ერთ-ერთი უდიდესი
მე-20 საუკუნის მათემატიკოსები

ა.ნ. კოლმოგოროვიფუნდამენტური შედეგები იქნა მიღებული მათემატიკის ბევრ სფეროში, მათ შორის ალგორითმების სირთულის თეორიასა და ინფორმაციის თეორიაში.

კერძოდ, ის თამაშობს მთავარ როლს ინფორმაციის თეორიის გარდაქმნაში, რომელიც ჩამოყალიბებულია კლოდ შენონის მიერ, როგორც ტექნიკური დისციპლინა, მკაცრ მათემატიკური მეცნიერებად და ინფორმაციის თეორიის შენონისგან ფუნდამენტურად განსხვავებულ საფუძველზე.

ინფორმაციის თეორიისა და დინამიური სისტემების თეორიის სფეროში თავის ნაშრომებში ა.ნ. კოლმოგოროვმა განაზოგადა ენტროპიის კონცეფცია ერგოდიკურ შემთხვევით პროცესებზე შეზღუდვის ალბათობის განაწილების გზით. ამ განზოგადების მნიშვნელობის გასაგებად საჭიროა ვიცოდეთ შემთხვევითი პროცესების თეორიის ძირითადი განმარტებები და ცნებები.

კოლმოგოროვის ენტროპიის მნიშვნელობა (ასევე ე.წ K-ენტროპია) განსაზღვრავს ინფორმაციის დაკარგვის სიჩქარის შეფასებას და შეიძლება განიმარტოს, როგორც სისტემის „მეხსიერების“ ან საწყისი პირობების „დავიწყების“ სიჩქარის საზომი. ის ასევე შეიძლება განიხილებოდეს, როგორც სისტემის შემთხვევითობის საზომი.

8. რენის ენტროპია

ალფრედ რენი (1921-1970) -
უნგრელი მათემატიკოსი, შემოქმედი
მათემატიკური ინსტიტუტი ბუდაპეშტში,
ახლა მის სახელს ატარებს

შემოიღო Rényi ენტროპიების ერთპარამეტრული სპექტრი.

ერთის მხრივ, რენის ენტროპია არის შენონის ენტროპიის განზოგადება. მეორეს მხრივ, ეს არის მანძილის (განსხვავების) განზოგადება. კულბეკ-ლეიბლერი. ჩვენ ასევე აღვნიშნავთ, რომ სწორედ რენი ფლობს ჰარტლის თეორემის სრულ მტკიცებულებას საჭირო რაოდენობის ინფორმაციის შესახებ.

კულბეკ-ლეიბლერის მანძილი(ინფორმაციის დივერგენცია, ფარდობითი ენტროპია) არის ასიმეტრიული საზომი ერთმანეთისგან დაშორების ორი ალბათობის განაწილების.

ჩვეულებრივ, ერთ-ერთი შედარებული განაწილება არის "ჭეშმარიტი" განაწილება, ხოლო მეორე განაწილება არის სავარაუდო (შემოწმებადი) განაწილება, რომელიც არის პირველის მიახლოება.

დაე X, იარის სასრული დისკრეტული შემთხვევითი ცვლადები, რომლებისთვისაც შესაძლო მნიშვნელობების დიაპაზონები მიეკუთვნება მოცემულ სიმრავლეს და ცნობილია ალბათობის ფუნქციები: პ (X = ა ი) = პიდა პ (ი = ა ი) = qi.

შემდეგ Kullback-Leibler მანძილის DKL მნიშვნელობა გამოითვლება ფორმულებით

D KL (X, ი) =, D KL (ი, X) = .

აბსოლუტურად უწყვეტი შემთხვევითი ცვლადების შემთხვევაში X, ი, მოცემული მათი განაწილების სიმკვრივით, კულბეკ-ლეიბლერის მანძილის მნიშვნელობის გამოთვლის ფორმულებში ჯამები ჩანაცვლებულია შესაბამისი ინტეგრალებით.

კულბეკ-ლეიბლერის მანძილი ყოველთვის არის არაუარყოფითი რიცხვი და ის არის ნული D KL(X, ი) = 0 თუ და მხოლოდ ტოლობის შემთხვევაში X = ი.

1960 წელს ალფრედ რენი გვთავაზობს ენტროპიის განზოგადებას.

რენის ენტროპია არის ფუნქციების ოჯახი სისტემის შემთხვევითობის რაოდენობრივი მრავალფეროვნებისთვის. რენიმ განსაზღვრა თავისი ენტროპია, როგორც ε-დაშლის (დაფარვის) საზომის α რიგის მომენტი.

ვთქვათ α არის მოცემული რეალური რიცხვი, რომელიც აკმაყოფილებს მოთხოვნებს α ≥ 0, α ≠ 1. შემდეგ α რიგის Rényi ენტროპია მოცემულია: ჰ α = ჰ α ( X), სად პი = პ (X = x i) - მოვლენის ალბათობა, რომელიც შედგება დისკრეტული შემთხვევითი ცვლადისგან Xტოლი იქნება მისი შესაბამისი შესაძლო მნიშვნელობის, ნ- შემთხვევითი ცვლადის სხვადასხვა შესაძლო მნიშვნელობების საერთო რაოდენობა X.

თანაბარი განაწილებისთვის, როცა გვ 1 = გვ 2 =…= p n =1/ნ, ყველა Rényi ენტროპია თანაბარია ჰ α ( X) = ჟურნალი ნ.

წინააღმდეგ შემთხვევაში, Rényi ენტროპიები ოდნავ მცირდება α პარამეტრის მნიშვნელობების მატებასთან ერთად. რენის ენტროპიები მნიშვნელოვან როლს თამაშობენ ეკოლოგიასა და სტატისტიკაში, როგორც მრავალფეროვნების მაჩვენებლები.

რენის ენტროპია ასევე მნიშვნელოვანია კვანტურ ინფორმაციაში და შეიძლება გამოყენებულ იქნას როგორც სირთულის საზომი.

განვიხილოთ Renyi ენტროპიის რამდენიმე განსაკუთრებული შემთხვევა α რიგის სპეციფიკური მნიშვნელობებისთვის:

1. ენტროპია ჰარტლი : ჰ 0 = ჰ 0 (X) = ჟურნალი ნ, სად ნ- საბოლოო შემთხვევითი ცვლადის შესაძლო მნიშვნელობების დიაპაზონის სიმძლავრე X, ე.ი. შესაძლო მნიშვნელობების სიმრავლეს მიეკუთვნება სხვადასხვა ელემენტების რაოდენობა;

2. შენონის ინფორმაციის ენტროპია : ჰ 1 = ჰ 1 (X) = ჰ 1 (გვ) (განსაზღვრულია როგორც ლიმიტი, როგორც α → 1, რომლის პოვნაც ადვილია, მაგალითად, L'Hopital-ის წესით);

3. კორელაციური ენტროპია ან ენტროპიის შეჯახება: ჰ 2 = ჰ 2 (X)= - ln ( X = ი);

4. მინ-ენტროპია : ჰ ∞ = ჰ ∞ (X).

გაითვალისწინეთ, რომ რიგის ნებისმიერი არაუარყოფითი მნიშვნელობისთვის (α ≥ 0), უტოლობა ყოველთვის რჩება ჰ ∞ (X) ≤ ჰ α ( X). გარდა ამისა, ჰ 2 (X) ≤ ჰ 1 (X) და ჰ ∞ (X) ≤ ჰ 2 (X) ≤ 2 ჰ ∞ (X).

ალფრედ რენიმ გააცნო არა მხოლოდ მისი აბსოლუტური ენტროპიები (1.15), მან ასევე განსაზღვრა დივერგენციის ზომების სპექტრი, რომელიც აზოგადებს კულბეკ-ლაიბნერის განსხვავებებს.

ვთქვათ α არის მოცემული რეალური რიცხვი, რომელიც აკმაყოფილებს მოთხოვნებს α > 0, α ≠ 1. შემდეგ, მნიშვნელობის განსაზღვრისას გამოყენებული აღნიშვნით. D KLკულბეკ-ლეიბლერის დისტანციები, წესრიგის რენიის დივერგენციის მნიშვნელობა α განისაზღვრება ფორმულებით

დ α ( X, ი), დ α ( X, ი).

Renyi Divergence-საც უწოდებენ ალფა-დივერგენცია ან α-დივერგენცია. თავად რენიმ გამოიყენა ლოგარითმი მე-2 საფუძვლისთვის, მაგრამ, როგორც ყოველთვის, ლოგარითმის ფუძის მნიშვნელობა აბსოლუტურად უმნიშვნელოა.

9. ცალის ენტროპია

კონსტანტინო ცალისი (დაიბადა 1943 წელს) -
ბრაზილიელი ფიზიკოსი
ბერძნული წარმოშობა

1988 წელს მან შემოგვთავაზა ენტროპიის ახალი განზოგადება, რომელიც მოსახერხებელია არაწრფივი თერმოდინამიკის თეორიის შესამუშავებლად.

მის მიერ შემოთავაზებულმა ენტროპიის განზოგადებამ შესაძლოა უახლოეს მომავალში მნიშვნელოვანი როლი ითამაშოს თეორიულ ფიზიკასა და ასტროფიზიკაში.

წალის ენტროპიაკვ, რომელსაც ხშირად უწოდებენ არავრცელ (არადამატებით) ენტროპიას, განისაზღვრება ამისთვის ნმიკროსტატიები შემდეგი ფორმულის მიხედვით:

კვ = კვ (X) = კვ (გვ) = კ· , .

Აქ კ- განზომილებიანი მუდმივი, თუ განზომილება მნიშვნელოვან როლს ასრულებს პრობლემის გაგებაში.

ცალისი და მისი მხარდამჭერები გვთავაზობენ „არავრცელი სტატისტიკური მექანიკისა და თერმოდინამიკის“ შემუშავებას, როგორც ამ კლასიკური დისციპლინების განზოგადებას გრძელი მეხსიერების და/ან შორ მანძილზე ძალების მქონე სისტემების შემთხვევაში.

ენტროპიის ყველა სხვა სახეობიდან, მ.შ. და Rényi ენტროპიისგან, Tsallis ენტროპია განსხვავდება იმით, რომ ის არ არის დანამატი. ეს არის ფუნდამენტური და მნიშვნელოვანი განსხვავება.

ცალისი და მისი მხარდამჭერები თვლიან, რომ ეს მახასიათებელი შესაძლებელს ხდის შექმნას ახალი თერმოდინამიკა და ახალი სტატისტიკური თეორია, რაც არის გზები, რათა მარტივად და სწორად აღწეროთ გრძელი მეხსიერების სისტემები და სისტემები, რომლებშიც თითოეული ელემენტი ურთიერთქმედებს არა მხოლოდ უახლოეს მეზობლებთან, არამედ ასევე მთლიან სისტემასთან ერთად ან დიდი ნაწილით.

ასეთი სისტემების მაგალითი და, შესაბამისად, ახალი თეორიის გამოყენებით კვლევის შესაძლო ობიექტია კოსმოსური გრავიტაციული სისტემები: ვარსკვლავური მტევნები, ნისლეულები, გალაქტიკები, გალაქტიკათა გროვები და ა.შ.

1988 წლიდან, როდესაც კონსტანტინო ცალისმა შემოგვთავაზა თავისი ენტროპია, გამოჩნდა ანომალიური სისტემების თერმოდინამიკის მნიშვნელოვანი რაოდენობა (სიგრძის მეხსიერებით და/ან შორ მანძილზე ძალებით), მათ შორის გრავიტაციული სისტემების თერმოდინამიკის სფეროში.

10. კვანტური ფონ ნეუმანის ენტროპია

ჯონ (იანოს) ფონ ნეუმანი (1903-1957) -
ამერიკელი მათემატიკოსი და ფიზიკოსი
უნგრული წარმოშობის

ფონ ნეუმანის ენტროპია მნიშვნელოვან როლს ასრულებს კვანტურ ფიზიკაში და ასტროფიზიკურ კვლევებში.

ჯონ ფონ ნოიმანიმნიშვნელოვანი წვლილი შეიტანა მეცნიერების ისეთი დარგების განვითარებაში, როგორიცაა კვანტური ფიზიკა, კვანტური ლოგიკა, ფუნქციონალური ანალიზი, სიმრავლეების თეორია, კომპიუტერული მეცნიერება და ეკონომიკა.

ის იყო ბირთვული იარაღის განვითარების მანჰეტენის პროექტის წევრი, მათემატიკური თამაშების თეორიისა და ფიჭური ავტომატების კონცეფციის ერთ-ერთი შემქმნელი და ასევე თანამედროვე კომპიუტერული არქიტექტურის ფუძემდებელი.

ფონ ნეუმანის ენტროპია, ისევე როგორც ნებისმიერი ენტროპია, ასოცირდება ინფორმაციას: ამ შემთხვევაში, ინფორმაციას კვანტური სისტემის შესახებ. და ამ მხრივ, ის ასრულებს ფუნდამენტური პარამეტრის როლს, რომელიც რაოდენობრივად ახასიათებს კვანტური სისტემის ევოლუციის მდგომარეობას და მიმართულებას.

ამჟამად ფონ ნეუმანის ენტროპია ფართოდ გამოიყენება სხვადასხვა ფორმით (პირობითი ენტროპია, ფარდობითი ენტროპია და სხვ.) კვანტური ინფორმაციის თეორიის ფარგლებში.

ჩახლართულობის სხვადასხვა ზომა პირდაპირ კავშირშია ფონ ნეუმანის ენტროპიასთან. მიუხედავად ამისა, ახლახან გამოჩნდა მთელი რიგი ნაშრომები, რომლებიც ეძღვნება შენონის ენტროპიის, როგორც ინფორმაციის საზომის და მისი შესაძლო არაადეკვატურობის კრიტიკას და, შესაბამისად, ფონ ნეუმანის ენტროპიის არაადეკვატურობას, როგორც შენონის ენტროპიის განზოგადებას.

ენტროპიის კონცეფციის შესახებ მეცნიერული შეხედულებების ევოლუციის მიმოხილვა (სამწუხაროდ, ზედმეტად და ზოგჯერ არასაკმარისად მათემატიკურად მკაცრი) საშუალებას გვაძლევს ვუპასუხოთ მნიშვნელოვან კითხვებს, რომლებიც დაკავშირებულია ენტროპიის ნამდვილ არსთან და ენტროპიის მიდგომის გამოყენების პერსპექტივასთან სამეცნიერო და პრაქტიკულ კვლევებში. . ჩვენ შემოვიფარგლებით ორ ასეთ კითხვაზე პასუხების განხილვით.

პირველი შეკითხვა: აქვს თუ არა რაიმე საერთო ენტროპიის მრავალრიცხოვან სახეობებს, როგორც ზემოთ განხილულ, ისე არაგანხილულს, ერთი და იგივე სახელის გარდა?

ეს კითხვა ბუნებრივად ჩნდება, თუ გავითვალისწინებთ იმ მრავალფეროვნებას, რომელიც ახასიათებს ენტროპიის შესახებ არსებულ სხვადასხვა წარმოდგენებს.

დღემდე, სამეცნიერო საზოგადოებას არ აქვს შემუშავებული ერთიანი, საყოველთაოდ აღიარებული პასუხი ამ კითხვაზე: ზოგი მეცნიერი ამ კითხვას პასუხობს დადებითად, ზოგი უარყოფითად, ზოგი კი სხვადასხვა ტიპის ენტროპიების საერთოობას ეჭვის თვალით ეპყრობა. ...

როგორც ჩანს, კლაუსიუსი იყო პირველი მეცნიერი, რომელიც დარწმუნებული იყო ენტროპიის უნივერსალურ ბუნებაში და თვლიდა, რომ ის მნიშვნელოვან როლს თამაშობს სამყაროში მიმდინარე ყველა პროცესში, კერძოდ, დროულად განსაზღვრავს მათ განვითარების მიმართულებას.

სხვათა შორის, ეს არის რუდოლფ კლაუზიუსი, რომელიც ფლობს თერმოდინამიკის მეორე კანონის ერთ-ერთ ფორმულირებას: ”არც ერთი პროცესი შეუძლებელია, რომლის ერთადერთი შედეგი იქნება სითბოს გადატანა ცივი სხეულიდან ცხელზე”.

თერმოდინამიკის მეორე კანონის ამ ფორმულირებას ე.წ კლაუსიუსის პოსტულატი და ამ პოსტულატში მოხსენიებული შეუქცევადი პროცესია კლაუსიუსის პროცესი .

თერმოდინამიკის მეორე კანონის აღმოჩენის შემდეგ, შეუქცევადმა პროცესებმა უნიკალური როლი ითამაშა სამყაროს ფიზიკურ სურათში. ამრიგად, ცნობილი სტატია 1849 წ უილიამ ტომპსონი, რომელშიც მოცემულია თერმოდინამიკის მეორე კანონის ერთ-ერთი პირველი ფორმულირება, ეწოდა „მექანიკური ენერგიის გაფანტვის უნივერსალური ტენდენციის შესახებ ბუნებაში“.

გაითვალისწინეთ ისიც, რომ კლაუსიუსი ასევე იძულებული გახდა გამოეყენებინა კოსმოლოგიური ენა: "სამყაროს ენტროპია მიდრეკილია მაქსიმუმამდე".

ილია რომანოვიჩ პრიგოჟინი (1917-2003) -
ბელგიელ-ამერიკელი ფიზიკოსი და
რუსული წარმოშობის ქიმიკოსი,
ნობელის პრემიის ლაურეატი
ქიმიაში 1977 წ

მსგავსი დასკვნები მივიდა ილია პრიგოჟინი. პრიგოჟინი თვლის, რომ ენტროპიის პრინციპი პასუხისმგებელია სამყაროში დროის შეუქცევადობაზე და, შესაძლოა, მნიშვნელოვან როლს ასრულებს დროის, როგორც ფიზიკური ფენომენის მნიშვნელობის გაგებაში.

დღემდე ჩატარებულია ენტროპიის მრავალი კვლევა და განზოგადება, მათ შორის მკაცრი მათემატიკური თეორიის თვალსაზრისით. ამასთან, მათემატიკოსთა შესამჩნევი საქმიანობა ამ სფეროში ჯერ კიდევ არ არის მოთხოვნადი აპლიკაციებში, სამუშაოების შესაძლო გამონაკლისის გარდა კოლმოგოროვი, რენიდა ცალისი.

ეჭვგარეშეა, ენტროპია ყოველთვის არის ქაოსის, არეულობის საზომი (ხარისხი). სწორედ ქაოსისა და არეულობის ფენომენის გამოვლინების მრავალფეროვნება განაპირობებს ენტროპიის მოდიფიკაციების მრავალფეროვნების გარდაუვალობას.

მეორე კითხვა: შესაძლებელია თუ არა ენტროპიის მიდგომის ფარგლების აღიარება, როგორც ვრცელი, თუ ენტროპიის ყველა გამოყენება და თერმოდინამიკის მეორე კანონი შემოიფარგლება მხოლოდ თერმოდინამიკით და ფიზიკური მეცნიერების მასთან დაკავშირებული სფეროებით?

ენტროპიის მეცნიერული შესწავლის ისტორია აჩვენებს, რომ ენტროპია არის თერმოდინამიკაში აღმოჩენილი მეცნიერული ფენომენი, შემდეგ კი წარმატებით გადავიდა სხვა მეცნიერებებში და, უპირველეს ყოვლისა, ინფორმაციის თეორიაში.

ეჭვგარეშეა, რომ ენტროპია მნიშვნელოვან როლს ასრულებს თანამედროვე საბუნებისმეტყველო მეცნიერების თითქმის ყველა სფეროში: თერმული ფიზიკაში, სტატისტიკურ ფიზიკაში, ფიზიკურ და ქიმიურ კინეტიკაში, ბიოფიზიკაში, ასტროფიზიკაში, კოსმოლოგიაში და ინფორმაციის თეორიაში.

გამოყენებით მათემატიკაზე საუბრისას არ შეიძლება არ აღინიშნოს ენტროპიის მაქსიმალური პრინციპის გამოყენება.

როგორც უკვე აღვნიშნეთ, ენტროპიის მნიშვნელოვანი გამოყენებაა კვანტური მექანიკური და რელატივისტური ობიექტები. კვანტურ ფიზიკასა და ასტროფიზიკაში ენტროპიის ასეთი გამოყენება დიდ ინტერესს იწვევს.

მოდით აღვნიშნოთ შავი ხვრელის თერმოდინამიკის მხოლოდ ერთი ორიგინალური შედეგი: შავი ხვრელის ენტროპია უდრის მისი ზედაპირის მეოთხედს (მოვლენის ჰორიზონტის ფართობი).

კოსმოლოგიაში ითვლება, რომ სამყაროს ენტროპია უდრის კოსმოსური მიკროტალღური ფონის გამოსხივების კვანტების რაოდენობას ნუკლეონზე.

ამრიგად, ენტროპიის მიდგომის ფარგლები ძალიან ვრცელია და მოიცავს ცოდნის მრავალფეროვან დარგებს, დაწყებული თერმოდინამიკით, ფიზიკური მეცნიერების სხვა სფეროებიდან, კომპიუტერული მეცნიერებებით და დამთავრებული, მაგალითად, ისტორიითა და ეკონომიკით.

A.V. სიგალიეკონომიკურ მეცნიერებათა დოქტორი ყირიმის უნივერსიტეტის V.I. ვერნადსკი

1.4 წყაროს ენტროპია. ინფორმაციის რაოდენობისა და ენტროპიის თვისებები

ინფორმაციის რაოდენობა, რომელიც შეიცავს ერთ ელემენტარულ შეტყობინებას x i , სრულად არ ახასიათებს წყაროს. დისკრეტული შეტყობინებების წყარო შეიძლება დახასიათდეს ინფორმაციის საშუალო რაოდენობა ელემენტარულ შეტყობინებაზე , რომელსაც წყაროს ენტროპია ეწოდება

, მე =1…კ , (1.3)

სადაც კ - შეტყობინების ანბანის ზომა.

ამრიგად, ენტროპია არის მიმღების ცოდნის გაურკვევლობის საშუალო მაჩვენებელი დაკვირვებული ობიექტის მდგომარეობის შესახებ.

გამოთქმაში (1.3), სტატისტიკური საშუალო დადგენა (ანუ დისკრეტული შემთხვევითი ცვლადის მათემატიკური მოლოდინის განსაზღვრა მე (X ი )) შესრულებულია წყაროს შეტყობინებების მთელ ანსამბლზე. ამ შემთხვევაში აუცილებელია შეტყობინებებს შორის ყველა სავარაუდო ურთიერთობის გათვალისწინება. რაც უფრო მაღალია წყაროს ენტროპია, მით მეტია საშუალოდ ინფორმაციის რაოდენობა, რომელიც შედის თითოეულ შეტყობინებაში, მით უფრო რთულია ასეთი შეტყობინების დამახსოვრება (ჩაწერა) ან გადაცემა საკომუნიკაციო არხზე. ამრიგად, შენონის ენტროპიის არსი შემდეგია: დისკრეტული შემთხვევითი ცვლადის ენტროპია არის ბიტების საშუალო რაოდენობის მინიმუმი, რომელიც უნდა გადაიცეს საკომუნიკაციო არხზე ამ შემთხვევითი ცვლადის მიმდინარე მნიშვნელობის შესახებ.

შეტყობინების გადასაცემად საჭირო ენერგია ენტროპიის პროპორციულია (ინფორმაციის საშუალო რაოდენობა თითო შეტყობინებაზე). აქედან გამომდინარეობს, რომ ინფორმაციის რაოდენობა თანმიმდევრობით ნ შეტყობინებები განისაზღვრება ამ შეტყობინებების რაოდენობით და წყაროს ენტროპიით, ე.ი.

მე (ნ)=NH(X) .

ენტროპიას, როგორც წყაროს ინფორმაციის შინაარსის რაოდენობრივ საზომს აქვს შემდეგი თვისებები:

1) ენტროპია ნულის ტოლია, თუ ერთი შეტყობინება მაინც სანდოა (ანუ აქვს ალბათობა პი = 1);

2) ენტროპიის მნიშვნელობა ყოველთვის მეტია ან ტოლია ნულის, რეალური და შეზღუდული;

3) ორი ალტერნატიული მოვლენის მქონე წყაროს ენტროპია შეიძლება განსხვავდებოდეს 0-დან 1-მდე;

4) ენტროპია არის დანამატი სიდიდე: წყაროს ენტროპია, რომლის გზავნილები შედგება რამდენიმე სტატისტიკურად დამოუკიდებელი წყაროს შეტყობინებებისგან, უდრის ამ წყაროების ენტროპიების ჯამს;

5) ენტროპია იქნება მაქსიმალური, თუ ყველა შეტყობინება თანაბრად სავარაუდოა

. (1.4)

უთანასწორო შეტყობინებებით x მე ენტროპია მცირდება. ამასთან დაკავშირებით, ასეთი წყაროს ზომა შემოღებულია, როგორც წყაროს ანბანის სტატისტიკური სიჭარბე

, (1.5)

სადაც ჰ (X ) არის რეალური წყაროს ენტროპია; ჰ (X ) მაქს= ჟურნალი 2 კ არის წყაროს მაქსიმალური მიღწევადი ენტროპია.

(1.5) ფორმულით განსაზღვრული ინფორმაციის წყაროს სიჭარბე საუბრობს შეტყობინებების საინფორმაციო რეზერვზე, რომლის ელემენტები თანაბრად სავარაუდო არ არის.

ასევე არსებობს კონცეფცია სემანტიკური სიჭარბე , რაც გამომდინარეობს იქიდან, რომ ნებისმიერი აზრი, რომელიც შეიცავს გზავნილს ადამიანური ენის წინადადებებიდან, შეიძლება ჩამოყალიბდეს უფრო მოკლედ. ითვლება, რომ თუ შეტყობინება შეიძლება შემცირდეს მისი სემანტიკური შინაარსის დაკარგვის გარეშე, მაშინ მას აქვს სემანტიკური ზედმეტი.

განვიხილოთ დისკრეტული შემთხვევითი ცვლადები (d.r.v.) X და ი განაწილების კანონებით მოცემულია პ (X = X ი )= პი , პ (ი = იჯ )= qj და ერთობლივი განაწილება პ (X = X ი , ი = იჯ )= p ij . მერე დ-ში მოცემული ინფორმაციის რაოდენობა. in. X შედარებით დ.ს. in. ი , განისაზღვრება ფორმულით

. (1.6)

უწყვეტი შემთხვევითი ცვლადებისთვის (r.v.) X და ი მოცემული ალბათობის განაწილების სიმკვრივით რ X (ტ 1 ) , რ ი (ტ 2 ) და რ XY (ტ 1 , ტ 2 ) , ანალოგიურ ფორმულას აქვს ფორმა

აშკარაა რომ

შესაბამისად

იმათ. ენტროპიის გამოსათვლელად მივდივართ გამოხატულებამდე (1.3). ჰ (X ) .

ინფორმაციის მოცულობის და ენტროპიის თვისებები:

1) მე (X , ი ) ≥ 0 ; მე (X , ი ) =0 Û X და ი დამოუკიდებელი (ერთი შემთხვევითი ცვლადი არ აღწერს მეორეს);

2) მე (x, ი ) =მე(Y, X ) ;

3) HX =0 Û X=კონსტ ;

4) მე (X, Y) =HX+HY-H (X, Y) , სადაც ;

5) მე (X, Y) ≤ I(X, X); I(X, Y)= I(X, X) Þ X=f(Y) .

სატესტო კითხვები

1 რა ტიპის ინფორმაცია არსებობს?

2 როგორ გადავთარგმნოთ უწყვეტი ინფორმაცია დისკრეტულ (ციფრულ) ფორმაში?

3 როგორია უწყვეტი ინფორმაციის შერჩევის მაჩვენებელი?

4 როგორ არის ჩამოყალიბებული დისკრეტიზაციის თეორემა?

5 რა არის ინფორმაცია, კოდირება, საკომუნიკაციო არხი, ხმაური?

6 რა არის შენონის ალბათური მიდგომის ძირითადი დებულებები ინფორმაციის მოცულობის განსაზღვრაში?

7 როგორ განისაზღვრება დისკრეტული წყაროს ერთ შეტყობინებაში შემავალი ინფორმაციის რაოდენობა?

8 როგორ განისაზღვრება ურთიერთდამოკიდებული გზავნილების წყაროს თითო შეტყობინებაზე ინფორმაციის რაოდენობა?

9 რა არის წყაროს ენტროპია? რა არის მისი თვისებები?

10 რა პირობებშია წყაროს ენტროპია მაქსიმალური?

11 როგორ განისაზღვრება ინფორმაციის რაოდენობა? რა თვისებები აქვს ინფორმაციის რაოდენობას?

12 რა იწვევს ინფორმაციის წყაროს სტატისტიკურ სიჭარბეს?

რას ნიშნავს ტერმინი "ენტროპია" ინფორმაციის თეორიის თვალსაზრისით? და მიიღო საუკეთესო პასუხი

პასუხი MarZ-ისგან [გურუ]
ინფორმაციული ენტროპია, როგორც შენონმა განსაზღვრა და დაამატა სხვა ფიზიკოსებმა, მჭიდრო კავშირშია თერმოდინამიკური ენტროპიის კონცეფციასთან. ეს არის მნიშვნელობა, რომელიც აღნიშნავს ინფორმაციის შეუმცირებელ (შეუკუმშვად) რაოდენობას, შინაარსს მოცემულ სისტემაში (ჩვეულებრივ, მიღებულ სიგნალში).
ინფორმაციის თეორიაში
სტატისტიკურ მექანიკაში ენტროპია მჭიდროდ არის დაკავშირებული ინფორმაციულ ენტროპიასთან - შეტყობინებების გაურკვევლობის საზომი, რომლებიც აღწერილია სიმბოლოების სიმრავლით x_1, ldots, x_n და ამ სიმბოლოების p_1, ldots, p_n შეტყობინებაში გაჩენის ალბათობით. ინფორმაციის თეორიაში, დისკრეტული ალბათობის განაწილებით შეტყობინების ენტროპია არის რაოდენობა
Sn = − ∑PkInPk,
კ
სადაც
∑ Pk = 1.
კ
ინფორმაციის ენტროპია ნულის ტოლია, როცა რაიმე ალბათობა უდრის ერთს (და დანარჩენი - ნულს), ანუ როცა ინფორმაცია სრულიად პროგნოზირებადია და მიმღებისთვის ახალს არ ატარებს. ენტროპია იღებს უდიდეს მნიშვნელობას თანაბარი განაწილებისთვის, როდესაც ყველა ალბათობა pk ერთნაირია; ე.ი. როცა შეტყობინების მიერ მოგვარებული გაურკვევლობა მაქსიმალურია. ინფორმაციულ ენტროპიას ასევე აქვს ყველა ის მათემატიკური თვისება, რაც გააჩნია თერმოდინამიკურ ენტროპიას. მაგალითად, ის არის დანამატი: რამდენიმე შეტყობინების ენტროპია უდრის ცალკეული შეტყობინებების ენტროპიების ჯამს.
წყარო: http://www.wikiznanie.ru/ru-wz/index.php/РРСтропия

პასუხი ეხლა ალექსანდრე ზონოვი[გურუ]
ისევე, როგორც თერმოდინამიკაში, ენტროპია არის სისტემის არეულობის საზომი.

პასუხი ეხლა . [აქტიური]
ენტროპია (ინფორმაციული) - ინფორმაციის შემთხვევითობის საზომი, პირველადი ანბანის რომელიმე სიმბოლოს გარეგნობის გაურკვევლობა. ინფორმაციის დაკარგვის არარსებობის შემთხვევაში, ის რიცხობრივად უდრის ინფორმაციის რაოდენობას გადაცემული შეტყობინების სიმბოლოზე.

პასუხი ეხლა 3 პასუხი[გურუ]

გამარჯობა! აქ მოცემულია თემების შერჩევა თქვენს კითხვაზე პასუხებით: რას ნიშნავს ტერმინი „ენტროპია“ ინფორმაციის თეორიის თვალსაზრისით?

შინაარსი ენტროპია პირველად დაინერგა 1865 წელს რ.კლაუზიუსმა თერმოდინამიკაში შეუქცევადი ენერგიის გაფანტვის საზომის დასადგენად. ენტროპია გამოიყენება მეცნიერების სხვადასხვა დარგში, მათ შორის ინფორმაციის თეორიაში, როგორც ნებისმიერი გამოცდილების, ტესტის გაურკვევლობის საზომი, რომელსაც შეიძლება ჰქონდეს განსხვავებული შედეგი. ენტროპიის ამ განმარტებებს ღრმა შინაგანი კავშირი აქვს. ასე რომ, ინფორმაციის შესახებ იდეების საფუძველზე, სტატისტიკური ფიზიკის ყველა ყველაზე მნიშვნელოვანი დებულება შეიძლება გამოიტანოს. [BES. ფიზიკა. M: დიდი რუსული ენციკლოპედია, 1998].

ინფორმაციის ორობითი ენტროპია დამოუკიდებელი (არათანაბარი) შემთხვევითი მოვლენებისთვის xთან ნშესაძლო მდგომარეობები (1-დან ნ, გვ- ალბათობის ფუნქცია) გამოითვლება შენონის ფორმულა:

ამ მნიშვნელობას ასევე უწოდებენ საშუალო ენტროპიაშეტყობინებები. შენონის ფორმულაში ენტროპია არის საშუალო მახასიათებელი - შემთხვევითი ცვლადის განაწილების მათემატიკური მოლოდინი.
მაგალითად, ასოების თანმიმდევრობაში, რომლებიც ქმნიან წინადადებას რუსულში, სხვადასხვა ასო ჩნდება სხვადასხვა სიხშირეზე, ამიტომ ზოგიერთი ასოსთვის გაურკვევლობა ნაკლებია, ვიდრე სხვებისთვის.
1948 წელს, ხმაურიანი საკომუნიკაციო არხის მეშვეობით ინფორმაციის რაციონალური გადაცემის პრობლემის გამოკვლევისას, კლოდ შენონმა შემოგვთავაზა რევოლუციური ალბათური მიდგომა კომუნიკაციების გასაგებად და შექმნა ენტროპიის პირველი ჭეშმარიტად მათემატიკური თეორია. მისი სენსაციური იდეები სწრაფად დაედო საფუძვლად ინფორმაციის თეორიის განვითარებას, რომელიც იყენებს ალბათობის კონცეფციას. ენტროპიის ცნება, როგორც შემთხვევითობის საზომი, შემოიღო შენონმა თავის სტატიაში "კომუნიკაციის მათემატიკური თეორია", რომელიც გამოქვეყნდა ორ ნაწილად Bell System Technical Journal-ში 1948 წელს.

თანაბრად სავარაუდო მოვლენების შემთხვევაში (განსაკუთრებული შემთხვევა), როდესაც ყველა ვარიანტი თანაბრად სავარაუდოა, დამოკიდებულება რჩება მხოლოდ განხილული ვარიანტების რაოდენობაზე და შენონის ფორმულა მნიშვნელოვნად გამარტივებულია და ემთხვევა ჰარტლის ფორმულას, რომელიც პირველად შემოგვთავაზა ამერიკელი ინჟინერი რალფ ჰარტლი 1928 წელს, როგორც გზავნილების შეფასების ერთ-ერთი სამეცნიერო მიდგომა:

, სადაც I არის გადაცემული ინფორმაციის რაოდენობა, p არის მოვლენის ალბათობა, N არის სხვადასხვა (თანაბარი) შეტყობინებების შესაძლო რაოდენობა.

ამოცანა 1. თანაბრად სავარაუდო მოვლენები.
გემბანზე არის 36 კარტი. რამდენ ინფორმაციას შეიცავს შეტყობინებაში, რომ გემბანიდან ამოიღეს ბარათი „ტუზის“ პორტრეტით; "ყვავის ტუზი"?

ალბათობა p1 = 4/36 = 1/9 და p2 = 1/36. ჰარტლის ფორმულის გამოყენებით გვაქვს:

პასუხი: 3.17; 5.17 ბიტი
გაითვალისწინეთ (მეორე შედეგიდან) რომ ყველა რუკის კოდირებისთვის საჭიროა 6 ბიტი.
შედეგებიდან ასევე ირკვევა, რომ რაც უფრო დაბალია მოვლენის ალბათობა, მით მეტ ინფორმაციას შეიცავს იგი. (ამ ქონებას ე.წ ერთფეროვნება)

ამოცანა 2. უთანასწორო მოვლენებზე
გემბანზე არის 36 კარტი. აქედან 12 ბარათი „პორტრეტებით“. თავის მხრივ, ერთ-ერთი ბარათი აღებულია გემბანიდან და ნაჩვენებია იმის დასადგენად, არის თუ არა მასზე გამოსახული პორტრეტი. ბარათი ბრუნდება გემბანზე. განსაზღვრეთ გადაცემული ინფორმაციის რაოდენობა ყოველ ჯერზე ერთი ბარათის ჩვენებისას.