KAndrey писал(а):Во-первых, информация - это чисто субъективное понятие для каждого из индивидуумов. Любая последовательность не может быть информацией, пока ее не расшифровали с помощью определенных алгоритмов (ключа). То есть любая информация уже по определению является не хаотичной, а жестко последовательной по определенному алгоритму.
Далее:
KAndrey писал(а):Для любого кто обладает зрением, данная последовательность будет являться зрительной информацией.
Эти две цитаты не совсем стыкуются: либо информация - это только не хаотичная последовательность, либо информация - это любая последовательность?
Давайте по порядку. Совершенно верно, что та информация (или смысл), которую несет в себе какое-либо событие для человека и для дождевого червя может сильно отличаться. И причины этого отличия делятся на два вида. Во-первых, несет ли информацию для субъекта то или иное воздействие на него, зависит от органов восприятия этого субъекта. То есть цифры, напечатанные на газете, не несут для дождевого червя никакой информации, потому, что он не обладает зрением.
Во-вторых, если воздействие все-таки воспринято, то информация или смысл для субъекта, конечно, зависит от ключа или кода, которым обладает этот субъект. Если обезьяна не знает цифр, но видит их, то она все же получает какую-то информацию. Она раскодирует ее совершено иначе, чем человек, знакомый с цифрами, например, как картинку. Но все же цифры отображаются в ее мозгу, то есть информация получена. И здесь не имеет значения, насколько хаотичной или последовательной она показалась этому индивиду.
Теперь хотелось бы разобраться, что такое хаотичная и последовательная информация? Чем с большей вероятностью мы можем предсказать то или иное событие, тем более последовательным (или предсказуемым) оно для нас является. Это зависит от тех ключей или кодов, которыми мы обладаем. Однако, информация редко бывает предсказуемой или непредсказуемой на 100%, имеют место также все оттенки серого, когда информация является предсказуемой лишь с определенной долей вероятности. Это описывается понятием информационной энтропии.
И в данном видеофайле речь идет не о том, насколько закономерна или случайна информации для субъектов, обладающих разными ключами к ней, а о различии в информации для одного и того же субъекта - Демона Лапласа. В начале видео было сказано о мысленном эксперименте, предложенном французским физиком Лапласом, который предположил, что если бы некое разумное существо знало положения и скорости всех частиц в мире в некий момент времени, то оно могло бы совершенно точно предсказать все мировые события. Такое гипотетическое существо впоследствии было названо Демоном Лапласа.
Информация - это очень важная переменная, чье значение трудно переоценить, исходя, хотя бы из квантовой механики. Но главная мысль, которая меня поразила в этом видео состоит в том что, что вводится новая переменная, которую ни мы, ни Лаплас ранее не учитывали в своих рассуждениях - это энтропия. Может быть она все меняет? Предположим, что имея начальные данные, теоретически можно предсказать все последующие, а равно и предыдущие события. Тогда они предопределены. Но если в следующий момент времени энтропия возрастет, а по второму закону термодинамики так и происходит, то что? Можно ли будет в этом случае все предсказать? Возьмем теоретический идеальный бильярдный шар, который катится по столу. Зная его первоначальные координаты и его скорость мы можем предсказать его положение в любой момент времени. Вероятность всех последующих событий равна 100%. Но вот появляется энтропия в виде неизвестной переменной в нашем уравнении. И количество этих неизвестных растет со временем. Значение энтропии обычно трактуют как хаос. Но так ли это? Энтропия вообще переводится как превращение. В термодинамике энтропия означает рассеяние энергии в виде тепла, а также необратимость процессов и "тепловую смерть" вселенной. Это не совсем одно и то же, что хаос. В теории информации энтропией характеризуется количественное измерение хаотичности и информационной емкости системы. Можно ли как-то приравнять термодинамическую энтропию и информационную энтропию?
KAndrey писал(а):особенно расмешило определение с помощью сжатия
Действительно, в видео это было показано не совсем понятно. Хотелось бы пояснить, о каком сжатии информации идет речь. Основоположником идеи сжатия информации без потерь при её распаковке является Клод Шеннон. Теоремы Шеннона говорят о связи энтропии источника информации с достижимой степенью сжатия информации. Сжатие информации с помощью кодирования используется при передаче информации по каналам связи. Такое сжатие, например, используется для записи видео с камер видеонаблюдения. При этом перезаписывается только та часть изображения, которая изменяется, например движущийся человек. А фон, который остается неизменным записывается только один раз. При этом размер файла сжимается порядка тысячи раз.