Говорящее пианино

Этот ролик облетел уже множество сайтов, но мне было бы интересно вам его показать и прокомментировать.

Peter Ablinger, австрийский композитор, заставил разговарить пианино, в буквальном смысле.Посмотритеэтотролик:

Надо признаться, что идея и её реализация просто великолепны. С точки зрения же науки, в этой идее нет ничего волшебного. Ведь речь представляет собой набор спектральных составляющих, и при том, гармонических составляющих. Пианино также издаёт гармонические звуки. Другое дело, что частотное и временное разрешение спектра пианино не является бесконечно высоким, а имеет вполне определённое значение. Таким образом, задача по воспроизведению речи, как и любого другого звука, на пианино заключается в как можно более точном воспроизведении спектра исходного сигнала с помощью ограниченных возможностей пианино. Точнее говоря, спектральные составляющие звука необходимо натянуть на частотно-временную сетку спектра пианино. Скажем, в том же матлабе такую задачу можно было бы решить довольно быстро путём разложения звука в спекр (FFT), а затем прореживанием значений FFT-бинов с целью оставить лишь те, которые ложатся на сетку звуков пианино. Тут, конечно, нужно учесть, что всякая нота на пианино даёт не точечный, а широкий спектр, что несколько осложняет задачу анализа. Но в общем и целом можно сказать, что с помощью пианино вполне можно было бы исполнять не только речь, но и просто любую музыку и другие звуки, используя клавиши пианино как триггеры соответствующих спектральных составляющих.

Верно по этому поводу подмечает CDM. Есть, например, такая программа, как TS-AudioToMIDI.

Эта программа делает как раз вещь похожую на то, о чём я написал выше. Далее, полученный MIDI-файл можно "прикрутить" к какому-нибудь механическому контроллеру настоящего музыкального синтрумента, и будет вам эффект, похожий на описанный.

Вашими мыслями вы можете делиться в комментариях к заметке.

Читать весь 191-й номер 
Перейти в архив выпусков WebSound.Ru 

Ниже располагаются комментарии к этой заметке

Пожалуйста, обратите внимание! Если вы хотите что-то сообщить автору WebSound.Ru, лучше сделать это не здесь, а направить ваше сообщение по e-mail. Пожалуйста, составляйте свои комментарии в вежливой форме. Не засоряйте сайт бессодержательными и невежливыми сообщениями.