SoundTrack: TEHNO-TREK OT RLA
__________________________________________
Edition: Ze Pagan/PGC/BD
__________________________________________
МУЛЬТИМЕДИА - синтез трех стихий
├════════════════════════════════┤
... Мультимедиа быстро стала одним из
ведущих направлений развития информацион-
ных технологий. Многие эксперты считали,
что 90-е годы станут годами мультимедиа,
подобно тому, как 80-е стали годами персо-
нальных компьютеров. Я предлагаю вам, ува-
жаемые читатели DEJA VU, совершить неболь-
шой экскурс в совсем еще недалекое прош-
лое,в начало 90-х,и поглядеть на суть это-
го термина. Статья написана по материалам
издания "Компьютер Пресс",предоставленными
для публикации Стрельниковым Андреем.Преж-
де всего,давайте выясним что означает этот
таинственный термин...
* * *
"Мультимедиа" (multimedia) - это инте-
рактивные системы, обеспечивающие работу с
неподвижными изображениями и движущимся
видео, анимированной компьютерной графикой
и текстом, речью и высококачественным зву-
ком. Термин "мультимедиа" даже в английс-
ких журналах характеризуется как "ill-de-
fined" - неудачно определенный, в русском
же языке это слово выглядит совсем чуже-
родным и попытка выразить понятие "мульти-
медиа" с помощью уже существующих в рус-
ском языке терминов приводит к чему-то
длинному, например, "интерактивные видео-
звуковые компьютерные системы", что неиз-
бежно породит очередную непроизносимую аб-
бревиатуру.
Появление систем мультимедиа, безуслов-
но, производит революционные изменения в
таких областях, как образование, компью-
терный тренинг, во многих сферах професси-
ональной деятельности науки, искусства, в
компьютерных играх и т.д., однако оно яви-
лось логическим эволюционным продолжением
развития ряда направлений в компьютерной
теории и практике.
Так, разработка технологии гипертекста
и применение ее к созданию электронных ру-
ководств, энциклопедий естественно поста-
вили вопрос об иллюстрировании статей,
включении графических карт и фотографий. С
развитием технических возможностей в сос-
тав систем гипертекста стали включать не
только неподвижные изображения, но и ко-
роткие видеоролики, звуковые и речевые ил-
люстрации. Появились также системы "гипер-
изображений" (hiperimage), обеспечивающие
"нелинейную" работу с массивами хранимых
изображений, т.е., позволяющие рассматри-
вать фрагменты изображений в укрупненном
масштабе, устанавливать связи между раз-
личными изображениями, их элементами и то-
му подобное. Такого рода системы зачастую
называют "гипермедиа".
Пользователям баз данных также стало не
хватать традиционных текстовых и числовых
типов данных и появились multimedia data-
bases (далее "MM-базы"). MM-базы позволяют
хранить факсимильные изображения, исходные
и объектные коды программ,оцифрованные ви-
део и звук - т.е. фактически любую инфор-
мацию,которая может быть занесена в память
компьютера.
Развитие графического интелектуального
пользовательского интерфейса, с одной сто-
роны, и методов объектно-ориентированного
программирования - с другой,породили поль-
зовательские среды, типа HyperCard и NeXT
step, которые уже фактически являлись сис-
темами мультимедиа и содержали необходимый
аппарат для представления разных типов ин-
формации.
Со стороны рабочих станций и специали-
зированных компьютеров к появлению мульти-
медиа вело развитие систем САПР, теле- и
видеостудий,управляемых компьютером,а так-
же музыкальных компьютерных центров.
Развитие компьютерных тренажеров и ком-
пьютерных игр, требующих анимации сложных
изображений в реальном времени и звукового
сопровождения для имитации или моделирова-
ния поведения объектов и окружающей среды,
также логично приводит к системам мульти-
медиа.
СОСТАВНЫЕ ЧАСТИ
Итак, появление систем мультимедиа под-
готовлено как требованиями практики, так и
развитием теории. Однако резкий рывок в
этом направлении, происшедший за последние
несколько лет, обеспечен прежде всего раз-
витием технических и системных средств.
Это и прогресс в развитии ПЭВМ: резко воз-
росшие память, быстродействие, графические
возможности и характеристики внешней памя-
ти, и достижения в области видеотехники,
лазерных дисков - аналоговых и CD-ROM, а
также их массовое внедрение. Важную роль
сыграла также разработка методов быстрого
и эффективного сжатия/развертки данных.
Рассмотрим некоторые технические вопро-
сы построения систем мультимедиа. Пожалуй,
основная проблема - совместная обработка
разнородных данных цифровых и аналоговых,
"живого" видео и неподвижных изображений и
т.п. В компьютере все данные (если кто-то
еще не знает;)) хранятся в цифровой форме,
в то время как теле-, видео- и большинство
аудиоаппаратуры имеют дело с аналоговым
сигналом. Однако, выходные устройства ком-
пьютера - мониторы (в большинстве) и дина-
мики имеют аналоговый вход. Поэтому прос-
тейший и наиболее дешевый путь построения
первых систем мультимедиа состоял в сты-
ковке разнородной аппаратуры с компом,пре-
доставлении компьютеру возможностей управ-
ления этими устройствами,совмещении выход-
ных сигналов компьютера и видео- и/или
аудио-устройств и обеспечение их нормаль-
ного совместного отображения. Пожалуй, к
таким системам больше всего подходит тер-
мин "мультимедиа", т.к. в них объединены
хесколько независимых сред, систем - носи-
телей данных. Дальнейшее развитие систем
мультимедиа проходит в направлении "моно-
медиизации" - объединения разнородных ти-
пов данных в цифровой форме на одной сре-
де-носителе, в рамках одной системы.
А теперь, я полагаю, самое время кос-
нуться некоторых фирм-производителей и по-
смотреть какие же шаги были ими предприня-
ты в вопросах развития мультимедиа...
Commodore: CDTV
Еще несколько лет назад,когда о мульти-
медиа никто ничего не знал, достаточно бы-
ло познакомиться с компьютером Amiga фирмы
Commodore, посмотреть на гиперреалистичес-
кие анимированные картинки ее игр, послу-
шать синтезированную речь, полнозвучную
многоканальную стереомузыку, нисколько не
влияющую на скорость анимации и работы с
диском - и становилось ясно, что следующим
шагом должно быть что-то вроде интерактив-
ного кино. С появлением же мультимедиа
вдруг оказалось, что Amiga от рождения бы-
ла именно мультимедиа-компьютером,и теперь
дождалась своего часа.
Три спецпроцесора Amiga: Agnus, Denise
и Paula - обеспечивают чрезвычайно изощ-
ренную работу с изображением и звуком. Так
графический сопроцессор - коппер, входящий
в состав Agnus, управляет всеми аспектами
вывода изображения на экран; он действует
полностью независимо от ЦП, по собственной
программе. Paula управляет работой систем-
ной шины компьютера, обеспечивая быстрые
пересылки больших обьемов данных (видео,
звуковых, текстовых) в промежутках между
работой ЦП и видеочипов, т.е. не замедляя
их работы. Кроме того, Paula содержит схе-
мы синтеза звука и речи, в том числе пол-
ный набор английских фонем. Вот она, про-
думанная до мелочей архитектура! Вообщем,
можно долго перечислять достоинства этого
компьютера.
Очень важна для мультимедиа изначальная
ориентированность архитектуры Amiga на со-
ответствие телевизионным стандартам. Час-
тоты развертки у Amiga совподают со стан-
дартом NTSC (у европейской версии компа -
с PAL). Поддерживается интерлейсный режим.
Amiga - едва ли не единственный из персо-
нальных компьютеров, который работает, по-
добно телевизору, в режиме оверскана: пол-
ный горизонтальный и вертикальный ход луча
(752x482) больше области, используемой для
вывода графической информации.
В 1990 году фирма Commodore сделала но-
вый серьезный шаг в направлении мультиме-
диа: представила первую домашнюю и обучаю-
щую систему мультимедиа - CDTV (Commodore
Dynamic Total Vision). CDTV не является
компьютером в традиционом смысле - это
комбинация CD-ROM и центрального устройст-
ва компьютера Amiga в корпусе размером с
видеомагнитофон. Он не имеет в стандартной
конфигурации ни клавиатуры,ни флоппи-диска
(однако, они могут быть подключены). Уп-
равление работой CDTV производится мышью
или дистанционным инфрокрасным блоком. Я
лишь коротко остановлюсь на некоторых мо-
ментах работы этого девайса.
В момент разработки CDTV еще не было
микросхем сжатия видеоданных достаточно
дешевых, чтобы оставить цену устройства
приемлемой для домашнего применения (вот и
забота о пользователе!); поэтому использо-
ванны программные методы сжатия. CDTV спо-
собна воспроизводить 14 кадров в секунду в
видео-окне, занимающем 40% площади экрана.
Система CDTV позволяет смешивать звук, за-
писанный на CD-ROM, с музыкой и речью, ге-
нерируемой компьютером.
Apple: HyperCard
Фирма Apple известна как лидер в облас-
ти "настольных типографий" и графического
интерфейса. Последние модели MacII (в то
время, of coz), оснащенные процессорами
M68030, могут содержать до 8 Мбайт прямо
адресуемого ОЗУ. Используются мультискан-
мониторы с аналоговым RGB-входом. В отли-
чии от Amiga не поддерживаются интерлейс-
ный режим и оверскан, что усложняет задачу
работы с видео; нет в архитектуре Mac и
специальных видеопроцессоров-вся работа с
графикой обеспечивается программами Quick-
Draw. Собственные звуковые возможности Mac
также бедноваты по сравнению с Amiga; хотя
они и обеспечивают довольно внятный синтез
речи, потребности мультимедиа должны обес-
печиваться дополнительным оборудованием.
Выбор такого оборудования достаточно ши-
рок, но я остановлюсь лишь на HyperCard.
HyperCard - это оболочка,надстройка над
операционной системой, уже довольно давно
входящая в комплект стандартной поставки
машины. Фактически, это первая широко рас-
пространенная система мультимедиа. За это
время (4 года) созданы тысячи приложений
для HyperCard, она стала образцом для под-
ражания, заложенные в ней идеи реализованы
в более поздних системах на разных типах
компьютеров.
Система HyperCard сочетает свойства ги-
пертекста,позволяющего создавать среду ок-
ружения с помощью механизма связей, и объ-
ектно-ориентированного языка; она опериру-
ет с такими объектами, как "карты", "сте-
ки", "кнопки", "поля", "фон". HyperCard
представляет пользователю электронный эк-
вивалент "карточек", логических объектов,
которые могут содержать информацию различ-
ных типов - текст, графику, речь, видео.
Система чрезвычайно проста в использова-
нии.
Next Step в мультимедиа?
КОмпьютеры семейств NeXT, "родившиеся"
позже остальных и потому вобравшие в свою
архитектуру многие новые идеи и техничес-
кие достижения, пожалуй, наилучшим образом
соответствуют технологии мультимедиа. В то
время, как IBM и Microsoft уже десять лет
навешивают все новые гроздья усовершенст-
вований на изначально примитивные IBM PC и
MS-DOS, как будто создавая гоночный супер-
автомобиль на базе старого трехколесного
велосипеда - Джобс не побоялся в третий
раз начать все с нуля и создать компьютер
сегодняшнего дня. NeXT - компьютер,у кото-
рого базовые средства систем мультимедиа
заложены в архитектуру и аппаратных,и про-
граммных средств.
Применение в NeXT мощных центральных
процессоров (68030 и 68040),процессора об-
работки сигналов (DSP), который обеспечи-
вает обработку звуков, сигналов, изображе-
ний, синтез и распознование речи, сжатие
изображений, обеспечение средств работы с
цветом (NeXTstation Color), большой объем
оперативной и внешней памяти, стандартно
встроенные сетевые контроллеры - обеспечи-
вают разработчикам мультимедиа необходимую
аппаратную поддержку. Дополнительная плата
NeXTdimension позволяет работать с 16 млн.
цветов (24 бита)и еще 8 битов остается для
аппаратного обеспечения прозрачности; для
ускорения работы графики добавляется Intel
i860; дополнительный JPEG Image Compressi-
on Processor CL550 обеспечивает сжатие ви-
део в реальном времени и позволяет хранить
на винчестере большой емкости свыше 60 ми-
нут видеоизображения.
NeXTstep стандартно включает систему
речевых аннотаций: пользователь может ком-
ментировать текстовые документы, используя
микрофон вместо клавиатуры. Входит в его
состав также NeXTmail - система электрон-
ной "мультимедиа" почты, позволяющая обме-
ниваться сообщениями, включающими, помимо
текстов, речевую и графическую информацию.
Возможности, предоставляемые NeXT, соз-
дают хорошую платформу для быстрого роста
количества продуктов мультимедиа и, воз-
можно, появление нового их качества.
IBM и другие: AVC, DVI
Компьютеры типа IBM PC в своем "нату-
ральном" виде наименее приспособлены для
целей мультимедиа - наихудшие (до появле-
ния SuperVGA) графические возможности,при-
митивный одноголосный звук, только 640К
прямо адресуемой памяти (не вмещающие даже
одного кадра оцифрованного видеоизображе-
ния), отсутствие удобного пользовательско-
го интерфейса. Однако, благодаря высокой
модульности, наращиваемости архитектуры -
компьютер IBM путем установки дополнитель-
ных плат легко превращается в специализи-
рованную станцию любой направленности.
Рынок мультимедиа IBM начала осваивать
еще в 1986 году, объявив систему InfoWin-
dow, позволяющую компьютеру управлять ана-
логовыми аудио- и видеоустройствами; в ка-
честве диалогового устройства в InfoWindow
был применен сенсорный экран (touch-scre-
en).
Другое направление развития мультимедиа
поддерживаемое IBM - это AVC - Audio-Visu-
al Connection (звуко-визуальная связь),ко-
торое фирма объявила в 1989 году. Система
ориентирована в основном на старшие компь-
ютеры семейства PS/2,с 386 или 486 процес-
сором и не менее 2.5М RAM. Графические об-
разы могут быть получены с помощью платы
Video Capture Adapter.Она производит оциф-
ровку отдельных кадров с видеокамеры, ви-
деодиска или видеоленты, обеспечивая раз-
решение 640x480 с 16 бит/пиксель, а также
может демонстрировать на экране "живое"
аналоговое видео или совмещать его с ком-
пьютерным изображением. На середину 1990
года максимальная скорость передачи оциф-
рованных кадров составляла только 3 кадра/
сек для полноцветных кадров (размером 614К
каждый); однако, поскольку VGA может рабо-
тать только в режимах 4 и 8 бит/пиксель,
изображение может быть конвертировано и
количество данных уменьшится.
Звуковое сопровождение обеспечивается
дополнительной платой Audio Capture/Play-
back Adapter, построенной на базе сигналь-
ного процессора TI 320C25 производитель-
ностью около 10 Mips, которая позволяет
производить оцифровку данных с линейного
выхода различных аудиоустройств, редакти-
рование их и воспроизведение с очень высо-
ким качеством (в том числе стерео).
В последнее время стратегия фирмы IBM
все более смещается в сторону цифровых
систем мультимедиа. Прежде всего это свя-
зано с успехами в разработке линии DVI
(Digital Video Interactive), которую сов-
местно ведут фирмы Intel и IBM. Система
DVI была разработана фирмами RCA (Sarnoff
Research Center) и General Electric; затем
права на DVI-технологию приобрела фирма
Intel. Первоначально платформа DVI базиро-
валась на ассиметричной схеме, ориентиро-
ванной на CD-ROM. В конце 1990 года выпу-
щены первые коммерческие хардверные про-
дукты DVI-две платы Action Media 750 (фир-
мой IBM - для архитектуры Micro Channel, а
Intel - для архитектуры ISA).
Ядром плат DVI является набор чипов ви-
деобработки i750 фирмы Intel.Эти чипы про-
изводят сжатие/расширение видео- и аудио-
файлов в реальном времени, в процессе за-
писи или считывания с диска. Основные чипы
набора: Pixel Processor 82750PA, работаю-
щий со скоростью 12.5 Mips и Output Disp-
lay Processor (ODP) 82750DA. ODP способен
воспроизводить цифровое видео в диапазоне
разрешений от 256x200 до 1024x512, с 8, 9
или 16-ю битами под цвет пикселя (в насто-
ящее время разрабатывается вариант с 24-мя
битами). Кроме того,i750 обеспечивает раз-
личные видеоэффекты благодаря возможности
перепрограммирования микрокодов чипов, не
прерывая и не замедляя операций. Плата DVI
содержит библиотеку функций видеоэффектов,
преобразований и т.п.,доступ к которым мо-
жет осуществляться из программ на языке
Си.
DVI объединяет телевизионную и компью-
терную технологию, что позволяет компьюте-
ру, оснащенному VGA, воспроизводить полно-
ценное движущееся видеоизображение. Цифро-
вой выход Action Media смешивается с ана-
логовым выходом VGA; окно DVI может распо-
лагаться в любом месте экрана, сжиматься,
растягиваться, двигаться; сгенерированные
компьютером текст и графика могут распола-
гаться в этом окне или накладываться по-
верх него. Согласно оценкам Intel, при за-
поминании движущегося видео коэффициента,
сжатия достигает почти 160 к 1. Благодаря
этому стандартный компакт-диск вмещает 72
минуты видео и стереозвуковых данных (без
сжатия он вмещал бы только 28 секунд);
средний размер сжатого кадра - около 4.5К,
и даже при скорости передачи данных 150К/
сек CD-ROM успевает считывать 30 кадров в
сек. При хранении наборов неподвижных изо-
бражений (картин, фотографий) коэффициент
сжатия падает до 25 к 1. Посколько DVI яв-
ляется цифровой системой, она, в принципе,
может быть настроена на любое разрешение,
так что возможно создание DVI-систем для
HDTV - телевидения высокой четкости (раз-
решение 1050 или 1125 строк) и для кино-
фильмов (разрешение около 4000 строк).
В настоящее время DVI обеспечивает ка-
чество "near-VCR" - "почти-видеомагнитофо-
на" (разрешение 240 строк) для продуктов,
изготовленных на Action Media (их называют
RTV - Real Time Video или, по-русски, "ви-
део реального времени"). Однако, можно по-
слать подготовленные данные на фирму In-
tel, где их сожмут по асимметричной схеме
PLV (Production Level Video); при воспро-
изведении данных PLV, Action Media обеспе-
чивает качество видеомагнитофона. К 1992г.
предполагается достичь качества выше ТВ-
-вещания, но ниже HDTV для продуктов PLV и
качества "почти-ТВ" для RTV.
DVI стала первой технологией, позволяю-
щей использовать для полнофункционального
мультимедиа не оптические диски фабричного
производства, а имеющийся в любом компью-
тере винчестер, что значительно расширяет
круг разработчиков и пользователей мульти-
медиа.
Фирма Microsoft, хотя и задействована
как соисполнитель в различных проектах
мультимедиа (DVI, CD-ROM-XA и др.), прово-
дит ежегодные конференции по CD-ROM, одна-
ко явно запаздывает с объявлением собст-
венной линии, выпуском собственого продук-
та. Лишь в конце 1991 года она собирается
выпустить мультимедиа-расширение Windows,
включающее в себя интерфейс MCI-Media Con-
trol Interface, который, судя по объявлен-
ным свойствам,будет представлять собой от-
вет Microsoft на AMCA фирмы Apple (Apple's
Media Control Architecture,архитектура уп-
равления носителями информации). В резуль-
тате, фирмы, лидирующие в разработке инст-
рументов и продуктов мультимедиа для ком-
пьютеров линии IBM, вынуждены действовать
с оглядкой на возможные будущие шаги Mic-
rosoft,чтобы вдруг не оказаться вне "стол-
бовой дороги" после того,как Microsoft на-
конец объявит свои планы по поводу мульти-
медиа. Такая политика Microsoft не новость
- вспомним многолетнюю многострадальную
историю системы Windows,лишь в прошлом го-
ду, в версии 3.0, обеспечивающей пользова-
телей сервисом, которым от рождения обла-
дал Macintosh, от версии к версии DOS,обе-
щания многозадачности.
И в заключении
Ну что ж, уважаемые читатели, я полагаю
надо подвести итог всему вышеизложенному
материалу. Очень хочется надеяться,что эта
статья вызвала у вас определенный интерес,
хотя она по сути является перепечаткой...
Итак, в мире явно наблюдается бум муль-
тимедиа. При таких темпах развития, когда
возникают новые направления, а другие, ка-
завшиеся весьма перспективными, вдруг ста-
новятся неконкурентоспособными,трудно сос-
товлять какие-либо обзоры: их выводы могут
стать неточными или вообще устареть.
Выглядят весьма интересными работы по
внедрению элементов искусственного интел-
лекта в системы гипермедиа. Системы типа
"Knowledge Navigator" фирмы Apple, "интел-
лектуальные" электронные книги обладают
способностью "чувствовать" среду общения,
адаптироваться к ней и оптимизировать про-
цесс общения с пользователем.Еще одна быс-
тро развивающаяся область применения ком-
пьютеров, в которой важную роль играет
мультимедиа - это системы виртуальной или
альтернативной реальности. Не путайте с
Virtual'но Amig'ным синдромом:)! А также
близкие к ним системы "телеприсутствия"
(telepresence).С помощью специального обо-
рудования -шлема с двумя миниатюрными сте-
реодисплеями (eye-phones), квадронаушника-
ми, специальных сенсорных перчаток и даже
костюма (ну прям Газонокосильщик какой-
-то;)) вы можете "войти" в сгенерированный
или смоделированный компьютером мир повер-
нув голову, посмотреть налево или направо,
пройти дальше, протянуть руку вперед - и
увидеть ее в этом виртуальном мире, можно
даже взять какой-либо виртуальный предмет
(почувствовав при этом его тяжесть)и пере-
ставить в другое место; можно таким обра-
зом строить, создавать этот мир изнутри.
Вполне возможно, что технология мульти-
медиа настолько интегрируется в идеологию,
архитектуру ПК, что сам термин "мультиме-
диа" постепенно отомрет...
