B > Byte
b > bit
若多媒體內容未經過壓縮的大小:(ppt 42)
1. frame size 640/480 pixels
2. 16 bits per pixels
3. playback rate is 30 fps
4. vedio length is five minutes
=>
transmission rate: 18 MB/sec
storage requirement: 5 GB
=>
資料量太大
所以需要做data cmopression:移除 unused(超出人類可感官範圍) and redundant(沒有用到的內容) material.
例如:
電話錄音時,雙方皆沉默時(redundant)的部分會偵測到並暫時暫停錄音
將多媒體中重複的資料(redundant)去除
Type of Redundancy
Spatial redundancy:照片中 neighbor pixels is strongerly correlated in almost all natural images (相鄰的像素點通常具有相關性,除了在邊界上)
Temporal redundancy: 前一秒與下一秒的 frame 通常變化不大,可以儲存 frame 的差異性,將差異性疊加在前一張f rame 內容上,就可以看到目前的 frame
redundancy in scale:當 frame 放大縮小時,內容中的像素與鄰近像素的相關性不變
redundancy in frequency: 相鄰兩個 frame 間的像素頻譜值通常非常相似
Stereo redundancy : 左右聲道通常一致,不用儲存兩份檔案,除非有區分一邊出音樂一邊出聲音等
(ppt 45 關於壓縮的名詞要看)
Lossless :壓縮過的資料解壓縮後可以很精準地還原回來
Loss:無法百分百還原原始資料(大部分多媒體皆使用此)
intraframe : 外部 frame,探討單張 frame 內部像素間的相關性
interframe : 內部 frame,探討每張 frame 的差異性
symmetrial : 編碼與解碼時間相同(非常少見)
asymmetrial : 編碼語解碼時間不同,通常而言,編碼會比解碼久,因為編碼時要大量搜尋各種可能去做壓縮(大部分多媒體皆使用此),因此有很多論文具探討是否可以利用平行化去降低編碼時間
real-time:編解碼時間不可超過 50ms
scalable: 可調性,(h.264 或 h.265 scalable vedio coding,SVC),當所需影片大小(解析度)不同時,可以提供不同版本的編碼(因為手機與電腦需要不同解析度)
Entropy coding (熵:宇宙中不變的元素):數位化的過程中,使用最少的 bit 去表示,且不會有任何資料遺失,regarless of semantics(語意內涵) of the data,例如: Huffman coding、Run-length coding
Source coding:考慮資料的語意內涵,例如當超過人感官的資料則不做編碼,例如:離散餘旋轉換(DCT)、離散小波轉換、傅立葉轉換
Hybrid coding: 混合式(雜種),整合以上兩種 例如:H.261 、H.263、 MPEG、 JPEG
這節課會介紹這幾種方法的概念與基礎,紅色會重點介紹,但不介紹方法之變形