音風景ブログ RSSフィード

2016-07-08

Opusエンコーダの音質比較

概要

Opusエンコーダの音質比較。2013年からある安定版の Opus 1.1 と、Opus 1.1.1の音質向上を狙ったテスト版「exp_lbr_tune」(2016年2月時点)を比較。

テスト版「exp_lbr_tune」は、2016年7月現在も活発に改良が続けられており、さらに改良を重ねた上で将来 Opus 1.2 としてリリースされる予定である。

結果

テスト版の方が低レートで高い評価となった。64kbps以上では、有意差が無かった。


評価

f:id:kamedo2:20160712224043p:image

形式OpusOpusOpusOpusOpusOpusOpusOpus
エンコーダ1.11.11.11.11.1.11.1.11.1.11.1.1
バージョンmainmainmainmainlbr_tunelbr_tunelbr_tunelbr_tune
リリース年20132013201320132016201620162016
レート制御VBRVBRVBRVBRVBRVBRVBRVBR
指定レート32k48k64k80k32k48k64k80k
10 41_30secPerc.1.73.13.54.01.82.83.74.0
11 finalfantasyStrings2.63.74.14.42.03.24.24.4
12 ATrainJazz2.33.44.04.31.63.13.94.2
13 BigYellowPops1.72.93.84.11.72.83.94.0
14 FloorEssenceTechno3.13.74.24.32.03.44.14.3
15 macabreClassic1.82.33.53.71.52.43.63.6
16 mybloodrustsGuitar2.73.34.24.32.03.24.24.3
17 QuizasLatin2.13.53.94.21.83.24.04.2
18 VelvetRealmTechno2.43.13.53.71.92.83.53.7
19 雨降花Pops1.72.53.84.31.72.33.84.3
20 TrustGospel2.23.23.84.31.83.14.04.3
21 WaitingRock2.23.34.14.11.73.14.04.2
22 ExperienciaLatin2.73.54.14.41.93.64.04.4
23 Heart To HeartPops2.03.54.04.21.73.24.04.2
24 Tom's DinerVocal2.83.63.94.22.53.63.84.2
平均スコア2.243.233.874.141.823.053.904.13
実レート34k50k66k83k32k49k66k83k
エンコーダ1.11.11.11.11.1.11.1.11.1.11.1.1
形式OpusOpusOpusOpusOpusOpusOpusOpus

テストに利用した音源を試聴したい方、ダウンロードしたい方、ログを見たい方はこちらへ。

http://zak.s206.xrea.com/bitratetest/main.htm

方法

銘柄に対する先入観が影響しないように、PSP ABC/HR v2.4とRP-HT560(1回目)、RP-HJE150(2回目)を利用して、8個のエンコードされた圧縮音源をランダムに並び替えて、銘柄を伏せて採点した。採点基準は、「音質劣化が非常に気になる」が1点 「気になる」が2点 「わずかに気になる」が3点 「原音からの音質変化が分かるが、気にならない」が4点 「音質変化がわからない、区別できない」が5点。4.9点以下の評点をつける場合は、ABXYテストを15回行い、12回以上(これ以上の成績をまぐれで出す確率は約2%)正解して、違いを聞き取れることを確認してからそうした。このテストでの採点は、15(音源)×2(エンコーダ)×4(ビットレート種類)×2(回)=240(回)。

使用したオプション

安定版 Opus 1.1 with opus-tools-0.1.9

opusenc --bitrate 32 in.wav out.opus

opusenc --bitrate 48 in.wav out.opus

opusenc --bitrate 64 in.wav out.opus

opusenc --bitrate 80 in.wav out.opus

テスト版 Opus 1.1.1-rc-49-g5db9e14 branch exp_lbr_tune, with opus-tools 0.1.9.

opusenc --bitrate 32 in.wav out.opus

opusenc --bitrate 48 in.wav out.opus

opusenc --bitrate 64 in.wav out.opus

opusenc --bitrate 80 in.wav out.opus

詳細な優劣の分析

FRIEDMAN version 1.24 (Jan 17, 2002) http://ff123.net/
Blocked ANOVA analysis

Number of listeners: 15
Critical significance:  0.05
Significance of data: 1.11E-016 (highly significant)
---------------------------------------------------------------
ANOVA Table for Randomized Block Designs Using Ratings

Source of         Degrees     Sum of    Mean
variation         of Freedom  squares   Square    F      p

Total              119          92.40
Testers (blocks)    14           6.66
Codecs eval'd        7          81.87   11.70   296.65  1.11E-016
Error               98           3.86    0.04
---------------------------------------------------------------
Fisher's protected LSD for ANOVA:   0.144

Means:

exp80k   org80k   org64k   exp64k   exp48k   org48k   exp32k   org32k   
  4.14     4.13     3.90     3.87     3.23     3.05     2.24     1.82   

---------------------------- p-value Matrix ---------------------------

         org80k   org64k   exp64k   exp48k   org48k   exp32k   org32k   
exp80k   0.854    0.001*   0.000*   0.000*   0.000*   0.000*   0.000*   
org80k            0.002*   0.001*   0.000*   0.000*   0.000*   0.000*   
org64k                     0.714    0.000*   0.000*   0.000*   0.000*   
exp64k                              0.000*   0.000*   0.000*   0.000*   
exp48k                                       0.015*   0.000*   0.000*   
org48k                                                0.000*   0.000*   
exp32k                                                         0.000*   
-----------------------------------------------------------------------

exp80k is better than org64k, exp64k, exp48k, org48k, exp32k, org32k
org80k is better than org64k, exp64k, exp48k, org48k, exp32k, org32k
org64k is better than exp48k, org48k, exp32k, org32k
exp64k is better than exp48k, org48k, exp32k, org32k
exp48k is better than org48k, exp32k, org32k
org48k is better than exp32k, org32k
exp32k is better than org32k

整形済みデータ

org32k	org48k	org64k	org80k	exp32k	exp48k	exp64k	exp80k
%feature	10	オリジナル版 Opus1.1	オリジナル版 Opus1.1	オリジナル版 Opus1.1	オリジナル版 Opus1.1	テスト版exp_lbr_tune	テスト版exp_lbr_tune	テスト版exp_lbr_tune	テスト版exp_lbr_tune
%feature	11	--bitrate 32	--bitrate 48	--bitrate 64	--bitrate 80	--bitrate 32	--bitrate 48	--bitrate 64	--bitrate 80
%feature	12	32 kbps	49 kbps	66 kbps	83 kbps	34 kbps	50 kbps	66 kbps	83 kbps
1.650	3.100	3.500	3.950	1.800	2.800	3.650	4.000	
2.600	3.650	4.100	4.350	1.950	3.200	4.150	4.350	
2.350	3.400	4.000	4.250	1.550	3.100	3.900	4.200	
1.700	2.900	3.750	4.050	1.700	2.850	3.950	4.000	
3.050	3.700	4.200	4.300	2.000	3.400	4.100	4.250	
1.750	2.350	3.450	3.700	1.500	2.400	3.550	3.550	
2.650	3.250	4.150	4.250	2.000	3.200	4.150	4.250	
2.100	3.450	3.900	4.200	1.750	3.150	3.950	4.200	
2.350	3.100	3.450	3.700	1.900	2.850	3.500	3.700	
1.650	2.450	3.800	4.250	1.700	2.300	3.750	4.250	
2.200	3.200	3.850	4.300	1.800	3.050	3.950	4.300	
2.150	3.350	4.050	4.100	1.650	3.050	4.000	4.150	
2.650	3.500	4.050	4.400	1.900	3.600	4.000	4.400	
1.950	3.450	3.950	4.150	1.650	3.200	4.000	4.150	
2.750	3.600	3.850	4.150	2.450	3.600	3.850	4.150	
%samples	41_30sec	Perc.
%samples	finalfantasy	Strings
%samples	ATrain	Jazz
%samples	BigYellow	Pops
%samples	FloorEssence	Techno
%samples	macabre	Classic
%samples	mybloodrusts	Guitar
%samples	Quizas	Latin
%samples	VelvetRealm	Techno
%samples	Amefuribana	Pops
%samples	Trust	Gospel
%samples	Waiting	Rock
%samples	Experiencia	Latin
%samples	HearttoHeart	Pops
%samples	Tom'sDiner	Acappella

注:公開試聴試験での多人数の平均評点と管理人の評点が似たような傾向になることは確認しているので言えるが、ある個人がある再生環境で、ある価値観のもとに聞いたときの評価が、ここに書いた管理人の評価に似るかどうかまでは何とも言えない。また、今回利用した音源とは傾向の異なる音を多くエンコードした場合、結果や順位が異なる可能性があります。

注:2016/07/12 画像中のビットレートが誤っていたため訂正しました。

通りすがり通りすがり 2017/01/07 03:41 Opusはフレーム長も音質に関わるんで既定(20ms)と --framesize 60 とでの比較もできれば…

kamedo2kamedo2 2017/01/08 00:47 20ms よりも大きいフレーム長は、かなり低いビットレートのみで有益です、とマニュアルに書かれていますが、低レートでの話ですか?

--framesize N

Maximum frame size in milliseconds (2.5, 5, 10, 20, 40, 60, default: 20)
Smaller framesizes achieve lower latency but less quality at a given bitrate.
Sizes greater than 20ms are only interesting at fairly low bitrates.

https://mf4.xiph.org/jenkins/view/opus/job/opus/ws/doc/html/group__opus__encoder.html

スパム対策のためのダミーです。もし見えても何も入力しないでください
ゲスト


画像認証

トラックバック - http://d.hatena.ne.jp/kamedo2/20160708/1467997342