音風景ブログ RSSフィード

2017-03-23

LAME、Helix、iTunes MP3エンコーダの音質比較

概要

MP3エンコーダの音質比較。定評のあるオープンソースMP3エンコーダであるLAMEの、現行版・α版に加え、爆速エンコードで知られるHelix MP3エンコーダApple製のiTunesMP3エンコードを選択したときに使われるエンコーダを、192kbpsで比較した。

結果

Helix MP3 エンコーダが最高得点となった。

iTunesMP3エンコーダの品質は、2016年現在もなお、LAME等のオープンソースエンコーダに追い付いていない。

LAMEのα版(3.100α2)は、音質面で現行版に比べて明らかに優位ではない。

全てのエンコーダで、4.0(気にならない)以上の評点が過半数を占めた。


評価

f:id:kamedo2:20170323224509p:image

形式MP3MP3MP3MP3
エンコーダLAMELAMEHelixiTunes
バージョン3.100α23.99.5v5.112.4.2.4
リリース年2013201120052016
レート制御VBRVBRVBRVBR
指定レート-V2.75-V2.3-V111192k
オプションなしなし-HF2高品質
10 41_30secPerc.4.44.44.43.9
11 finalfantasyStrings4.34.24.54.2
12 ATrainJazz4.44.15.04.4
13 BigYellowPops4.54.34.84.4
14 FloorEssenceTechno4.44.34.13.8
15 macabreClassic4.44.24.33.9
16 mybloodrustsGuitar4.34.34.64.2
17 QuizasLatin4.54.44.74.2
18 VelvetRealmTechno4.24.13.93.7
19 雨降花Pops4.34.54.84.0
20 TrustGospel4.34.34.24.2
21 WaitingRock3.83.94.24.0
22 ExperienciaLatin4.14.44.54.2
23 Heart To HeartPops4.04.34.43.8
24 Tom's DinerVocal4.44.44.74.0
01.castanetsinst.4.14.24.43.8
02.fatboy_30secTechno4.44.44.83.8
03.eigTechno4.14.34.43.7
04.Bachpsichordinst.4.44.44.44.3
05.EnolaTechno4.34.34.44.3
06.trumpetinst.4.44.64.54.1
07.applaudLive4.14.24.34.1
08.velvetPerc.4.85.04.94.3
09.LinchpinRock4.64.64.14.3
10.spill_the_bloodGuitar4.14.44.54.6
11.female_speechSpeech5.04.94.84.6
12.French_AdSpeech4.44.64.44.2
平均スコア4.324.354.464.09
テスト音源平均201k201k197k194k
アルバム平均184k185k188k192k
指定レート-V2.75-V2.3-V111192k
バージョン3.100α23.99.5v5.112.4.2.4
エンコーダLAMELAMEHelixiTunes

テストに利用した音源を試聴したい方、ダウンロードしたい方、ログを見たい方はこちらへ。

http://zak.s206.xrea.com/bitratetest/main.htm

https://drive.google.com/file/d/0ByvUr-pp6BuUSnlwUG1WNkZzeDA/view?usp=sharing

方法

銘柄に対する先入観が影響しないように、PSP ABC/HR v2.4とRP-HT560(1回目)、RP-HJE150(2回目)を利用して、4個のエンコードされた圧縮音源をランダムに並び替えて、銘柄を伏せて採点した。採点基準は、「音質劣化が非常に気になる」が1点 「気になる」が2点 「わずかに気になる」が3点 「原音からの音質変化が分かるが、気にならない」が4点 「音質変化がわからない、区別できない」が5点。4.9点以下の評点をつける場合は、ABXYテストを15回行い、12回以上(これ以上の成績をまぐれで出す確率は約2%)正解して、違いを聞き取れることを確認してからそうした。27種の多様なジャンルを含むテスト用の非圧縮音源が使われた。このテストでの採点は、27(音源)×4(エンコーダ)×2(回)=216(回)。

使用したオプション

Helix mp3 encoder v5.1 -V111 -HF2

LAME 3.99.5 -V2.3

LAME 3.100.alpha2 -V2.75

iTunes 12.4.2.4 high quality default, vbr enabled

詳細な優劣の分析

FRIEDMAN version 1.24 (Jan 17, 2002) http://ff123.net/
Blocked ANOVA analysis

Number of listeners: 27
Critical significance:  0.05
Significance of data: 1.42E-009 (highly significant)
---------------------------------------------------------------
ANOVA Table for Randomized Block Designs Using Ratings

Source of         Degrees     Sum of    Mean
variation         of Freedom  squares   Square    F      p

Total              107           8.62
Testers (blocks)    26           4.02
Codecs eval'd        3           1.98    0.66   19.62  1.42E-009
Error               78           2.62    0.03
---------------------------------------------------------------
Fisher's protected LSD for ANOVA:   0.099

Means:

helixv   l3995v   l100a2   itunes   
  4.46     4.35     4.32     4.09   

---------------------------- p-value Matrix ---------------------------

         l3995v   l100a2   itunes   
helixv   0.029*   0.005*   0.000*   
l3995v            0.530    0.000*   
l100a2                     0.000*   
-----------------------------------------------------------------------

helixv is better than l3995v, l100a2, itunes
l3995v is better than itunes
l100a2 is better than itunes

整形済みデータ

l100a2	l3995v	helixv	itunes
4.400	4.450	4.350	3.900
4.300	4.200	4.500	4.150
4.400	4.100	5.000	4.400
4.450	4.250	4.800	4.400
4.350	4.250	4.050	3.850
4.400	4.150	4.300	3.900
4.250	4.300	4.550	4.200
4.500	4.350	4.700	4.200
4.200	4.050	3.950	3.700
4.250	4.500	4.750	3.950
4.250	4.250	4.150	4.200
3.800	3.850	4.200	3.950
4.100	4.400	4.500	4.150
4.000	4.300	4.400	3.750
4.400	4.400	4.700	3.950
4.100	4.150	4.350	3.750
4.350	4.450	4.750	3.750
4.100	4.250	4.350	3.650
4.350	4.450	4.450	4.300
4.300	4.250	4.400	4.300
4.350	4.600	4.450	4.050
4.100	4.150	4.250	4.100
4.800	5.000	4.850	4.300
4.600	4.600	4.050	4.300
4.100	4.350	4.500	4.550
5.000	4.900	4.750	4.600
4.450	4.550	4.450	4.150

注:公開試聴試験での多人数の平均評点と管理人の評点が似たような傾向になることは確認しているので言えるが、ある個人がある再生環境で、ある価値観のもとに聞いたときの評価が、ここに書いた管理人の評価に似るかどうかまでは何とも言えない。また、今回利用した音源とは傾向の異なる音を多くエンコードした場合、結果や順位が異なる可能性があります。

2016-07-08

Opusエンコーダの音質比較

概要

Opusエンコーダの音質比較。2013年からある安定版の Opus 1.1 と、Opus 1.1.1の音質向上を狙ったテスト版「exp_lbr_tune」(2016年2月時点)を比較。

テスト版「exp_lbr_tune」は、2016年7月現在も活発に改良が続けられており、さらに改良を重ねた上で将来 Opus 1.2 としてリリースされる予定である。

結果

テスト版の方が低レートで高い評価となった。64kbps以上では、有意差が無かった。


評価

f:id:kamedo2:20160712224043p:image

形式OpusOpusOpusOpusOpusOpusOpusOpus
エンコーダ1.11.11.11.11.1.11.1.11.1.11.1.1
バージョンmainmainmainmainlbr_tunelbr_tunelbr_tunelbr_tune
リリース年20132013201320132016201620162016
レート制御VBRVBRVBRVBRVBRVBRVBRVBR
指定レート32k48k64k80k32k48k64k80k
10 41_30secPerc.1.73.13.54.01.82.83.74.0
11 finalfantasyStrings2.63.74.14.42.03.24.24.4
12 ATrainJazz2.33.44.04.31.63.13.94.2
13 BigYellowPops1.72.93.84.11.72.83.94.0
14 FloorEssenceTechno3.13.74.24.32.03.44.14.3
15 macabreClassic1.82.33.53.71.52.43.63.6
16 mybloodrustsGuitar2.73.34.24.32.03.24.24.3
17 QuizasLatin2.13.53.94.21.83.24.04.2
18 VelvetRealmTechno2.43.13.53.71.92.83.53.7
19 雨降花Pops1.72.53.84.31.72.33.84.3
20 TrustGospel2.23.23.84.31.83.14.04.3
21 WaitingRock2.23.34.14.11.73.14.04.2
22 ExperienciaLatin2.73.54.14.41.93.64.04.4
23 Heart To HeartPops2.03.54.04.21.73.24.04.2
24 Tom's DinerVocal2.83.63.94.22.53.63.84.2
平均スコア2.243.233.874.141.823.053.904.13
実レート34k50k66k83k32k49k66k83k
エンコーダ1.11.11.11.11.1.11.1.11.1.11.1.1
形式OpusOpusOpusOpusOpusOpusOpusOpus

テストに利用した音源を試聴したい方、ダウンロードしたい方、ログを見たい方はこちらへ。

http://zak.s206.xrea.com/bitratetest/main.htm

方法

銘柄に対する先入観が影響しないように、PSP ABC/HR v2.4とRP-HT560(1回目)、RP-HJE150(2回目)を利用して、8個のエンコードされた圧縮音源をランダムに並び替えて、銘柄を伏せて採点した。採点基準は、「音質劣化が非常に気になる」が1点 「気になる」が2点 「わずかに気になる」が3点 「原音からの音質変化が分かるが、気にならない」が4点 「音質変化がわからない、区別できない」が5点。4.9点以下の評点をつける場合は、ABXYテストを15回行い、12回以上(これ以上の成績をまぐれで出す確率は約2%)正解して、違いを聞き取れることを確認してからそうした。このテストでの採点は、15(音源)×2(エンコーダ)×4(ビットレート種類)×2(回)=240(回)。

使用したオプション

安定版 Opus 1.1 with opus-tools-0.1.9

opusenc --bitrate 32 in.wav out.opus

opusenc --bitrate 48 in.wav out.opus

opusenc --bitrate 64 in.wav out.opus

opusenc --bitrate 80 in.wav out.opus

テスト版 Opus 1.1.1-rc-49-g5db9e14 branch exp_lbr_tune, with opus-tools 0.1.9.

opusenc --bitrate 32 in.wav out.opus

opusenc --bitrate 48 in.wav out.opus

opusenc --bitrate 64 in.wav out.opus

opusenc --bitrate 80 in.wav out.opus

詳細な優劣の分析

FRIEDMAN version 1.24 (Jan 17, 2002) http://ff123.net/
Blocked ANOVA analysis

Number of listeners: 15
Critical significance:  0.05
Significance of data: 1.11E-016 (highly significant)
---------------------------------------------------------------
ANOVA Table for Randomized Block Designs Using Ratings

Source of         Degrees     Sum of    Mean
variation         of Freedom  squares   Square    F      p

Total              119          92.40
Testers (blocks)    14           6.66
Codecs eval'd        7          81.87   11.70   296.65  1.11E-016
Error               98           3.86    0.04
---------------------------------------------------------------
Fisher's protected LSD for ANOVA:   0.144

Means:

exp80k   org80k   org64k   exp64k   exp48k   org48k   exp32k   org32k   
  4.14     4.13     3.90     3.87     3.23     3.05     2.24     1.82   

---------------------------- p-value Matrix ---------------------------

         org80k   org64k   exp64k   exp48k   org48k   exp32k   org32k   
exp80k   0.854    0.001*   0.000*   0.000*   0.000*   0.000*   0.000*   
org80k            0.002*   0.001*   0.000*   0.000*   0.000*   0.000*   
org64k                     0.714    0.000*   0.000*   0.000*   0.000*   
exp64k                              0.000*   0.000*   0.000*   0.000*   
exp48k                                       0.015*   0.000*   0.000*   
org48k                                                0.000*   0.000*   
exp32k                                                         0.000*   
-----------------------------------------------------------------------

exp80k is better than org64k, exp64k, exp48k, org48k, exp32k, org32k
org80k is better than org64k, exp64k, exp48k, org48k, exp32k, org32k
org64k is better than exp48k, org48k, exp32k, org32k
exp64k is better than exp48k, org48k, exp32k, org32k
exp48k is better than org48k, exp32k, org32k
org48k is better than exp32k, org32k
exp32k is better than org32k

整形済みデータ

org32k	org48k	org64k	org80k	exp32k	exp48k	exp64k	exp80k
%feature	10	オリジナル版 Opus1.1	オリジナル版 Opus1.1	オリジナル版 Opus1.1	オリジナル版 Opus1.1	テスト版exp_lbr_tune	テスト版exp_lbr_tune	テスト版exp_lbr_tune	テスト版exp_lbr_tune
%feature	11	--bitrate 32	--bitrate 48	--bitrate 64	--bitrate 80	--bitrate 32	--bitrate 48	--bitrate 64	--bitrate 80
%feature	12	32 kbps	49 kbps	66 kbps	83 kbps	34 kbps	50 kbps	66 kbps	83 kbps
1.650	3.100	3.500	3.950	1.800	2.800	3.650	4.000	
2.600	3.650	4.100	4.350	1.950	3.200	4.150	4.350	
2.350	3.400	4.000	4.250	1.550	3.100	3.900	4.200	
1.700	2.900	3.750	4.050	1.700	2.850	3.950	4.000	
3.050	3.700	4.200	4.300	2.000	3.400	4.100	4.250	
1.750	2.350	3.450	3.700	1.500	2.400	3.550	3.550	
2.650	3.250	4.150	4.250	2.000	3.200	4.150	4.250	
2.100	3.450	3.900	4.200	1.750	3.150	3.950	4.200	
2.350	3.100	3.450	3.700	1.900	2.850	3.500	3.700	
1.650	2.450	3.800	4.250	1.700	2.300	3.750	4.250	
2.200	3.200	3.850	4.300	1.800	3.050	3.950	4.300	
2.150	3.350	4.050	4.100	1.650	3.050	4.000	4.150	
2.650	3.500	4.050	4.400	1.900	3.600	4.000	4.400	
1.950	3.450	3.950	4.150	1.650	3.200	4.000	4.150	
2.750	3.600	3.850	4.150	2.450	3.600	3.850	4.150	
%samples	41_30sec	Perc.
%samples	finalfantasy	Strings
%samples	ATrain	Jazz
%samples	BigYellow	Pops
%samples	FloorEssence	Techno
%samples	macabre	Classic
%samples	mybloodrusts	Guitar
%samples	Quizas	Latin
%samples	VelvetRealm	Techno
%samples	Amefuribana	Pops
%samples	Trust	Gospel
%samples	Waiting	Rock
%samples	Experiencia	Latin
%samples	HearttoHeart	Pops
%samples	Tom'sDiner	Acappella

注:公開試聴試験での多人数の平均評点と管理人の評点が似たような傾向になることは確認しているので言えるが、ある個人がある再生環境で、ある価値観のもとに聞いたときの評価が、ここに書いた管理人の評価に似るかどうかまでは何とも言えない。また、今回利用した音源とは傾向の異なる音を多くエンコードした場合、結果や順位が異なる可能性があります。

注:2016/07/12 画像中のビットレートが誤っていたため訂正しました。

2016-02-15

FFmpegから使えるAACエンコーダ の音質比較

概要

FFmpegから使えるAACエンコーダの音質比較。比較対象は、FFmpeg公式推奨の Fraunhofer FDK AAC 外部ライブラリ(-c:a libfdk_aac)と、FFmpeg内蔵AACエンコーダ(-c:a aac)。

結果

Fraunhofer FDK-AAC ライブラリFFmpeg内蔵AACエンコーダよりも音質が良かった。FFmpeg内蔵AACエンコーダとの比較で、FDK-AAC は32kbps少ないビットレートで同等の音質を実現した。

評価

f:id:kamedo2:20160216010821p:image

形式AACAACAACAACAACAAC
エンコーダFFmpegFFmpegFFmpegFDKFDKFDK
バージョンr.77891r.77891r.778910.1.40.1.40.1.4
リリース年201620162016201520152015
レート制御ABRABRABRABRABRABR
指定レート64k96k128k64k96k128k
10 41_30secPerc.1.82.63.32.63.64.2
11 finalfantasyStrings2.02.83.52.73.24.4
12 ATrainJazz2.02.93.32.73.94.1
13 BigYellowPops2.13.33.92.63.84.2
14 FloorEssenceTechno2.22.73.53.23.84.0
15 macabreClassic1.82.73.32.53.33.9
16 mybloodrustsGuitar2.22.83.42.93.75.0
17 QuizasLatin2.03.13.62.73.84.3
18 VelvetRealmTechno1.92.53.53.43.84.0
19 雨降花Pops2.12.93.52.42.83.9
20 TrustGospel1.82.82.92.33.23.9
21 WaitingRock2.22.43.42.93.54.1
22 ExperienciaLatin2.22.83.52.63.35.0
23 Heart To HeartPops2.13.03.72.52.75.0
24 Tom's DinerVocal1.93.13.82.33.05.0
平均スコア2.022.833.472.693.434.33
実レート66k99k134k66k98k130k
エンコーダFFmpegFFmpegFFmpegFDKFDKFDK
バージョンr.77891r.77891r.778910.1.40.1.40.1.4
形式AAC-LCAAC-LCAAC-LCAAC-LCAAC-LCAAC-LC

テストに利用した音源を試聴したい方、ダウンロードしたい方、ログを見たい方はこちらへ。

http://zak.s206.xrea.com/bitratetest/main.htm

方法

銘柄に対する先入観が影響しないように、PSP ABC/HR v2.4とRP-HJE150を利用して、5個のエンコードされた圧縮音源をランダムに並び替えて、銘柄を伏せて採点した。採点基準は、「音質劣化が非常に気になる」が1点 「気になる」が2点 「わずかに気になる」が3点 「原音からの音質変化が分かるが、気にならない」が4点 「音質変化がわからない、区別できない」が5点。4.9点以下の評点をつける場合は、ABXYテストを15回行い、12回以上(これ以上の成績をまぐれで出す確率は約2%)正解して、違いを聞き取れることを確認してからそうした。このテストでの採点は、15(音源)×6(エンコーダ)×1(回)=90(回)。

使用したオプション

FFmpeg 内蔵AACエンコーダ

ffmpeg77891 -i in.wav -c:a aac -b:a 64k out.mp4

ffmpeg77891 -i in.wav -c:a aac -b:a 96k out.mp4

ffmpeg77891 -i in.wav -c:a aac -b:a 128k out.mp4

FDK-AAC

ffmpeg77891 -i in.wav -c:a libfdk_aac -b:a 64k out.mp4

ffmpeg77891 -i in.wav -c:a libfdk_aac -b:a 96k out.mp4

ffmpeg77891 -i in.wav -c:a libfdk_aac -b:a 128k out.mp4

詳細な優劣の分析

FRIEDMAN version 1.24 (Jan 17, 2002) http://ff123.net/
Blocked ANOVA analysis

Number of listeners: 15
Critical significance:  0.05
Significance of data: 0.00E+000 (highly significant)
---------------------------------------------------------------
ANOVA Table for Randomized Block Designs Using Ratings

Source of         Degrees     Sum of    Mean
variation         of Freedom  squares   Square    F      p

Total               89          55.70
Testers (blocks)    14           1.91
Codecs eval'd        5          47.62    9.52   107.92  0.00E+000
Error               70           6.18    0.09
---------------------------------------------------------------
Fisher's protected LSD for ANOVA:   0.216

Means:

fdk128   ffa128   fdk96k   ffa96k   fdk64k   ffa64k   
  4.33     3.47     3.43     2.83     2.69     2.02   

---------------------------- p-value Matrix ---------------------------

         ffa128   fdk96k   ffa96k   fdk64k   ffa64k   
fdk128   0.000*   0.000*   0.000*   0.000*   0.000*   
ffa128            0.668    0.000*   0.000*   0.000*   
fdk96k                     0.000*   0.000*   0.000*   
ffa96k                              0.201    0.000*   
fdk64k                                       0.000*   
-----------------------------------------------------------------------

fdk128 is better than ffa128, fdk96k, ffa96k, fdk64k, ffa64k
ffa128 is better than ffa96k, fdk64k, ffa64k
fdk96k is better than ffa96k, fdk64k, ffa64k
ffa96k is better than ffa64k
fdk64k is better than ffa64k

整形済みデータ

ffa64k	ffa96k	ffa128	fdk64k	fdk96k	fdk128	
1.800	2.600	3.300	2.600	3.600	4.200	
2.000	2.800	3.500	2.700	3.200	4.400	
2.000	2.900	3.300	2.700	3.900	4.100	
2.100	3.300	3.900	2.600	3.800	4.200	
2.200	2.700	3.500	3.200	3.800	4.000	
1.800	2.700	3.300	2.500	3.300	3.900	
2.200	2.800	3.400	2.900	3.700	5.000	
2.000	3.100	3.600	2.700	3.800	4.300	
1.900	2.500	3.500	3.400	3.800	4.000	
2.100	2.900	3.500	2.400	2.800	3.900	
1.800	2.800	2.900	2.300	3.200	3.900	
2.200	2.400	3.400	2.900	3.500	4.100	
2.200	2.800	3.500	2.600	3.300	5.000	
2.100	3.000	3.700	2.500	2.700	5.000	
1.900	3.100	3.800	2.300	3.000	5.000	
%samples	41_30sec	Perc.
%samples	finalfantasy	Strings
%samples	ATrain	Jazz
%samples	BigYellow	Pops
%samples	FloorEssence	Techno
%samples	macabre	Classic
%samples	mybloodrusts	Guitar
%samples	Quizas	Latin
%samples	VelvetRealm	Techno
%samples	Amefuribana	Pops
%samples	Trust	Gospel
%samples	Waiting	Rock
%samples	Experiencia	Latin
%samples	HearttoHeart	Pops
%samples	Tom'sDiner	Acappella

注:公開試聴試験での多人数の平均評点と管理人の評点が似たような傾向になることは確認しているので言えるが、ある個人がある再生環境で、ある価値観のもとに聞いたときの評価が、ここに書いた管理人の評価に似るかどうかまでは何とも言えない。また、今回利用した音源とは傾向の異なる音を多くエンコードした場合、結果や順位が異なる可能性があります。

2015-07-21

MP3, Opus, AAC 96kbps の音質比較

概要

音声コーデック3種類の音質比較。ビットレートは 96kbps にて比較。使用したエンコーダは、人気 MP3 エンコーダLAME, 低遅延と高音質を両立する Opus コーデックOpus 1.1, AACエンコーダ 3種類。その中でも AAC は、エンコーダによって圧縮性能が大きく異なるが、今回は Appleエンコーダよりは悪いが、フリーなエンコーダよりは良いとされる、NeroAACEncと、実験段階のフリーなエンコーダである FFmpeg内蔵AACエンコーダ中間 v7 パッチ中間 v9b パッチ適用したもの(一般配布はされていない)の3種類をテストした。

(2016/02/16追記:2016年現在、FFmpeg内蔵AACエンコーダはv9b相当の音質となっています。)

結果

Opus > NeroAACEnc > LAME > FFmpeg内蔵AACエンコーダ+中間v9bパッチ > FFmpeg内蔵AACエンコーダ+中間v7パッチ

Opus が最も原音に忠実という結果になった。Nero が2位、LAME が3位、FFmpeg内蔵AACエンコーダが最下位となった。FFmpeg内蔵AACエンコーダの中では、M/Sエンコードに対応した新しい v9bパッチの方が原音に近い音質となった。

評価

f:id:kamedo2:20150722011514p:image

形式MP3OpusAACAACAAC
エンコーダLAMEOpusNeroFFmpegFFmpeg
バージョン39950.1.91540v7v9b
リリース年20122014200920132014
レート制御ABRVBRVBRABRABR
指定レート98k91kq0.33396k96k
35_SQAM_glockenspiel_cutInst.4.34.54.43.93.4
Can't Wait Until Tonight (Dry Wurlitzer Mix)Pops3.23.73.53.12.7
girlTechno3.23.62.82.02.4
Robots_oldTechno3.24.34.13.43.5
SinceAlwaysGuitar3.65.03.83.42.8
trumpetWind3.65.03.92.42.5
velvetPerc.3.23.53.72.82.7
WaitingPops3.34.33.83.53.7
Asleep__4.11-4.31_Strings3.85.05.03.63.9
Greatest_Love_of_All_2min57Pops3.74.13.63.13.7
Hey TonightRock3.13.83.52.63.3
Severance__1.31-1.51_Pops3.84.23.93.43.7
Shinsho_pool_3min45_4min4Pops3.04.33.63.43.2
SlavesOfFearMetal4.45.05.04.64.0
The Chastising of RenegadeRock3.25.04.03.03.7
TrosYGaregPops3.74.44.03.44.1
4-Sound-English-male.441Voice4.35.04.42.93.9
9-Have-big-expensive-car.441Pops3.03.93.63.23.2
12-German-male-speech.441Voice3.74.03.22.43.0
15-Good-evening.441Voice3.94.03.83.03.5
21-classic.441Classic3.65.04.03.33.7
24-Greensleeves-Korean-male-speech.441Voice3.84.64.12.83.1
25-This-is-the-end.441Voice3.84.44.13.43.6
27-last-song-drums-and-trampets.441Perc.3.35.04.33.13.9
bonhemian_rhapsodyRock4.24.34.13.33.9
clapton_44kGuitar3.94.24.13.33.7
CoralPops4.05.04.03.33.7
ExitMusicVocal3.94.13.52.23.1
liberateMetal2.84.54.23.23.3
NewYorkCityPops3.64.34.23.23.5
sandmanRock3.33.73.62.73.0
take_your_finger_frin_my_headRock4.03.83.93.43.7
ChangesRock4.14.44.53.23.8
Girl_In_The_Fire__Sample_Rock4.14.44.03.63.7
Hotel CaliforniaRock3.54.23.83.13.6
Jupiter, the Bringer of JolityClassic3.84.14.44.54.3
Last_Of_The_Mohicanz__Sample_Techno4.04.44.03.12.9
Only TimeNewage3.24.23.93.63.8
Through The Fire And FlamesMetal4.75.05.03.63.5
With Love (Outro)Techno3.34.33.93.13.2
10 41_30secPerc.2.63.52.92.12.0
11 finalfantasyStrings4.24.54.33.23.8
12 ATrainJazz3.24.33.63.53.3
13 BigYellowPops3.04.23.92.53.2
14 FloorEssenceTechno3.64.43.92.73.1
15 macabreClassic2.93.23.52.93.3
16 mybloodrustsGuitar4.04.44.23.52.7
17 QuizasLatin3.54.23.63.03.6
18 VelvetRealmTechno3.63.94.03.03.2
19 雨降花Pops3.64.34.22.63.8
20 TrustGospel2.74.03.32.52.9
21 WaitingRock3.24.23.63.03.4
22 ExperienciaLatin4.04.13.83.33.5
23 Heart To HeartPops3.74.64.32.93.3
24 Tom's DinerVocal3.54.03.22.62.9
25 ReunionBluesJazz3.13.93.82.93.3
26 FrenchVoice4.04.43.72.83.5
27 undeletePops3.84.14.22.73.3
28 Dimmu BorgirMetal4.25.04.53.63.4
29 Run upPops4.14.53.33.03.5
30 GermanVoice3.44.23.62.73.3
31 It could be sweetPops3.94.14.12.83.5
32 on the roof with QuasimodoPops4.14.53.82.83.4
33 easy gamePops4.14.34.03.63.9
34 Tears InfectionPops4.04.53.73.43.8
J.S.Bach, "Easter-Oratorio"Classic3.85.04.43.63.9
BassVocal3.84.03.83.43.5
CastanetsInst.2.94.23.72.52.4
French Male SpeechVoice4.44.74.52.83.6
GlockenspielInst.4.34.54.63.74.1
HarpsichordInst.3.83.74.03.33.6
Postscriptum, "You were here"Pops3.84.54.03.43.7
Mike Oldfield, "Music From The Balcony"Rock3.75.04.54.04.1
QuartetVocal3.73.93.23.33.6
平均スコア3.654.313.933.133.42
実レート99k101k96k98k98k
エンコーダLAMEOpusNeroFFmpegFFmpeg
バージョン39950.1.91540v7v9b
形式MP3OpusAACAACAAC

テストに利用した音源を試聴したい方、ダウンロードしたい方、ログを見たい方はこちらへ。

http://listening-test.coresv.net/results.htm

http://zak.s206.xrea.com/bitratetest/main.htm

bitratetest_wav30-34.zip 直

http://soundexpert.org/sound-samples

方法

銘柄に対する先入観が影響しないように、PSP ABC/HR v2.4とRP-HJE150を利用して、5個のエンコードされた圧縮音源をランダムに並び替えて、銘柄を伏せて採点した。採点基準は、「音質劣化が非常に気になる」が1点 「気になる」が2点 「わずかに気になる」が3点 「原音からの音質変化が分かるが、気にならない」が4点 「音質変化がわからない、区別できない」が5点。4.9点以下の評点をつける場合は、ABXYテストを15回行い、12回以上(これ以上の成績をまぐれで出す確率は約2%)正解して、違いを聞き取れることを確認してからそうした。このテストでの採点は、74(音源)×5(エンコーダ)×1(回)=370(回)。

使用したオプション

LAME 3.99.5

lame --abr 98 -S in.wav out.mp3

Opus 1.1、opus-tools-0.1.9 経由

opusenc --bitrate 91 in.wav out.opus

NeroAACEnc 1.5.4.0

NeroAacEnc -q 0.333 -if in.wav -of out.mp4

FFmpeg内蔵AACエンコーダ、r.70351+中間パッチv7適用済みビルド(一般配布なし)

ffmpeg70351_v7 -y -i in.wav -c:a aac -strict experimental -b:a 96k out.mp4

FFmpeg内蔵AACエンコーダ、r.70351+中間パッチv9b適用済みビルド(一般配布なし)

ffmpeg70351_v9b -y -i in.wav -c:a aac -strict experimental -b:a 96k out.mp4

詳細な優劣の分析

FRIEDMAN version 1.24 (Jan 17, 2002) http://ff123.net/
Blocked ANOVA analysis

Number of listeners: 74
Critical significance:  0.05
Significance of data: 1.11E-016 (highly significant)
---------------------------------------------------------------
ANOVA Table for Randomized Block Designs Using Ratings

Source of         Degrees     Sum of    Mean
variation         of Freedom  squares   Square    F      p

Total              369         134.26
Testers (blocks)    73          45.11
Codecs eval'd        4          61.69   15.42   164.04  1.11E-016
Error              292          27.45    0.09
---------------------------------------------------------------
Fisher's protected LSD for ANOVA:   0.099

Means:

opus     nero     lame     ffv9b    ffv7
  4.31     3.93     3.65     3.42     3.13

---------------------------- p-value Matrix ---------------------------

         nero     lame     ffv9b    ffv7
opus     0.000*   0.000*   0.000*   0.000*
nero              0.000*   0.000*   0.000*
lame                       0.000*   0.000*
ffv9b                               0.000*
-----------------------------------------------------------------------

opus is better than nero, lame, ffv9b, ffv7
nero is better than lame, ffv9b, ffv7
lame is better than ffv9b, ffv7
ffv9b is better than ffv7

整形済みデータ

% 96kbps ABC/HR Score
% This format is compatible with my graphmaker, as well as ff123's FRIEDMAN.
lame	opus	nero	ffv7	ffv9b
4.300	4.500	4.400	3.900	3.400	
3.200	3.700	3.500	3.100	2.700	
3.200	3.600	2.800	2.000	2.400	
3.200	4.300	4.100	3.400	3.500	
3.600	5.000	3.800	3.400	2.800	
3.600	5.000	3.900	2.400	2.500	
3.200	3.500	3.700	2.800	2.700	
3.300	4.300	3.800	3.500	3.700	
3.800	5.000	5.000	3.600	3.900	
3.700	4.100	3.600	3.100	3.700	
3.100	3.800	3.500	2.600	3.300	
3.800	4.200	3.900	3.400	3.700	
3.000	4.300	3.600	3.400	3.200	
4.400	5.000	5.000	4.600	4.000	
3.200	5.000	4.000	3.000	3.700	
3.700	4.400	4.000	3.400	4.100	
4.300	5.000	4.400	2.900	3.900	
3.000	3.900	3.600	3.200	3.200	
3.700	4.000	3.200	2.400	3.000	
3.900	4.000	3.800	3.000	3.500	
3.600	5.000	4.000	3.300	3.700	
3.800	4.600	4.100	2.800	3.100	
3.800	4.400	4.100	3.400	3.600	
3.300	5.000	4.300	3.100	3.900	
4.200	4.300	4.100	3.300	3.900	
3.900	4.200	4.100	3.300	3.700	
4.000	5.000	4.000	3.300	3.700	
3.900	4.100	3.500	2.200	3.100	
2.800	4.500	4.200	3.200	3.300	
3.600	4.300	4.200	3.200	3.500	
3.300	3.700	3.600	2.700	3.000	
4.000	3.800	3.900	3.400	3.700	
4.100	4.400	4.500	3.200	3.800	
4.100	4.400	4.000	3.600	3.700	
3.500	4.200	3.800	3.100	3.600	
3.800	4.100	4.400	4.500	4.300	
4.000	4.400	4.000	3.100	2.900	
3.200	4.200	3.900	3.600	3.800	
4.700	5.000	5.000	3.600	3.500	
3.300	4.300	3.900	3.100	3.200	
2.600	3.500	2.900	2.100	2.000	
4.200	4.500	4.300	3.200	3.800	
3.200	4.300	3.600	3.500	3.300	
3.000	4.200	3.900	2.500	3.200	
3.600	4.400	3.900	2.700	3.100	
2.900	3.200	3.500	2.900	3.300	
4.000	4.400	4.200	3.500	2.700	
3.500	4.200	3.600	3.000	3.600	
3.600	3.900	4.000	3.000	3.200	
3.600	4.300	4.200	2.600	3.800	
2.700	4.000	3.300	2.500	2.900	
3.200	4.200	3.600	3.000	3.400	
4.000	4.100	3.800	3.300	3.500	
3.700	4.600	4.300	2.900	3.300	
3.500	4.000	3.200	2.600	2.900	
3.100	3.900	3.800	2.900	3.300	
4.000	4.400	3.700	2.800	3.500	
3.800	4.100	4.200	2.700	3.300	
4.200	5.000	4.500	3.600	3.400	
4.100	4.500	3.300	3.000	3.500	
3.400	4.200	3.600	2.700	3.300	
3.900	4.100	4.100	2.800	3.500	
4.100	4.500	3.800	2.800	3.400	
4.100	4.300	4.000	3.600	3.900	
4.000	4.500	3.700	3.400	3.800	
3.800	5.000	4.400	3.600	3.900	
3.800	4.000	3.800	3.400	3.500	
2.900	4.200	3.700	2.500	2.400	
4.400	4.700	4.500	2.800	3.600	
4.300	4.500	4.600	3.700	4.100	
3.800	3.700	4.000	3.300	3.600	
3.800	4.500	4.000	3.400	3.700	
3.700	5.000	4.500	4.000	4.100	
3.700	3.900	3.200	3.300	3.600	

%samples	35_SQAM_glockenspiel_cut	Inst.
%samples	Can't Wait Until Tonight (Dry Wurlitzer Mix)	Pops
%samples	girl	Techno
%samples	Robots_old	Techno
%samples	SinceAlways	Guitar
%samples	trumpet	Wind
%samples	velvet	Perc.
%samples	Waiting	Pops

%samples	Asleep__4.11-4.31_	Strings
%samples	Greatest_Love_of_All_2min57	Pops
%samples	Hey Tonight	Rock
%samples	Severance__1.31-1.51_	Pops
%samples	Shinsho_pool_3min45_4min4	Pops
%samples	SlavesOfFear	Metal
%samples	The Chastising of Renegade	Rock
%samples	TrosYGareg	Pops

%samples	4-Sound-English-male.441	Voice
%samples	9-Have-big-expensive-car.441	Pops
%samples	12-German-male-speech.441	Voice
%samples	15-Good-evening.441	Voice
%samples	21-classic.441	Classic
%samples	24-Greensleeves-Korean-male-speech.441	Voice
%samples	25-This-is-the-end.441	Voice
%samples	27-last-song-drums-and-trampets.441	Perc.

%samples	bonhemian_rhapsody	Rock
%samples	clapton_44k	Guitar
%samples	Coral	Pops
%samples	ExitMusic	Vocal
%samples	liberate	Metal
%samples	NewYorkCity	Pops
%samples	sandman	Rock
%samples	take_your_finger_from_my_hair	Rock

%samples	Changes	Rock
%samples	Girl_In_The_Fire__Sample_	Rock
%samples	Hotel California	Rock
%samples	Jupiter, the Bringer of Jolity	Classic
%samples	Last_Of_The_Mohicanz__Sample_	Electro
%samples	Only Time	Newage
%samples	Through The Fire And Flames	Metal
%samples	With Love (Outro)	Techno


%samples	41_30sec	Perc.
%samples	finalfantasy	Strings
%samples	ATrain	Jazz
%samples	BigYellow	Pops
%samples	FloorEssence	Techno
%samples	macabre	Classic
%samples	mybloodrusts	Guitar
%samples	Quizas	Latin
%samples	VelvetRealm	Techno
%samples	Amefuribana	Pops
%samples	Trust	Gospel
%samples	Waiting	Rock
%samples	Experiencia	Latin
%samples	HearttoHeart	Pops
%samples	Tom'sDiner	Acappella
%samples	ReunionBlues	Jazz
%samples	French	Voice
%samples	undelete	Pops
%samples	DimmuBorgir	Metal
%samples	Run_up	Pops
%samples	German	Speech
%samples	ItCouldBeSweet	Pops
%samples	OnTheRoofWith	Pops
%samples	easy_game	Pops
%samples	TearsInfection	Pops

%samples	J.S.Bach, "Easter-Oratorio"	Classic
%samples	Bass	Vocal
%samples	Castanets	Inst.
%samples	FrenchMaleSpeech	Voice
%samples	Glockenspiel	Inst.
%samples	Harpsichord	Inst.
%samples	You were here	Pops
%samples	Music From The Balcony	Rock
%samples	Quartet	Vocal

注:公開試聴試験での多人数の平均評点と管理人の評点が似たような傾向になることは確認しているので言えるが、ある個人がある再生環境で、ある価値観のもとに聞いたときの評価が、ここに書いた管理人の評価に似るかどうかまでは何とも言えない。また、今回利用した音源とは傾向の異なる音を多くエンコードした場合、結果や順位が異なる可能性があります。

2014-02-28

FFmpegから使えるエンコーダの音質比較

概要

FFmpegで使える音声エンコーダの音質比較。比較対象は、FFmpeg内蔵AACエンコーダ(v4パッチ ABR、v7パッチ ABR、v7パッチ VBR)、FAAC(libfaac)、FDK-AAC(libfdk_aac)、LAME(libmp3lame)、FFmpeg内蔵AC3の7種類。ビットレートは128kbps。

FFmpeg内蔵AACエンコーダの品質を改善するv4パッチ、v7パッチhttps://trac.ffmpeg.org/ticket/2686から入手できるが、自分で適用してビルドする必要がある。

(注:2015年10月より、パッチは新しいFFmpegに取り込まれた上、さらに細かい改善が行われています。そのため最新のFFmpegに内蔵されているAACエンコーダは図のv7よりも少し良い程度の音質となっています。2016年3月11日現在追記。)

結果

FDK-AAC > LAME ≒ FAAC > FFmpeg内蔵AACエンコーダ(v7パッチABR ≒ v4パッチABR ≒ v7パッチVBR) ≒ 内蔵AC3

FDK-AACが最も高い評価点となった。ただしFDK-AACとFAACはFFmpegバイナリプログラムが配布不可であり、FDK-AACとFAACを使うためには、自分でFFmpegをビルドする必要がある。パッチ適用済みのFFmpeg内蔵AACエンコーダ2014年3月現在まだ一般的には配布されていない。それらを除くと、LAMEが最も高い評価となった。

評価

f:id:kamedo2:20140301021630p:image

エンコーダAACAACAACFAACFDKLAME内AC3
バージョンv4v7v71.280.1.23.99.5r57288
リリース年2013201320132009201320122013
レート制御ABRABRVBRVBRABRVBRCBR
指定レート128k128k0.797128kV5128k
ファイル形式AACAACAACAACAACMP3AC3
41_30sec打楽器1.82.21.72.73.63.92.5
finalfantasy撥弦楽2.63.51.93.94.43.02.6
ATrainジャズ3.84.23.23.84.34.02.7
BigYellowPOPS3.43.32.53.43.83.52.2
FloorEssenceテクノ3.12.73.33.53.93.43.4
macabreオケ2.63.22.43.33.53.62.0
mybloodrusts弦楽器2.02.92.23.54.33.22.8
Quizasラテン3.43.22.83.54.23.82.9
VelvetRealmテクノ2.62.42.24.13.63.93.3
雨降花POPS3.32.92.83.44.03.72.4
TrustGosp3.43.13.44.34.03.82.3
Waitingロック2.73.12.93.43.83.53.0
Experienciaラテン3.33.12.43.45.03.62.3
HeartToHeartPOPS3.12.92.43.85.03.52.5
Tom's Diner女声3.33.02.73.64.13.53.0
ReunionBluesジャズ3.53.23.13.63.83.72.5
French男女声2.53.32.83.15.03.83.5
undeletePOPS2.92.83.33.54.13.73.1
Dimmu Borgirメタル2.23.32.93.74.03.82.7
Run upPOPS3.23.32.43.74.43.62.6
German男声2.82.63.23.05.03.63.4
ItCouldBeSweetPOPS2.72.92.93.24.03.92.6
ontheroofwithPOPS2.73.03.54.15.03.83.8
easy gamePOPS2.63.43.15.03.94.12.5
Tears InfectionPOPS3.93.62.44.04.33.12.5
↑音源平均点2.943.082.743.624.203.642.76
実レート129k129k138k132k130k135k128k
エンコーダAACAACAACFAACFDKLAME内AC3
バージョンv4v7v71.280.1.23.99.5r57288

テストに利用した音源を試聴したい方、ダウンロードしたい方、ログを見たい方はこちらへ。

http://zak.s206.xrea.com/bitratetest/main.htm

bitratetest_wav30-34.zip 直


方法

銘柄に対する先入観が影響しないように、PSP ABC/HR v2.4とRP-HT560を利用して、7個のエンコードされた圧縮音源をランダムに並び替えて、銘柄を伏せて採点した。1=音質劣化が非常に気になる 2=気になる 3=わずかに気になる 4=原音からの音質変化が分かるが、気にならない 5=音質変化がわからない、区別できない。4.9点以下の評点をつける場合は、ABXYテストを15回行い、12回以上(これ以上の成績をまぐれで出す確率は約2%)正解して、違いを聞き取れることを確認してからそうした。このテストでの採点は、25(音源)×7(エンコーダ)×1(回)=175(回)。

使用したオプション

FFmpeg内蔵AACエンコーダ r.55212、v4パッチ、ABR

ffmpeg -i input.wav -c:a aac -strict experimental -b:a 128k out.mp4

FFmpeg内蔵AACエンコーダ r.57288、v7パッチ、ABR

ffmpeg -i input.wav -c:a aac -strict experimental -b:a 128k out.mp4

FFmpeg内蔵AACエンコーダ r.57288、v7パッチVBR

ffmpeg -i input.wav -c:a aac -strict experimental -q:a 0.7 out.mp4

FDK-AAC エンコーダ 0.1.2 (これを含むFFmpegバイナリライセンスの問題から配布されていない、使うには自分でビルドする必要がある。)

ffmpeg -i input.wav -c:a libfdk_aac -b:a 128k -afterburner 1 out.mp4

FAAC 1.28 (これを含むFFmpegバイナリライセンスの問題から配布されていない)

ffmpeg -i input.wav -c:a libfaac -q:a 97 out.mp4

LAME 3.99.5 V5

ffmpeg -i input.wav -c:a libmp3lame -q:a 5 out.mp3

FFmpeg's AC3 encoder r.57288

ffmpeg -i input.wav -c:a ac3 -b:a 128k out.ac3

詳細な優劣の分析

FRIEDMAN version 1.24 (Jan 17, 2002) http://ff123.net/
Blocked ANOVA analysis

Number of listeners: 25
Critical significance:  0.05
Significance of data: 2.22E-016 (highly significant)
---------------------------------------------------------------
ANOVA Table for Randomized Block Designs Using Ratings

Source of         Degrees     Sum of    Mean
variation         of Freedom  squares   Square    F      p

Total              174          78.35
Testers (blocks)    24           8.63
Codecs eval'd        6          45.26    7.54   44.41  2.22E-016
Error              144          24.46    0.17
---------------------------------------------------------------
Fisher's protected LSD for ANOVA:   0.230

Means:

fdkabr   lameV5   faacQ97  v7abr    v4abr    ac3cbr   v7vbr
  4.20     3.64     3.62     3.08     2.94     2.76     2.74

---------------------------- p-value Matrix ---------------------------

         lameV5   faacQ97  v7abr    v4abr    ac3cbr   v7vbr
fdkabr   0.000*   0.000*   0.000*   0.000*   0.000*   0.000*
lameV5            0.864    0.000*   0.000*   0.000*   0.000*
faacQ97                    0.000*   0.000*   0.000*   0.000*
v7abr                               0.206    0.007*   0.003*
v4abr                                        0.142    0.088
ac3cbr                                                0.811
-----------------------------------------------------------------------

fdkabr is better than lameV5, faacQ97, v7abr, v4abr, ac3cbr, v7vbr
lameV5 is better than v7abr, v4abr, ac3cbr, v7vbr
faacQ97 is better than v7abr, v4abr, ac3cbr, v7vbr
v7abr is better than ac3cbr, v7vbr

整形済みデータ

v4abr v7abr v7vbr faacQ97 fdkabr lameV5 ac3cbr
%feature 7 FFmpeg's_native_AAC FFmpeg's_native_AAC FFmpeg's_native_AAC AAC AAC MP3 ATSC_A/52
1.800 2.200 1.700 2.700 3.600 3.900 2.500
2.600 3.500 1.900 3.900 4.400 3.000 2.600
3.800 4.200 3.200 3.800 4.300 4.000 2.700
3.400 3.300 2.500 3.400 3.800 3.500 2.200
3.100 2.700 3.300 3.500 3.900 3.400 3.400
2.600 3.200 2.400 3.300 3.500 3.600 2.000
2.000 2.900 2.200 3.500 4.300 3.200 2.800
3.400 3.200 2.800 3.500 4.200 3.800 2.900
2.600 2.400 2.200 4.100 3.600 3.900 3.300
3.300 2.900 2.800 3.400 4.000 3.700 2.400
3.400 3.100 3.400 4.300 4.000 3.800 2.300
2.700 3.100 2.900 3.400 3.800 3.500 3.000
3.300 3.100 2.400 3.400 5.000 3.600 2.300
3.100 2.900 2.400 3.800 5.000 3.500 2.500
3.300 3.000 2.700 3.600 4.100 3.500 3.000
3.500 3.200 3.100 3.600 3.800 3.700 2.500
2.500 3.300 2.800 3.100 5.000 3.800 3.500
2.900 2.800 3.300 3.500 4.100 3.700 3.100
2.200 3.300 2.900 3.700 4.000 3.800 2.700
3.200 3.300 2.400 3.700 4.400 3.600 2.600
2.800 2.600 3.200 3.000 5.000 3.600 3.400
2.700 2.900 2.900 3.200 4.000 3.900 2.600
2.700 3.000 3.500 4.100 5.000 3.800 3.800
2.600 3.400 3.100 5.000 3.900 4.100 2.500
3.900 3.600 2.400 4.000 4.300 3.100 2.500
%samples 41_30sec hihats
%samples finalfantasy cemb
%samples ATrain Jazz
%samples BigYellow Pops
%samples FloorEssence Techno
%samples macabre orch
%samples mybloodrusts guitar
%samples Quizas Latin
%samples VelvetRealm Techno
%samples Amefuribana Pops
%samples Trust Gospel
%samples Waiting Rock
%samples Experiencia Latin
%samples HearttoHeart Pops
%samples Tom'sDiner Vocal
%samples ReunionBlues Jazz
%samples French Speech
%samples undelete Pops
%samples DimmuBorgir Metal
%samples Run_up Pops
%samples German Speech
%samples ItCouldBeSweet Pops
%samples OnTheRoofWith Pops
%samples easy_game Pops
%samples TearsInfection Pops	

注:公開試聴試験での多人数の平均評点と管理人の評点が似たような傾向になることは確認しているので言えるが、ある個人がある再生環境で、ある価値観のもとに聞いたときの評価が、ここに書いた管理人の評価に似るかどうかまでは何とも言えない。また、今回利用した音源とは傾向の異なる音を多くエンコードした場合、結果や順位が異なる可能性があります。