真极小的代价换来极高的压缩比，因为人类听觉系统是依据频率来分辨声音能量的，任何频率细小声音都会因掩蔽效应而被临界频带内音量较高声音所覆盖，mp3对这种覆盖不作量化处理，从而去掉那些人类听觉系统所无法察觉声音，达到压缩目的。
而且根据采样频率不同，mp3文件的保真度也不一样，如果以标准cd格式44.1khz的采样频率进行录制，一般人耳是很难听出mp3与cd音源之间区别的，当然如果采用48khz进行录制，音质与cd就更难以区分了。不过有些百里挑一的金耳朵还是能够分辨得出二者之间区别的，但即便这些听众也承认这些差异太过细微，不影响音乐体验。
真正影响mp3音质关键一方面在于音源，同一首歌是从磁带上扒下来的，还是从cd上扒下来的，或者是从录音棚几百兆一个的原始音源文件扒下来的，这里音质区别就会更明显一些。
另一方面和编码率也有关系，因为mp3的编码方式是开放的，128kbps和380kbps下，录得文件大小区别很大，世界上很多开发者也有自己的独特算法，比如可变编码率的算法，可以将一首歌的复杂部分用高比特率编码，简单部分用低比特率编码，从而实现更高的音质