[Qemu-devel] Arm benchmarks

[Paul Brook]

I've been doing some benchmarking of qemu-arm, and thought I'd share the 
results.  Tests were run on an Opteron 246(2Ghz) rinning in 32-bit mode, and 
on an armv6 cpu with vfp coprocessor. I'm not sure what speed teh arm cpu 
runs at, but suspect it's 100-200MHz.
Configurations tested were as follows:

* native-x86 - native x86
* qemu-arm (fpa) - hard-float for the FPA coprocessor.
* qemu-arm (soft+vfp) - hard-float for VFP coprocessor, but still using 
soft-float ABI+libraries.  This may explain the poor FOURIER scores (sin and 
cos are still soft-float)
* native-arm (soft+vfp) - The same binary run on arm hardware.
* qemu-arm (soft) - Full soft-float.
* native-arm (soft) - same binary run on arm hardware.

Paul

native-x86
**********

TEST                : Iterations/sec.  : Old Index   : New Index
                    :                  : Pentium 90* : AMD K6/233*
--------------------:------------------:-------------:------------
NUMERIC SORT        :          1093.6  :      28.05  :       9.21
STRING SORT         :           158.5  :      70.82  :      10.96
BITFIELD            :      2.9663e+08  :      50.88  :      10.63
FP EMULATION        :          93.323  :      44.78  :      10.33
FOURIER             :           19980  :      22.72  :      12.76
ASSIGNMENT          :          20.574  :      78.29  :      20.31
IDEA                :          3258.7  :      49.84  :      14.80
HUFFMAN             :          1067.2  :      29.59  :       9.45
NEURAL NET          :          29.119  :      46.78  :      19.68
LU DECOMPOSITION    :          995.84  :      51.59  :      37.25
==========================ORIGINAL BYTEMARK RESULTS==========================
INTEGER INDEX       : 47.209
FLOATING-POINT INDEX: 37.990
==============================LINUX DATA BELOW===============================
CPU                 : Dual AuthenticAMD AMD Opteron(tm) Processor 246 1992MHz
L2 Cache            : 1024 KB
OS                  : Linux 2.6.9-w
C compiler          : gcc version 3.3.5 (Debian 1:3.3.5-6)
libc                : ld-2.3.2.so
MEMORY INDEX        : 13.325
INTEGER INDEX       : 10.741
FLOATING-POINT INDEX: 21.071

qemu-arm (fpa)
**************

TEST                : Iterations/sec.  : Old Index   : New Index
                    :                  : Pentium 90* : AMD K6/233*
--------------------:------------------:-------------:------------
NUMERIC SORT        :          184.32  :       4.73  :       1.55
STRING SORT         :          16.435  :       7.34  :       1.14
BITFIELD            :      4.7157e+07  :       8.09  :       1.69
FP EMULATION        :          13.789  :       6.62  :       1.53
FOURIER             :          85.335  :       0.10  :       0.05
ASSIGNMENT          :          2.6677  :      10.15  :       2.63
IDEA                :          657.11  :      10.05  :       2.98
HUFFMAN             :          143.94  :       3.99  :       1.27
NEURAL NET          :         0.10757  :       0.17  :       0.07
LU DECOMPOSITION    :          4.0447  :       0.21  :       0.15
==========================ORIGINAL BYTEMARK RESULTS==========================
INTEGER INDEX       : 6.916
FLOATING-POINT INDEX: 0.152
==============================LINUX DATA BELOW===============================
CPU                 : Dual AuthenticAMD AMD Opteron(tm) Processor 246 1992MHz
L2 Cache            : 1024 KB
OS                  : Linux 2.6.9-w
C compiler          : gcc version 3.3.5 (Debian 1:3.3.5-6)
libc                : ld-2.3.2.so
MEMORY INDEX        : 1.716
INTEGER INDEX       : 1.733
FLOATING-POINT INDEX: 0.084

qemu-arm (soft)
***************
TEST                : Iterations/sec.  : Old Index   : New Index
                    :                  : Pentium 90* : AMD K6/233*
--------------------:------------------:-------------:------------
NUMERIC SORT        :          194.04  :       4.98  :       1.63
STRING SORT         :          31.963  :      14.28  :       2.21
BITFIELD            :      5.0867e+07  :       8.73  :       1.82
FP EMULATION        :          13.449  :       6.45  :       1.49
FOURIER             :          126.23  :       0.14  :       0.08
ASSIGNMENT          :          2.4528  :       9.33  :       2.42
IDEA                :          648.33  :       9.92  :       2.94
HUFFMAN             :          205.07  :       5.69  :       1.82
NEURAL NET          :         0.17253  :       0.28  :       0.12
LU DECOMPOSITION    :          6.0039  :       0.31  :       0.22
==========================ORIGINAL BYTEMARK RESULTS==========================
INTEGER INDEX       : 8.005
FLOATING-POINT INDEX: 0.231
==============================LINUX DATA BELOW===============================
CPU                 : Dual AuthenticAMD AMD Opteron(tm) Processor 246 1992MHz
L2 Cache            : 1024 KB
OS                  : Linux 2.6.10-w
C compiler          : /scratch/paul/eabi/install/bin/arm-hardhat-linuxeabi-gcc
libc                : static
MEMORY INDEX        : 2.137
INTEGER INDEX       : 1.899
FLOATING-POINT INDEX: 0.128

qemu-arm (soft+vfp)
*******************
TEST                : Iterations/sec.  : Old Index   : New Index
                    :                  : Pentium 90* : AMD K6/233*
--------------------:------------------:-------------:------------
NUMERIC SORT        :           194.6  :       4.99  :       1.64
STRING SORT         :          32.296  :      14.43  :       2.23
BITFIELD            :      5.0595e+07  :       8.68  :       1.81
FP EMULATION        :          13.267  :       6.37  :       1.47
FOURIER             :          152.26  :       0.17  :       0.10
ASSIGNMENT          :          2.4743  :       9.42  :       2.44
IDEA                :          658.68  :      10.07  :       2.99
HUFFMAN             :          127.55  :       3.54  :       1.13
NEURAL NET          :         0.72386  :       1.16  :       0.49
LU DECOMPOSITION    :          54.676  :       2.83  :       2.05
==========================ORIGINAL BYTEMARK RESULTS==========================
INTEGER INDEX       : 7.500
FLOATING-POINT INDEX: 0.829
Baseline (MSDOS*)   : Pentium* 90, 256 KB L2-cache, Watcom* compiler 10.0
==============================LINUX DATA BELOW===============================
CPU                 : Dual AuthenticAMD AMD Opteron(tm) Processor 246 1992MHz
L2 Cache            : 1024 KB
OS                  : Linux 2.6.10-w
C compiler          : /scratch/paul/eabi/install/bin/arm-hardhat-linuxeabi-gcc
libc                : static
MEMORY INDEX        : 2.146
INTEGER INDEX       : 1.689
FLOATING-POINT INDEX: 0.460

native-arm (soft)
*****************
TEST                : Iterations/sec.  : Old Index   : New Index
                    :                  : Pentium 90* : AMD K6/233*
--------------------:------------------:-------------:------------
NUMERIC SORT        :          35.423  :       0.91  :       0.30
STRING SORT         :          6.3367  :       2.83  :       0.44
BITFIELD            :      1.1395e+07  :       1.95  :       0.41
FP EMULATION        :          2.7227  :       1.31  :       0.30
FOURIER             :          30.493  :       0.03  :       0.02
ASSIGNMENT          :          0.2381  :       0.91  :       0.23
IDEA                :          114.42  :       1.75  :       0.52
HUFFMAN             :          48.294  :       1.34  :       0.43
NEURAL NET          :        0.046019  :       0.07  :       0.03
LU DECOMPOSITION    :          1.4129  :       0.07  :       0.05
==========================ORIGINAL BYTEMARK RESULTS==========================
INTEGER INDEX       : 1.457
FLOATING-POINT INDEX: 0.057
==============================LINUX DATA BELOW===============================
CPU                 :
L2 Cache            :
OS                  : Linux 2.6.9-arm1
C compiler          : /scratch/paul/eabi/install/bin/arm-hardhat-linuxeabi-gcc
libc                : static
MEMORY INDEX        : 0.348
INTEGER INDEX       : 0.376
FLOATING-POINT INDEX: 0.032

native-arm (soft+vfp)
*********************
TEST                : Iterations/sec.  : Old Index   : New Index
                    :                  : Pentium 90* : AMD K6/233*
--------------------:------------------:-------------:------------
NUMERIC SORT        :          35.196  :       0.90  :       0.30
STRING SORT         :          6.4688  :       2.89  :       0.45
BITFIELD            :      1.1196e+07  :       1.92  :       0.40
FP EMULATION        :          2.6902  :       1.29  :       0.30
FOURIER             :           31.82  :       0.04  :       0.02
ASSIGNMENT          :          0.2381  :       0.91  :       0.23
IDEA                :          114.55  :       1.75  :       0.52
HUFFMAN             :           58.14  :       1.61  :       0.51
NEURAL NET          :         0.16784  :       0.27  :       0.11
LU DECOMPOSITION    :          7.4043  :       0.38  :       0.28
==========================ORIGINAL BYTEMARK RESULTS==========================
INTEGER INDEX       : 1.493
FLOATING-POINT INDEX: 0.155
==============================LINUX DATA BELOW===============================
CPU                 :
L2 Cache            :
OS                  : Linux 2.6.9-arm1
C compiler          : /scratch/paul/eabi/install/bin/arm-hardhat-linuxeabi-gcc
libc                : static
MEMORY INDEX        : 0.348
INTEGER INDEX       : 0.392
FLOATING-POINT INDEX: 0.086