CPUやメモリなどのシステム性能を比較するベンチマークツール

総合ベンチマークツール「Phoronix Test Suite」

ここまでで見てきたとおり、ベンチマークテストツールはツールごとにさまざまな特徴があり、またその出力形式も異なる。そのため、複数のベンチマークテストを複数のマシンで実行し、それらの結果を比較したいという場合、手動での集計が必要となる。このような集計作業を自動的に行ってくれるのが、最後に紹介するPhoronix Test Suiteというツールだ。

Phoronix Test Suiteは、Linuxのハードウェアレビューや関連ニュースを提供しているニュースサイト「Phoronix」（Phoronix Media）が開発・公開しているベンチマークツールで、さまざまな分野、数十種類にもおよぶベンチマークツールをPhoronix Test Suite経由でインストールしたり実行できる。さらに、テスト結果の集計機能も備えており、複数のテスト結果をグラフ化してHTML形式のレポートを作成・出力することができる。

Phoronix Test Suiteのインストールと基本的な使い方

Phoronix Test SuiteはWebサイトのダウンロードページからダウンロードできる。また、Debianではcontribリポジトリで「phoronix-test-suite」という名称でパッケージが配布されているほか、RHELやその互換環境ではEPELからphoronix-test-suiteパッケージが提供されているので、これらを利用すると良いだろう。

Phoronix Test Suiteのインストール後、初回起動時には使用許諾への同意が求められる。また、匿名での統計レポートの送信（anonymous usage / statistics reporting）や、システム統計レポートの送信（anonymous statistical reporting of installed software / hardware）を行うかどうかもここで問われるので、確認してY（Yes）もしくはn（No）で回答しておこう。

$ phoronix-test-suite

Phoronix Test Suite v3.8.0
User Agreement

Do you agree to these terms and wish to proceed (Y/n):
Enable anonymous usage / statistics reporting (Y/n): Y
Enable anonymous statistical reporting of installed software / hardware (Y/n): n

Phoronix Test Suiteでは、個別のベンチマークテストに加え、いくつかのベンチマークテストをセットにした「Test Suite」が用意されている。実行可能なテスト一覧は、「list-available-tests」引数付きでphoronix-test-suiteコマンドを実行することで確認できる。

$ phoronix-test-suite list-available-tests

Phoronix Test Suite v3.8.0
Available Tests

pts/aio-stress - AIO-Stress Disk
pts/apache - Apache Benchmark System
pts/apitrace - APITrace Graphics
pts/battery-power-usage - Battery Power Usage System
pts/blake2 - BLAKE2 Processor
pts/blogbench - BlogBench Disk
pts/bork - Bork File Encrypter Processor
pts/botan - Botan Processor
pts/build-imagemagick - Timed ImageMagick Compilation Processor
pts/build-linux-kernel - Timed Linux Kernel Compilation Processor
pts/build-mplayer - Timed MPlayer Compilation Processor
pts/build-php - Timed PHP Compilation Processor
pts/bullet - Bullet Physics Engine Processor
pts/byte - BYTE Unix Benchmark Processor
pts/c-ray - C-Ray Processor
pts/cachebench - CacheBench Processor
pts/cairo-demos - Cairo Performance Demos Graphics
pts/cairo-perf-trace - cairo-perf-trace Graphics
pts/clomp - CLOMP Processor
pts/compilebench - Compile Bench Disk
pts/compress-7zip - 7-Zip Compression Processor
pts/compress-gzip - Gzip Compression Processor
pts/compress-lzma - LZMA Compression Processor
pts/compress-pbzip2 - Parallel BZIP2 Compression Processor
pts/corebreach - CoreBreach Graphics
pts/crafty - Crafty Processor
pts/cyclictest - Cyclictest System
pts/dbench - Dbench Disk
pts/dcraw - dcraw Processor
pts/dolfyn - Dolfyn Processor
pts/doom3 - Doom 3 Graphics
pts/encode-ape - Monkey Audio Encoding
pts/encode-flac - FLAC Audio Encoding
pts/encode-mp3 - LAME MP3 Encoding
pts/encode-ogg - Ogg Encoding
pts/encode-opus - Opus Codec Encoding
pts/encode-wavpack - WavPack Audio Encoding
pts/espeak - eSpeak Speech Engine Processor
pts/et - Enemy Territory Graphics
pts/etqw - ET: Quake Wars Graphics
pts/etqw-demo - ET: Quake Wars Demo Graphics
pts/etqw-demo-iqc - ET: Quake Wars Image Quality System
pts/etxreal - ETXreaL Graphics
pts/ffmpeg - FFmpeg Processor
pts/ffte - FFTE Processor
pts/fhourstones - Fhourstones Processor
pts/fio - Flexible IO Tester Disk
pts/fs-mark - FS-Mark Disk
pts/gcrypt - Gcrypt Library Processor
pts/glmark2 - GLmark2 Graphics
pts/gluxmark - gluxMark Graphics
pts/gmpbench - GMPbench Processor
pts/gnupg - GnuPG Processor
pts/gpu-residency - GPU Residency Processor
pts/gputest - GpuTest Graphics
pts/graphics-magick - GraphicsMagick Processor
pts/gtkperf - GtkPerf Graphics
pts/hdparm-read - hdparm Timed Disk Reads Disk
pts/himeno - Himeno Benchmark Processor
pts/hmmer - Timed HMMer Search Processor
pts/idle - Timed Idle System
pts/idle-power-usage - Idle Power Usage System
pts/interbench - Interbench System
pts/iozone - IOzone Disk
pts/j2dbench - Java 2D Microbenchmark Graphics
pts/java-scimark2 - Java SciMark Processor
pts/jgfxbat - Java Graphics Basic Acceptance Test Processor
pts/john-the-ripper - John The Ripper Processor
pts/juliagpu - JuliaGPU System
pts/jxrendermark - JXRenderMark Graphics
pts/lammps - LAMMPS Molecular Dynamics Simulator Processor
pts/lightsmark - Lightsmark Graphics
pts/luxmark - LuxMark System
pts/mafft - Timed MAFFT Alignment Processor
pts/mandelbulbgpu - MandelbulbGPU System
pts/mandelgpu - MandelGPU System
pts/mencoder - Mencoder Processor
pts/minion - Minion Processor
pts/mrbayes - Timed MrBayes Analysis Processor
pts/n-queens - N-Queens Processor
pts/nero2d - Open FMM Nero2D Processor
pts/network-loopback - Loopback TCP Network Performance Network
pts/nexuiz - Nexuiz Graphics
pts/nexuiz-iqc - Nexuiz Image Quality System
pts/nginx - NGINX Benchmark System
pts/noise-level - NoiseLevel Processor
pts/npb - NAS Parallel Benchmarks Processor
pts/open-porous-media - Open Porous Media Processor
pts/openarena - OpenArena Graphics
pts/openssl - OpenSSL Processor
pts/padman - World of Padman Graphics
pts/parboil - Parboil Processor
pts/pgbench - PostgreSQL pgbench System
pts/phpbench - PHPBench System
pts/postmark - PostMark Disk
pts/povray - POV-Ray Processor
pts/powertop-wakeups - Powertop Wakeups Processor
pts/ppracer - Planet Penguin Racer Graphics
pts/prey - Prey Graphics
pts/primesieve - Primesieve Processor
pts/pybench - PyBench System
pts/pyopencl - PyOpenCL System
pts/qgears2 - QGears2 Graphics
pts/quake4 - Quake 4 Graphics
pts/qvdpautest - qVDPAUtest Graphics
pts/ramspeed - RAMspeed SMP Memory
pts/reaction - Reaction Quake 3 Graphics
pts/render-bench - Render Bench Graphics
pts/rodinia - Rodinia Processor
pts/sample-program - Sample Pi Program Processor
pts/scimark2 - SciMark Processor
pts/smallpt - Smallpt Processor
pts/smallpt-gpu - SmallPT GPU System
pts/smokin-guns - Smokin Guns Graphics
pts/specviewperf10 - SPECViewPerf 10 Graphics
pts/specviewperf9 - SPECViewPerf 9 Graphics
pts/sqlite - SQLite Disk
pts/stream - Stream Memory
pts/stresscpu2 - StressCPU2 Stress-Test Processor
pts/sudokut - Sudokut Processor
pts/sunflow - Sunflow Rendering System System
pts/supertuxkart - SuperTuxKart Graphics
pts/system-decompress-bzip2 - System BZIP2 Decompression Processor
pts/system-decompress-gzip - System GZIP Decompression Processor
pts/system-decompress-tiff - System Libtiff Decompression Processor
pts/system-decompress-xz - System XZ Decompression Processor
pts/system-decompress-zlib - System ZLIB Decompression Processor
pts/system-libjpeg - System JPEG Library Decode Processor
pts/system-libxml2 - System Libxml2 Parsing Processor
pts/systemd-boot-kernel - Systemd Kernel Boot Time Processor
pts/systemd-boot-total - Systemd Total Boot Time Processor
pts/systemd-boot-userspace - Systemd Userspace Boot Time Processor
pts/systester - SysTester Processor
pts/tachyon - Tachyon Processor
pts/tf2 - Team Fortress 2 Graphics
pts/tiobench - Threaded I/O Tester Disk
pts/tremulous - Tremulous Graphics
pts/trislam - Triangle Slammer Graphics
pts/tscp - TSCP Processor
pts/ttsiod-renderer - TTSIOD 3D Renderer Processor
pts/unigine-heaven - Unigine Heaven Graphics
pts/unigine-sanctuary - Unigine Sanctuary Graphics
pts/unigine-tropics - Unigine Tropics Graphics
pts/unigine-valley - Unigine Valley Graphics
pts/unpack-linux - Unpacking The Linux Kernel Disk
pts/unvanquished - Unvanquished Graphics
pts/urbanterror - Urban Terror Graphics
pts/ut2004-demo - Unreal Tournament 2004 Demo Graphics
pts/vdrift - VDrift Graphics
pts/video-cpu-usage - 1080p H.264 Video Playback Graphics
pts/vpxenc - VP8 libvpx Encoding Processor
pts/warsow - Warsow Graphics
pts/x11perf - x11perf Graphics
pts/x264 - x264 Processor
pts/xonotic - Xonotic Graphics
pts/xplane9 - X-Plane Graphics
pts/xplane9-iqc - X-Plane Image Quality System

Phoronix Test Suiteで用意されているベンチマークテストでは、前回記事で紹介しているfs-markやhdparm、tiobenchなどのベンチマークツールだけでなく、音声のMP3でのエンコーディングを行ってその速度を測定したり、gzipなどでファイルを圧縮してその速度を測る、といったベンチマークテストも用意されている。また、Test Suitesの一覧は「list-available-suites」引数付きでphoronix-test-suiteコマンドを実行することで確認できる。

$ phoronix-test-suite list-available-suites

Phoronix Test Suite v3.8.0
Available Suites

pts/chess - Chess Test Suite Processor
pts/compilation - Timed Code Compilation Processor
pts/compiler - Compiler Processor
pts/compression - Timed File Compression Processor
pts/computational - Computational Test Suite System
pts/computational-biology - Computational Biology Test Suite Processor
pts/cpu - CPU / Processor Suite Processor
pts/cryptography - Cryptography Processor
pts/daily-kernel-tracker - Daily Kernel Tracker System
pts/daily-system-tracker - Daily System Tracker System
pts/database - Database Test Suite System
pts/desktop-graphics - Desktop Graphics System
pts/disk - Disk Test Suite Disk
pts/encoding - Encoding System
pts/favorites - Favorites System
* pts/gaming - Gaming System
pts/gaming-closed - Closed-Source Gaming System
* pts/gaming-free - Free Software Gaming System
pts/gui-toolkits - GUI Toolkits Graphics
pts/ioquake3-games - Games Using The ioquake3 Engine System
pts/iqc - Image Quality Comparison Suite Graphics
pts/java - Java System
pts/java-opengl - Java OpenGL System
pts/kernel - Kernel System
pts/linux-system - Linux System System
pts/memory - Memory Test Suite Memory
pts/mesa - Mesa Test Suite Graphics
pts/motherboard - Motherboard System
pts/multicore - Multi-Core Processor
pts/netbook - Netbook Test Suite System
pts/network - Networking Test Suite Network
pts/nevada - OpenSolaris Nevada Test Suite System
pts/opencl - OpenCL System
pts/opengl-demos - OpenGL Demos Test Suite System
pts/opengl-workstation - OpenGL Workstation Test Suite System
pts/pts-desktop-live - PTS Desktop Live System
pts/ray-tracing - Ray-Tracing Test Suite System
pts/server - Server Motherboard System
pts/unigine - Unigine Test Suite Graphics
* pts/universe - Universe Test Suite System
pts/universe-cli - Universe CLI Test Suite System
* pts/universe-x - Universe X Test Suite System
pts/video-encoding - Video Encoding System
pts/workstation - Workstation System
pts/workstation-graphics - Workstation Graphics Graphics
pts/xrender - X Render Extension Testing Graphics

* Indicates a partially supported suite.

テストやTest Suiteの詳細は、「phoronix-test-suite info ＜テストもしくはSuite名＞」で確認できる。たとえば、「pts/chess」というTest Suiteについての詳細を確認するには、次のようにする。

$ phoronix-test-suite info pts/chess

Phoronix Test Suite v3.8.0
An outdated version of the Phoronix Test Suite is installed.
The version in use is v3.8.0, but the latest is v4.8.2.
Visit http://www.phoronix-test-suite.com/ to update this software.

Chess Test Suite

Run Identifier: pts/chess-1.0.0
Suite Version: 1.0.0
Maintainer: Michael Larabel
Suite Type: Processor
Unique Tests: 2
Suite Description: This test suite contains tests that are various benchmarks looking at the CPU's performance through different AI algorithms for a game of chess.

pts/chess-1.0.0
* pts/crafty
* pts/tscp

これを見ると、pts/chessというTest Suiteではチェスゲーム向けのAIアルゴリズムに対するCPUの性能をテストできること、このTest Suiteでは「pts/crafty」や「pts/tscp」というテストを実行することが分かる。pts/craftyというテストの詳細は同じくinfoコマンドで確認でき、オープンソースのチェスエンジンを使ってのテストを行うということが分かる。

[hylom@corei7 ~]$ phoronix-test-suite info pts/crafty
Phoronix Test Suite v3.8.0
Crafty 23.4

Run Identifier: pts/crafty-1.3.0
Profile Version: 1.3.0
Maintainer: Michael Larabel
Test Type: Processor
Software Type: Utility
License Type: Free
Test Status: Verified
Project Web-Site: http://www.cis.uab.edu/info/faculty/hyatt/hyatt.html
Estimated Run-Time: 424 Seconds
Download Size: 0.41 MB
Environment Size: 6 MB

Description: This is a performance test of Crafty, an advanced open-source chess engine.

Test Installed: No

Software Dependencies:
- Compiler / Development Libraries
- NUMA Development Files

Phoronix Test Suiteでは、テストに必要なすべてのコンポーネントがインストールされているわけではなく、テストの実行前に必要なコンポーネントをダウンロードしてインストールする仕組みになっている。テストに必要なコンポーネントのインストールには、「phoronix-test-suite install ＜テスト名もしくはTest Suite名＞」コマンドで行える。たとえば、gzipでの圧縮を行ってその速度を測定する「compress-gzip」テストをインストールするには、次のようにする。

$ phoronix-test-suite install compress-gzip

Phoronix Test Suite v3.8.0

To Install: pts/compress-gzip-1.1.0

Determining File Requirements ..........................................
Searching Download Caches ..............................................

1 Test To Install

pts/compress-gzip-1.1.0:
Test Installation 1 of 1
Installing Test @ 19:24:24

インストールしたテストもしくはTest Suiteを実行するには、「phoronix-test-suite benchmark ＜テスト名もしくはTest Suite名＞」コマンドを使う。先にインストールしたcompress-gzipテストを実行する場合、次のようになる。

$ phoronix-test-suite benchmark compress-gzip

テストを実行すると、まずシステム情報が表示された後、テスト結果をファイルに保存するかどうかが尋ねられる（「Would you like to save these test results」の部分）。ここで「Y」（はい）を選択すると、続いて保存する名前の入力が求められる。続いて、ベンチマーク結果を識別するためのユニークな名前を入力するよう求められるが、これについては空のままで構わない。最後に、ベンチマークテスト環境などに関する情報を入力ができるが、こちらもデフォルトのままで構わない。デフォルトの場合、CPUやハードウェア、OSなどの情報が自動的に入力される。

$ phoronix-test-suite benchmark compress-gzip
Phoronix Test Suite v3.8.0

Installed: pts/compress-gzip-1.1.0

System Information

Hardware:
Processor: Intel Core i7 920 @ 2.79GHz (8 Cores), Motherboard: Gigabyte EX58-UD3R, Chipset: Intel 5520/5500/X58 + ICH10R, Memory: 3072MB, Disk: 60GB FUJITSU MHT2060B, Graphics: NVIDIA GeForce 8400 GS 256MB, Audio: Intel 82801JI, Network: Realtek RTL8111/8168B

Software:
OS: CentOS 6.4 (Final), Kernel: 2.6.32-358.el6.x86_64 (x86_64), Compiler: GCC 4.4.7 20120313, File-System: ext4, Screen Resolution: 1600x1200

Would you like to save these test results (Y/n): Y
Enter a name to save these results under: sample01
Enter a unique name to describe this test run / configuration:

If you wish, enter a new description below to better describe this result set / system configuration under test.
Press ENTER to proceed without changes.

Current Description: Intel Core i7 920 testing with a Gigabyte EX58-UD3R and NVIDIA GeForce 8400 GS 256MB on CentOS 6.4 (Final) via the Phoronix Test Suite.

New Description:

これらの入力が完了すると、続いてベンチマークテストが実行される。テストは複数回実行され、その結果の差が大きい場合は自動的に追加でテストが実行される。

Gzip Compression:
pts/compress-gzip-1.1.0
Test 1 of 1
Estimated Trial Run Count: 3
Estimated Time To Completion: 3 Minutes
Running Pre-Test Script @ 19:25:44
Started Run 1 @ 19:27:17
Started Run 2 @ 19:29:41
Started Run 3 @ 19:30:59 [Std. Dev: 78.03%]
Started Run 4 @ 19:31:19 [Std. Dev: 93.29%]
Started Run 5 @ 19:31:37 [Std. Dev: 102.37%]
Started Run 6 @ 19:31:56 [Std. Dev: 108.45%]
Running Post-Test Script @ 19:32:12

Test Results:
138.53726291656
75.26598906517
18.003746032715
16.377418994904
16.272145986557
16.081348896027

Average: 46.76 Seconds

Would you like to upload these results to OpenBenchmarking.org (Y/n): n

この例の場合、1回目と2回目、3回目の結果が大きく異なっていたため、合計6回のテストが実行されている。

テストが完了すると、最後にテスト結果がアップロードされているOpenBenchmarking.orgというWebサイトに結果をアップロードするか尋ねられる。ここで「Y」を選択すると、ベンチマーク結果がその条件も含めて送信される。

なお、ベンチマーク結果はホームディレクトリの.phoronix-test-suite/test-resultsディレクトリ以下に保存される。ここにはテスト結果のグラフを含むHTML形式のテストレポートも格納されており、グラフィカルにテスト結果を確認できる（図2）。

CPUやメモリのベンチマークテストはあくまでも目安として総合的な判断を

CPUやメモリのベンチマークテストはストレージやネットワークのベンチマークテストとは異なり、スループットのような目に見えて分かりやすい結果が出るわけではない。そのため、どちらかというと既存のサーバーと比べての性能差を視覚化すると言った、比較用途での利用が主となる。GeekbenchやPhoronix Test Suiteではさまざまな環境でのベンチマークテスト結果がアップロードされているので、比較対象としてそちらも確認してみると良いだろう。

また、近年はCPUの処理能力が著しいため、CPUの処理能力を使い切るようなケースは多くない。アプリケーションが遅い、といった場合、搭載しているメモリ量やストレージの処理能力、ネットワーク帯域のほうが邪魔をしていることもある。ベンチマークを行う際はCPUやメモリのベンチマーク結果はあくまで目安として、総合的な判断を心がけたい。

おしらせ