SPECjAppServer2004

วันนี้อ่านเจอ Thread ใน TSS
ที่ว่า Websphere ทำคะแนน SPECjAppServer2004
ได้ 2921.48 แต้ม
เทียบกับ Sun/BEA/Oracle ที่ post คะแนนไว้ที่ 1781.47

ในส่วนของ App Server Hardware
SUN/BEA/Oracle ใช้ Sun Fire X4100
processor AMD Opteron 280 (dual core)
จำนวน 5 เครื่อง เครื่องละ 2 cpu
memory เครื่องละ 4 GB
เทียบกับ IBM ที่ใช้ P5 550
processor POWER5+(dual core)
จำนวน 8 เครื่อง เครื่องละ 2 cup
memory เครื่องละ 4 GB

น่าสนใจที่เครื่องของทั้ง IBM และ Sun
อยู่ในกลุ่ม entry-level server ทั้งคู่

Hardware ที่น่าสนใจอีกตัวก็คือ
Database Server
ทาง Sun ใช้ Sun Fire E6900
cpu UltraSPARC IV (dual core)
ใส่ไปแค่ 16 ตัว
ส่วน Ram อัดไปแค่ 64 GB
ส่วนทางฝั่ง IBM
ใช้ IBM eServer p5 570
cpu POWER5 ทั้งหมด 4 ตัว
ส่วน Ram ใช้เท่ากันคือ 64 GB

db server ที่ทั้งคู่ใช้ จัดอยู่ในกลุ่ม Mid-range เหมือนกัน

ประเด็นที่สงสัยก็คือ ทำไมทางฝั่ง sun มันใช้ cpu บน DB Server
เยอะขนาดนั้น อยากรู้ % cpu ว่ามันกินไปเท่าไร ระหว่างที่ run beachmark
(ข้อเสียของ spec พวกนี้ก็คือ เห็นแต่ตัวเลขสรุป
ไม่เห็น graph หรือข้อมูลอื่นๆเลย)

ที่น่าสนใจตรง post จาก BEA ที่มีข้อมูลราคาให้ดูด้วย

IBM/WAS/DB2 publish:
AppServer Hardware: $192,000
AppServer Software: $480,000
Database Hardware: $377,000
Database Software: $181,000
Total = $1,230,000
Total $/JOPS = $1,230,000/2921 JOPS = $421/JOP

SUN/BEA/Oracle publish:
AppServer Hardware: $38,000
AppServer Software: $100,000
Database Hardware: $752,000
Database Software: $566,000
Total = $1,456,000
Total $/JOPS = $1,456,000/1781JOPS = $817/JOP

Steve Realmuto จาก BEA
post ใน Thread ต่อด้วยว่า

That said, the total SPECjAppServer2004 JOPS number for any result is also dependent on the underlying hardware, so you need to look this number in the context of the hardware required to achieve it. The design of this benchmark is such that the application server tier is infinitely scalable. Essentially, you can achieve any desired result by throwing enough hardware at it.

Another way to normalize results across different hardware platforms is to look at the number of application server CPU cores required to achieve a given result. For example, how many CPUs per 1000 JOPS were used. This method is far from perfect, but it can provide some useful insights. IBM's latest result achieved 2921.48 JOPS@Standard using 32 Power5 application server CPU cores or 10.95 CPUs per 1000 JOPs. The previous high result from IBM achieved 1343.47 JOPS@Standard using 20 Intel Xeon application server CPU cores or 14.89 CPUs per 1000 JOPS. For comparison, BEA's WebLogic Server achieved 1664.36 JOPS@Standard using 12 Intel Xeon application server CPU cores or 7.21 CPUs per 1000 JOPS.

Note: post นี้ไม่มีข้อสรุป ฟังหูไว้หู