Thursday, August 04, 2005

ตัวอย่าง AppServer Performance Tuning

เห็น theserverside.com ลงข่าวเรื่องที่ BEA ทำคะแนน
SPECjAppServer ได้สูงสุด ก็เลยตามเข้าไปดู
ที่ได้ติดมือมาก็คือได้เห็น tuning parameter ที่เขาใช้
เลยขอ Note ไว้เพื่อไปศึกษาต่อ โดยดูเฉพาะของ WebSphere ก่อน

WebSphere 's Parameters


MaxConnectBacklog = 1024
จำนวน connection ที่ยอมให้ค้างอยู่ใน buffer
ก่อนที่ server จะ reject ทิ้ง
ค่า default อยู่ที่ 511
Note: ค่านี้ไม่ได้สัมพันธ์กับจำนวน user แบบ 1:1
เพราะว่า browser สามารถเปิด connection ได้หลาย thread พร้อมกัน

MaxKeepAliveRequests = 10
ค่านี้น่าสนใจ (อาจจะตั้งน้อยเพราะเหมาะกับธรรมชาติของ benchmark นี้)
ในคุ่มือ ibm แนะนำไว้ว่าควรมีค่า = 90% ของ web container thread pool
่ใน benchmark นี้ ibm ตั้งไว้ที่ 10 (คิดเป็น 20 % ของ Maximum Thread pool)

2 ค่านี้ search หาใน internet ไม่เจอ
com.ibm.ws.pm.batch=true
com.ibm.ws.pm.deferredcreate=true

Linux 's Parameters


ของ Ibm SีuSE มีการ config sysctl.conf

net.core.netdev_max_backlog = 600
net.core.somaxconn = 1024
ตั้ง backlog ให้เยอะขึ้น (ใครเก่ง network ช่วยบอกด้วยว่า
ไอ้ 2 ค่าบนนี้มันต่างกันอย่างไร)
ส่วนใน BEA config เล่นตั้ง 2 ค่านี้ซะเวอร์เลย ตั้งไว้ตั้ง 20000

net.ipv4.tcp_fin_timeout = 30
ตั้งค่าน้อยๆเพื่อให้ reuse resource ได้เร็วขึ้น

kernel.shmmax=1073741824
ส่วนนี้เกี่ยวกับ Heapsize ของ Virtual Machine ด้วย
ในคุ่มือ Websphere แนะไว้ว่า
Set the maximum shared segment size to 2300MB plus a little more (about 95MB) (2511724800 = 2300 * 1048576 + 100000000)

(default ของ kernel คือ 32 Mb)
อ่านดูในเอกสาร ส่วนใหญ่มักจะเปลี่ยนให้ค่า shmall เป็นค่าเดียวกันด้วย
แต่ใน config นี้ไม่ได้พูดถึงค่านี้
(ฺBEA ตั้งค่านี้ไว้ 4294967295)

kernel.sched_yield_scale=1
ค่านี้เป็นเรื่องของ SuSE โดยเฉพาะ กรณี SuSE version < 8 SP2A

vm.bdflush=100 1200 128 512 15 5000 100 0 0
ค่านี้เกี่ยวกับ virtual memory
เห็นในเอกสาร Securing and Optimizing Linux บอกไว้ว่าใน redhat default ตั้งค่านี้ไว้ที่
40 500 64 256 500 3000 500 1884 2
ตัวเลขตัวแรกคือ % ของ dirty cache ก่อนที่จะ flush
Setting this to a high value means that Linux can delay disk writes for a long time

ตัวเลขที่ 2 คือ maximum number of dirty buffers that bdflush can write to the disk in one time
ตัวที่ 3 คือ This is the number of buffers that bdflush will add to the list of free buffers when refill_freelist() is called.
ตัวที่ 4 ไม่ค่อยต่างกัน เลยไม่สนใจ
ตัวที่ 5 นี่เกีี่ยวกับ age_buffer ลดลงเยอะมากเลย
อันนี้งงๆ เพราะหน่วงเวลาการ write ด้วย parameter ตัวที่ 1
แต่กลับให้ age_buffer มีอายุน้อยลง

net.ipv4.tcp_synack_retries = 20
fs.file-max=65535
net.ipv4.tcp_sack=0
net.ipv4.tcp_timestamps=0
2 อันหลังนี้รู้สึกจะปิด feature บางอย่างลงไป

ค่าที่เกี่ยวกับ network ลองอ่านเพิ่มเติมได้จาก
Squeeze Your Gigabit NIC for Top Performance
How to achieve Gigabit speeds with Linux
Enabling High Performance Data Transfers
http://www.bur.st/~paul/linux_tuning.txt

ถ้าใครอยากลอง run benchmark นี้บนเครื่องตัวเองบ้าง
ก็เพียงแต่แคะกระปุกออกมา $2000 เท่านั้นเอง

Related link from Roti

Wednesday, August 03, 2005

AJAX in Tapestry with Tacos

Post ก่อนหน้าที่ได้พูดถึง AJAX with Ruby on Rails ไปแล้ว
คราวนี้จะลอง implement feature แบบเดียวกันนี้ใน Tapestry บ้าง
โดยเราจะใช้ Component Library ของ Tacos

เริ่มที่ feature link_to_remote ของ Rails
ใน Tacos ก็มี component ที่ชื่อ PartialLink ที่ทำหน้าที่แบบเดียวกัน
ลองทำตัวอย่างแบบเดียวกับที่ทำใน Rails ก็จะต้องเขียน source code ดังนี้

เริ่มจาก Html Template File
จะประกอบด้วย Component PartialLink ที่ใช้ render html link
กับ Part Component ซึ่งใช้กำหนดบริเวณที่จะเกิด Partial Render
สังเกตุว่าเราจะ pass parameter refreshParts ให้กับ PartialLink ด้วยค่า "time_div"
ที่เป็น id ของบริเวณ Part ที่เราต้องการ render
<html>
<head jwcid="@Shell" title="Test Ajax Partial Link">
</head>

<body jwcid="@Body">
<a jwcid="@tacos:PartialLink" listener="ognl:listeners.refreshTime"
refreshParts="time_div"
>getTime</a>
<div id="time_div" jwcid="@tacos:Part">
<span jwcid="@Insert" value="ognl:currentTime">display time here</span>
</div>
</body>
</html>

ส่วน Page Descriptor File จะประกาศแค่ Property currentTime
มี datatype เป็น String และใช้เป็นแค่ temporary property
ในการเก็บค่าวันที่ที่ต้องการ render
...
<page-specification class="pok.test.TestPage">
<property-specification name="currentTime"
type="java.lang.String"/>
</page-specification>


ส่วนตัว Page Class นั้น จะ implement method ที่ชื่อ refreshTime
ที่จะถูกเรียกใช้เมื่อ user click บน PartialLink Component
package pok.test;

import java.util.Date;

import org.apache.tapestry.IRequestCycle;
import org.apache.tapestry.html.BasePage;

public abstract class TestPage extends BasePage {

public abstract void setCurrentTime(String timeStr);

public void refreshTime(IRequestCycle cycle) {
setCurrentTime(new Date().toString());
}
}


ข้อแตกต่างระหว่าง Tacos กับ Rails ที่เห็นชัดเจน
ก็คือ การ Render ผลลัพท์
ใน rails เราระบุ block ที่จะ render ได้แค่ 1 block
ส่วนใน Tacos เราสามารถระบุ block ได้มากกว่า 1 block
ตัวอย่างเช่น
<body jwcid="@Body">
<p>Test Partial Link</p>
<div id="time_div1" jwcid="@tacos:Part">
<span jwcid="@Insert" value="ognl:currentTime">display time here</span>
</div>
<a jwcid="@tacos:PartialLink" listener="ognl:listeners.refreshTime"
refreshParts="ognl:{'time_div1', 'time_div2'}"
>getTime</a>
<div id="time_div2" jwcid="@tacos:Part">
<span jwcid="@Insert" value="ognl:currentTime">display time here</span>
</div>
</body>

ในตัวอย่างข้างบน เราระบุว่าผลลัพท์ที่ได้จะ render บน
block time_div1 และ time_div2
สังเกตุว่าใน refreshParts parameter เราจะ pass parameter
เป็น Array

ข้อสงสัยอีกอย่างที่ผมสงสัยเจ้า Tacos ก็คือ วิธีการส่งผลลัพท์กลับไปที่ browser
ประเด็นก็คือ มันส่ง page กลับไปทั้งหมด แล้ว javascript ที่ฝั่ง browsser ค่อยเลือก render
เฉพาะที่ต้องการ หรือ ส่งเฉพาะส่วนที่เปลี่ยนแปลงกลับไปเท่านั้น
ก็เลยทดลอง sniff packet ที่รับส่ง
ผลปรากฎว่ามันส่งเฉพาะส่วนที่เปลี่ยนแปลง (ซึ่งดีต่อ traffic)

HTTP/1.1 200 OK
Date: Wed, 03 Aug 2005 10:19:44 GMT
Server: Jetty/5.1.4 (Mac OS X/10.4.2 ppc java/1.4.2_07
Content-Type: text/xml
Transfer-Encoding: chunked

a9
<?xml version="1.0" encoding="UTF-8"?><parts><part id="time_div2">
Wed Aug 03 17:19:45 ICT 2005
</part><part id="time_div1">
Wed Aug 03 17:19:45 ICT 2005
</part></parts>


ตัวอย่างที่ 2 ก็คือ กรณีที่ Rails มี feature form_remote_tag
เจ้า Tacos ก็มี component แบบเดียวกันที่ชื่อ PartialForm
ทดลอง Implement แบบเดียวกับที่ทำกับ Rails ได้ดังนี้



เริ่มจากส่วน Html Template
ในตัว Form จะมี TextField กับ Submit Button
ซึ่งกำหนดไว้ว่า เมื่อมีการ submit จะให้ method ที่ชื่อ partialSubmit ทำงาน
แล้วก็กำหนดให้มีการ render block div_item ใหม่
ส่วนใน block div_item ก็มีการใช้ Foreach component
ในการ render ​Items Array
สุดท้ายก็มี PartialLink ที่ใช้ในการลบข้อมูลใน list ทั้งหมด
<html>
<head jwcid="@Shell" title="Test Partial Form">
</head>

<body jwcid="@Body">
<form jwcid="@tacos:PartialForm" refreshParts="div_item"
listener="ognl:listeners.partialSubmit" direct="true">
<input type="text" jwcid="item@TextField" value="ognl:inputItem"/>
<input type="submit" jwcid="@Submit" label="Save"/>
</form>
<div id="div_item" jwcid="@tacos:Part">
<ul jwcid="@Foreach" source="ognl:items" value="ognl:item">
<li><span jwcid="@Insert" value="ognl:item"/>
</li>
</ul>
</div>
<a jwcid="@tacos:PartialLink" listener="ognl:listeners.clearAll"
refreshParts="div_item"
>Clear All</a>
</body>
</html>


ในส่วน Page Specification ประกอบด้วย
property items ซึ่งเป็น ArrayList
,item เป็นตัวแปรชั่วคราวสำหรับใช้ในการ render foreach loop
,inputItem เป็นตัวแปรที่ใช้รับข้อมูลจาก TextField ที่ user ป้อนเข้ามา
<page-specification class="pok.test.FormPage">

<property-specification name="items" type="java.util.ArrayList"
persistent="yes"/>

<property-specification name="item" type="java.lang.String"/>

<property-specification name="inputItem" type="java.lang.String"/>

</page-specification>


สุดท้ายส่วน Page Class
package pok.test;

import org.apache.tapestry.IRequestCycle;
import org.apache.tapestry.event.PageEvent;
import org.apache.tapestry.event.PageRenderListener;
import org.apache.tapestry.html.BasePage;

public abstract class FormPage extends BasePage implements PageRenderListener {

public abstract String getInputItem();

public abstract String getItem();

public abstract java.util.ArrayList getItems();
public abstract void setItems(java.util.ArrayList lists);

public void pageBeginRender(PageEvent event) {
if (getItems() == null) {
setItems(new java.util.ArrayList());
}
}

public void partialSubmit(IRequestCycle cycle) {
getItems().add(getInputItem());
}

public void clearAll(IRequestCycle cycle) {
getItems().clear();
}

}


ถ้าดูเปรียบเทียบกันระหว่าง Rails กับ Tapestry จะเห็นว่า
Rails ใช้จำนวนบรรทัดของคำสั่งและ config file น้อยกว่า
นอกจากนี้ก็ยังแตกต่างกันในแง่ concept ของการ render ที่ฝั่ง server ด้วย
โดยในส่วนของ Rails ที่ server code สามารถทำ Partial Render ได้
ไม่เหมือนกับ Tapestry ที่ฝั่ง Server จะทำการ Render ทั้ง Page
แต่ PartialService จะเลือกส่งกลับเฉพาะ Part ที่ระบุ

Related link from Roti

AJAX with Ruby on Rails

ใน package ของ Rails จะมี Helper ที่ชื่อ JavaScriptHelper
ที่ช่วยให้เราใช้ AJAX Feature ของ Prototype และ script.aculo.us ใน view ของเราได้ง่ายขึ้น

ตัวอย่างการใช้งาน
เริ่มต้นด้วยการ copy javascript ที่ต้องใช้ไปไว้ที่
directory project/public/javascripts
โดยมี javascript ทั้งหมด 4 ตัว
  • prototype
    • prototype.js (จาก prototype)
  • script.aculo.us
    • effects.js
    • dragdrop.js
    • controls.js

ใน view ที่ต้องการใช้ AJAX Feature ก็ให้ทำการ
include ด้วยคำสั่ง javascript_include_tag
<head>
<%= javascript_include_tag "prototype" %>
<%= javascript_include_tag "effects" %>
<%= javascript_include_tag "dragdrop" %>
<%= javascript_include_tag "controls" %>
</head>

Note: กรณีที่ใช้ script.aculo.us จำเป็นต้องมีการ
patch prototype.js เสียก่อน (ตัว patch หาได้ใน web site ของ script.aculo.us)


ใน prototype จะมี feature หนึ่งที่น่าสนใจ ก็คือ
กรณีที่เรา click link แล้ว prototype จะใช้ xmlhttprequest
เรียกไปที่ server จากนั้นก็จะเอาผลลัพท์ที่ได้ มา render
บนหน้าจอตรงบริเวณที่เรากำหนด (partial render)
โดยเราสามารถใช้งาน โดยใช้ method ของ JavaScriptHelper ที่ชื่อ link_to_remote

<body>  
<%= link_to_remote ("get time",
:update => "time_div",
:url => {:action => "getTime" },
:complete => visual_effect(:highlight, "time_div", :duration => 1.5 )) %>
<div id="time_div">
</div>
</body>

ซึ่ง render ได้หน้าจอดังนี้



เมื่อ user click ที่ "get time" เจ้า prototype ก็จะทำการ call
ไปยัง action ที่ชื่อ getTime ใน Controller ของเรา
ผลลัพท์ที่ได้จาก action ก็จะถูก replace ไปบน <div id="time_div">
class AjController < ApplicationController
...

def getTime
render_text "<p>The Time is " + DateTime.now.to_s + "</p>"
end
end

ผลลัพท์ที่ได้จากการ click ที่ user เห็นก็เป็นแบบนี้



Note: visual_effect จะเป็นการเรียกใช้ script.aculo.us effect
โดยกรณีของเราเรียกใช้ Highlight Effect ซึงจะทำการ เน้นสีเหลือง
บริเวณ <div id="time_div"> เป็นเวลา 1.5 วินาที
แล้วค่อยๆ fade หายไป
ส่วน complete: คือการระบุ callback ที่จะถูกเรียกใช้
หลังจากที่ prototype ทำการ replace DOM element สำเร็จแล้ว


มีบางกรณีที่เราต้องการให้ insert หรือ append ผลลัพท์
แทนที่จะเป็นการ replace
กรณีนี้เราสามารถกำหนดเป็น parameter ให้กับ link_to_remote ได้
<%= link_to_remote ("get time",
:update => "time_div",
:url => {:action => "getTime" },
:position => "after") %>


Method ที่น่าสนใจอีกอันก็คือ form_remote_tag
อันนี้ต่างกับ link_to_remote ตรงที่ว่าเป็นการ submit
form แทน
<body>  
<p>Test Add Item</p>
<%= form_remote_tag(:update => "list_div",
:url => { :action => "addItem" },
:position => "top" ) %>
new Item :
<%= text_field_tag :newItem %>
<%= submit_tag "Add" %>
<%= end_form_tag %>
<ul>
<div id="list_div">
</div>
</body>

ซึ่ง render ได้ผลลัพท์ดังนี้



เมื่อมีการ submit ก็จะเกิดการเรียกใช้ method ที่ชื่อ addItem
class AjController < ApplicationController
...

def addItem
render_text "<li>" + params[:newItem] + "</li>"
end
end

ผลลัพท์ที่ได้ก็จะทำการ insert ลงส่วนบนสุดของ <div id="list_div">



จะเห็นได้ว่า rails integrate AJAX feature ได้อย่างกลมกลืนน่าใช้มาก

เพิ่มเติม: อ่านภาคภาษาอังกฤษ (ต้นฉบับ)

Related link from Roti

Monday, August 01, 2005

MonetDB

วันก่อนอ่านเจอ Opensource Database ที่ชื่อ MonetDB
เจ้า database ตัวนี้เป็นงานวิจัยของ "The Institute for Mathematics and Computer Science Research of The Netherlands"
ออกแบบสำหรับ "high performance on complex queries against large databases" โดยเฉพาะ

ประเด็นที่น่าสนใจของ Monet ก็คือเรื่องของการ Design Storage
เจ้า Monet เลือกวิธีการเก็บ table structure ในลักษณะของ
BAT (Binary Association Tables)
ปกติ database ทั่วไป เวลาที่เก็บข้อมูลจะมองข้อมูล เป็น row
แต่ละ column ใน row หนึ่งจะเก็บอยู่ใน segment เดียวกัน
แต่เจ้า MonetDB เลือกที่จะ split Table หนึ่งออกเป็นหลายๆ BAT
โดยแต่ละ BAT จะเก็บข้อมูลแค่ 1 column เท่านั้น (จริงๆแล้วต้องเป็น
2 เพราะจะมีอีก column หนึ่งจะใช้เก็บ oid (object id))



การเก็บในลักษณะนี้เหมาะสำหรับงานพวก OLAP, Data Mining
หรืองานที่มี nature ของ sql ในลักษณะของการ scan column
เป็นอย่างมาก

Note: บางคนอาจจะสงสัยต่อไปว่า ถ้าเก็บข้อมูลในแบบ BAT แบบนี้
น่าจะเปลืองเนื้อที่ของ harddisk เพราะว่ามี OID ที่ซ้ำๆกันอยู่เต็มไปหมด
เจ้า MonetDB ก็เลยออกแบบให้ oid เป็น virtual column
ไม่มีการเก็บจริง โดยให้ค่าของ oid เริ่มต้นที่ 1000 เรียงไปเรื่อยๆ
ไม่มีการกระโดด กรณีทีต้องการ access BAT ที่ oid=1002
ก็หมายถึง record ในตำแหน่งที่ 2 (1002 ลบด้วย 1000)

หลังจากเห็น concept แล้วก็ลอง load source code มา build ดู
หลังจากลองมั่วอยู่สักพัก ก็ได้ข้อสรุปว่า ยังไม่น่าประทับใจนัก
ไม่แน่ใจว่าเป็นเรื่อง platform ด้วยหรือเปล่า เพราะผม build
บน mac os x มันก็เลยมีปํัญหาประปรายไปหมด
เช่น connect jdbc แล้วสั่ง create user แล้วเงียบหาย
cpu ทำงานไป 15 นาทีแล้วยังไม่ return result กลับมา
หรือ ทดลอง load sample data สำเร็จ แต่ select
แล้วดัน error
ไว้มีเวลา จะลอง load binary version มาทดสอบบน
linux หรือ windows อีกที

จริงๆมีเรื่องน่าสนใจอีกเยอะ สนใจติดตามอ่านดูใน paper นี้
Monet: A Next-Generation DBMS Kernel For Query-Intensive Applications. Ph.D. Thesis, Universiteit van Amsterdam, Amsterdam, The Netherlands, May 2002.
Link

Note: อ่านดูใน paper นี้แล้วในส่วนของ introduction มี
ประวัติของ DBMS ที่น่าสนใจ เลยตัดมาให้อ่านกัน

The first widly known relational implementations (DBMS) were INGRES, developed at UC Berkeley and System R, developed at the IBM San Jose research facility.


INGRES was the first system to use UNIX as its implementation platform.It use the relational query language QUEL, that is not identical, yet very similar, to today's SQL. Several ideas from INGRES can still be found in current relational products, like the concept of a query rewriter for implementing views and integrity constraints, the use of relational tables to store meta-information (the data dictionary) and the idea of extensible query access methods. INGRES was commercialized into product, and from it the Sybase DBMS evolved, later to be re-marketd and enhanced into Microsoft SQLserver.


System R introduced many important concepts like the SQL query language, and much exemplary work in logging and recovery was done in the implementation of the lower levels of the system.


Parts of System R made it into various IBM products like QBE, SQL/DS and indirectly DB2. Although not based on its source code, the Oracle system was designed to resemble System R very closely.


The successor project to INGRES, call Postgres..... Postgres was further developed into a product called Illustra, which was shortly after integrated into the commercial Informix DBMS.


ปัจจุบัน Ingres เป็น opensource ไปแล้วนะครับ
สนใจ download ได้ที่นี่ Link
ยังใช้งานได้ดีที่เดียว

Related link from Roti