리니어 레이아웃은 차일드를 무조건 차례대로 쌓습니다. 위에서 아래쪽, 왼쪽에서 오른쪽.

중첩으로 쓴 레이아웃을 RelativeLayout 으로 주시면 차일드 뷰를 부모의 왼쪽과 오른쪽으로 배치할 수 있습니다.

대강소스가 이렇게 될 것 같네요.

<?xml version="1.0" encoding="utf-8"?>
<LinearLayout xmlns:android="http://schemas.android.com/apk/res/android"
 android:layout_width="fill_parent"
 android:layout_height="fill_parent"
 android:gravity="center"
 >
<RelativeLayout
    android:layout_width="fill_parent"
    android:layout_height="fill_parent"
 >
 <Button
  android:layout_width="wrap_content"
  android:layout_height="wrap_content"
  android:layout_alignParentRight="true"
  android:text="OK"
  />
 <Button
  android:layout_width="wrap_content"
  android:layout_height="wrap_content"
  android:layout_alignParentLeft="true"
  android:text="Cancel"
  />
</RelativeLayout>
</LinearLayout>

어떻게 배치하고싶으신건가여? 

LinearLayout 에   android:orientation="horizontal" 이라면

차일드뷰의 Layout_gravity속성은 상하로는 적용이 가능하나 Gravity가 왼쪽,오른쪽정렬은 적용되지 않습니다. 

반대로 Vertical일때 차일드뷰들의 Layout_gravity속성 좌우로 정렬만 가능하지요

( 부모속성을 기준으로 먼저 적용되기 때문인것 같습니다 )

시크바님 소스처럼 RelativeLayout을 쓰시면 간단할 것 같네요