override된 onDestroy() 안에
System.exit(0); 을 넣어주세요 

뭔가 찝찝해서 추가로 사족을 덧붙이자면...

아주 개인적인 추측으론(신뢰도 0프로...) android framework단에 위치한 activity manager나 resource manager에서 어플리케이션의 생성주기에 관여를 하는것 같습니다. 일반적으로 알려진 onDestroy가 activity를 끝내는 것임에도 불구하고 task app이나 기본 응용프로그램관리에 들어가보면 resource를 차지하고 있는것임을 확인할 수 있죠..

어쨌든.. onDestroy만으로는 상콤하게 어플이 종료되지는 않는데, 위에 올린것처럼 System api를 사용해서 강제로 종료해 줄 수는 있으나..
background로 작업을 진행하고 있거나 할때 완전히 완료되지 않은 상태에서 뒤로가기버튼으로 exit()가 호출되면 진행하던 작업이 비정상적으로 종료될 가능성이 있습니다. 물론 코딩상으로 if문을 이용해서 해당 작업이 완료됬을때만 저 exit()를 지나가게 해도 되겠지만, 그리 좋은 방법은 아닌것같습니다.
잘사용하면 가비지 리소스 소모 없이 깔끔하겠지만, 아니면 오히려 독이되는 거겠죠..

저 같은 경우는 onKeydown 메서드 이용했습니다. onKeyDown 메서드 오버라이딩해서, keyCode == KeyEvent.KEYCODE_BACK 일경우, 종료할거냐는 팝업을 띄웠죠.. 그리고 ok 누르면.. finish();