OpenCV의 리눅스 소스를 안드로이드에 포팅하기 위해서 cvCreateImage와 cvReleaseImage 함수가 들어있는 cxcore 라이브러리의 빌드에 들어갔다.
소스의 루트디렉토리에서 ./configure 의 옵션을 조정하여 빌드하는 방법에 실패하고,
직접 cxcore/src 디렉토리 안에서 makefile을 작성하여 빌드하였다.
다음은 빌드할 때 사용한 makefile이다.
CC = arm-none-linux-gnueabi-gcc
LD = arm-none-linux-gnueabi-ld
INC =
LIBS =
CFLAGS = -I/usr/lib/jvm/java-6-sun/include -I/usr/lib/jvm/java-6-sun/include/linux -I../include -fpic -c
#LDFLAGS = -shared -T armelf_linux_eabi.xsc –dynamic-linker /system/bin/linker -nostdlib -rpath /system/lib -L/home/dasomoli/lib/arm-none-linux-eabi/ -lcv -lcxcore -lml
LDFLAGS = -shared -nostdlib -T /home/dasomoli/src/opencv_bak/opencv-1.0.0/armelf_linux_eabi.xsc -rpath /system/lib -rpath . -L . -L/home/dasomoli/androidinternal/system/lib -lc -lm -lstdc++
OBJS = cxalloc.o cxjacobieigens.o cxpersistence.o cxarithm.o cxlogic.o cxprecomp.o cxarray.o cxlut.o cxrand.o cxcmp.o cxmathfuncs.o cxsumpixels.o cxconvert.o cxmatmul.o cxsvd.o cxcopy.o cxmatrix.o cxswitcher.o cxdatastructs.o cxmean.o cxtables.o cxdrawing.o cxmeansdv.o cxutils.o cxdxt.o cxminmaxloc.o dummy.o cxerror.o cxnorm.o cximage.o cxouttext.o
SRCS = cxalloc.cpp cxjacobieigens.cpp cxpersistence.cpp cxarithm.cpp cxlogic.cpp cxprecomp.cpp cxarray.cpp cxlut.cpp cxrand.cpp cxcmp.cpp cxmathfuncs.cpp cxsumpixels.cpp cxconvert.cpp cxmatmul.cpp cxsvd.cpp cxcopy.cpp cxmatrix.cpp cxswitcher.cpp cxdatastructs.cpp cxmean.cpp cxtables.cpp cxdrawing.cpp cxmeansdv.cpp cxutils.cpp cxdxt.cpp cxminmaxloc.cpp dummy.cpp cxerror.cpp cxnorm.cpp cximage.cpp cxouttext.cpp
TARGET = libcxcore.so
all : $(TARGET)
$(TARGET) : $(OBJS)
$(LD) $(LDFLAGS) -o $@ $(OBJS) $(LIBS)
$(OBJS) : $(SRCS)
$(CC) $(CFLAGS) $(SRCS)
dep :
gccmakedep $(INC) $(SRCS)
clean :
rm -rf $(OBJS) $(TARGET) core
new :
$(MAKE) clean
$(MAKE)
CFLAGS의 옵션 중 -I/usr/lib/jvm/java-6-sun/include와 -I/usr/lib/jvm/java-6-sun/include/linux 옵션은 구글 안드로이드 Application 개발시 사용한 java 6 라이브러리의 include 경로이고, ../include 는 실제 $OPENCV_HOME/cxcore/include 이다. -c 옵션으로 *.o 파일을 생성한다.
물론, 이전에 javah로 구글 안드로이드 Application의 JNI를 사용하는 클래스의 C/C++용 헤더 파일(org_swssm_NativeOpenCV.h)이 생성되어져 있었고, 헤더 파일 안의 함수는 cxarray.cpp 함수 안에 구현되어져 있었다. 당연히 cxarray.cpp 에는 #include “org_swssm_NativeOpenCV.h” 가 들어가 있다. cpp 안의 함수 안에서 클래스를 env->FindClass 로 찾을 때 org.swssm.andCvSize 와 같이 클래스의 전체 경로를 적어주어야 한다는 점에 주의하자.
LFLAGS의 옵션 중 -T /home/dasomoli/src/opencv_bak/opencv-1.0.0/armelf_linux_eabi.xsc는 이전에 언급했던 툴체인 내의 ldscript의 수정본이다. 또한, -nostdlib 는 툴체인의 기본 라이브러리를 사용하지 않겠다는 옵션으로 보인다. 또, -rpath /system/lib -rpath . 는 라이브러리 실행 시 참조할 라이브러리 경로로써 안드로이드의 라이브러리 폴더인 /system/lib와 라이브러리가 들어가 있는 곳의 경로를 참조하도록 한다. -L . -L/home/dasomoli/androidinternal/system/lib 는 링킹 타임에 참조할 라이브러리가 들어가 있는 경로로 /home/androidinternal/ 아래에 Benno의 System image 가 압축 해제되어 있다. 이는 안드로이드에서 실제 사용되는 library를 링킹 시 참조하여 링킹하도록 한다. -lc -lm -lstdc++ 는 각각 안드로이드 /system/lib 의 libc.so, libm.so, libstdc++.so 를 참조하도록 한다.
make가 성공적으로 이루어지기 위해서는 OpenCV의 cxcore 라이브러리 내의 소스들에 약간의 수정이 필요한데, 이는 안드로이드 내부에서 사용되는 라이브러리들에서 지원되지 않는 함수(혹은, 내가 제대로 링크시키지 못했거나..;;)들을 제거해야 하기 때문이다. 대표적인 함수들로 assert 함수가 있으므로 include안의 #include <assert.h>를 주석처리 하고, cxtypes.h 내의 assert 문들이 사용된 부분을 삭제하도록 한다. 추가적으로 #define assert(x) (x) 하여 bool 처리만 하도록 처리하기도 하였다.
make clean; make를 마치면 libcxcore.so 파일이 생성되는데 이를 안드로이드 에뮬레이터의 /system/lib 안에 넣어주도록 한다.(adb push libcxcore.so /system/lib/)
안드로이드 플랫폼 내부에서의 libcxcore.so 파일의 동작여부를 확인하기 위해서 별도의 간단한 application을 build하여 테스트하도록 한다. 먼저 main.c 를 작성한다.
#include “cxcore.h”
int main(void)
{
IplImage *pImage;
CvSize size;
size.width = 100;
size.height = 100;
pImage = cvCreateImage(size, 8, 3);
cvReleaseImage(&pImage);
return 0;
}
cvCreateImage와 cvReleaseImage 함수만을 사용하여 동작하는 지를 살펴본다.
main.c의 구동을 위해서 함수의 entry point가 되는 _start 함수를 구현한다. 이는 http://honeypod.blogspot.com/2007/12/dynamically-linked-hello-world-for.html 에서 사용한 start.c 파일을 그대로 사용하였다.(http://honeypod.blogspot.com/2007/12/initialize-libc-for-android.html의 _start 함수를 어셈블러로 구현하여 사용할 수도 있을 것 같다.)
extern int main(int argc, char **argv);
void _start(int argc, char **argv)
{
exit (main (argc, argv));
}
기억상으로는 start.o 는 arm-none-linux-gnueabi-gcc -c start.c 하여 그대로 사용했던 듯 하다.
main.o 는 arm-none-linux-gnueabi-gcc -c -I../include main.c 와 같이 하여 cxcore의 include 경로를 추가한 후 컴파일 하여 생성한다.
중요한 cxcoretest라는 간단한 Executable 생성은 다음의 옵션으로 한다.
shared library 생성시와는 다르게 armelf_linux_eabi.xsc 를 사용하지 않음에 주의한다. 이를 안드로이드 에뮬레이터에 넣고(adb push cxcoretest /data/) 실행해본다.
WARNING: `libcxcore.so` is not a prelinked library
#
실행은 잘 되는 것을 볼 수 있다. 근데, 제대로 호출된 것 맞는건가? 확인해보자. Benno의 strace를 받아 안드로이드에 넣고(adb push strace /data/), strace로 실행(./strace ./cxcoretest)해보자!
getpid() = 1662
syscall_983045(0xb0015cb0, 0xb00128d8, 0x3d4, 0, 0xbeddddc8, 0x1, 0, 0xf0005, 0xb00128d8, 0, 0, 0xbeddddc4, 0, 0xbedddd78, 0xb0000dd9, 0xb00016fc, 0x10, 0xb0015cb0, 0, 0, 0xc764, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0) = 0
gettid() = 1662
sigaction(SIGILL, {0xb0001471, [], SA_RESTART}, {SIG_DFL}, 0) = 0
sigaction(SIGABRT, {0xb0001471, [], SA_RESTART}, {SIG_DFL}, 0) = 0
sigaction(SIGBUS, {0xb0001471, [], SA_RESTART}, {SIG_DFL}, 0) = 0
sigaction(SIGFPE, {0xb0001471, [], SA_RESTART}, {SIG_DFL}, 0) = 0
sigaction(SIGSEGV, {0xb0001471, [], SA_RESTART}, {SIG_DFL}, 0) = 0
sigaction(SIGSTKFLT, {0xb0001471, [], SA_RESTART}, {SIG_DFL}, 0) = 0
open(“libc.so”, O_RDONLY|O_LARGEFILE) = -1 ENOENT (No such file or directory)
open(“/system/lib/libc.so”, O_RDONLY|O_LARGEFILE) = 3
lseek(3, -8, SEEK_END) = 241860
read(3, “\0\0\340\257PRE “, 8) = 8
mmap2(0xafe00000, 245760, PROT_READ|PROT_WRITE|PROT_EXEC, MAP_PRIVATE, 3, 0) = 0xafe00000
close(3) = 0
mmap2(0xafe3c000, 45056, PROT_READ|PROT_WRITE, MAP_PRIVATE|MAP_ANONYMOUS, 0, 0) = 0xafe3c000
mprotect(0xafe00000, 233472, PROT_READ|PROT_EXEC) = 0
open(“libcxcore.so”, O_RDONLY|O_LARGEFILE) = -1 ENOENT (No such file or directory)
open(“/system/lib/libcxcore.so”, O_RDONLY|O_LARGEFILE) = 3
lseek(3, -8, SEEK_END) = 2199920
read(3, “veSlice\0”, 8) = 8
fstat64(1, {st_mode=S_IFCHR|0600, st_rdev=makedev(136, 0), …}) = 0
brk(0) = 0x13000
brk(0x13000) = 0x13000
brk(0x14000) = 0x14000
ioctl(1, SNDCTL_TMR_TIMEBASE or TCGETS, {B38400 opost isig icanon echo …}) = 0
write(1, “WARNING: `libcxcore.so` is not a”…, 51WARNING: `libcxcore.so` is not a prelinked library
) = 51
lseek(3, 0, SEEK_END) = 2199928
mmap2(0x80100000, 2203648, PROT_READ|PROT_WRITE|PROT_EXEC, MAP_PRIVATE, 3, 0) = 0x80100000
close(3) = 0
open(“libm.so”, O_RDONLY|O_LARGEFILE) = -1 ENOENT (No such file or directory)
open(“/system/lib/libm.so”, O_RDONLY|O_LARGEFILE) = 3
lseek(3, -8, SEEK_END) = 133184
read(3, “\0\0\300\257PRE “, 8) = 8
mmap2(0xafc00000, 135168, PROT_READ|PROT_WRITE|PROT_EXEC, MAP_PRIVATE, 3, 0) = 0xafc00000
close(3) = 0
mprotect(0xafc00000, 131072, PROT_READ|PROT_EXEC) = 0
open(“libstdc++.so”, O_RDONLY|O_LARGEFILE) = -1 ENOENT (No such file or directory)
open(“/system/lib/libstdc++.so”, O_RDONLY|O_LARGEFILE) = 3
lseek(3, -8, SEEK_END) = 4144
read(3, “\0\0\320\257PRE “, 8) = 8
mmap2(0xafd00000, 8192, PROT_READ|PROT_WRITE|PROT_EXEC, MAP_PRIVATE, 3, 0) = 0xafd00000
close(3) = 0
mprotect(0x80100000, 1986560, PROT_READ|PROT_EXEC) = 0
brk(0) = 0x14000
brk(0x14000) = 0x14000
brk(0x15000) = 0x15000
brk(0x16000) = 0x16000
mprotect(0, 0, PROT_READ|PROT_EXEC) = 0
brk(0x1d000) = 0x1d000
exit_group(0) = ?
Process 1662 detached
음… 봐도 잘 모르겠다.. 잘 안되는 것 같기도 하고… -_-;;;
흥미로운 점은, 빨간 색으로 표시한 부분을 보면 알겠지만, 사용된 안드로이드에서 제공하는 모든 library의 마지막 4 바이트에는 “PRE “가 들어가있다.
일단 JNI를 사용하는 Application을 사용해서 죽는지부터 보자-_-;;;
Call 버튼을 눌러보자!
오! 안죽는다! 안죽는게 뭐가 대단하냐고? ..당신은 삽질을 덜 한 것이다-_-+
그럼 cvCreateImage가 리턴하는 포인터의 값을 int로 찍어보자. 일단 값을 1234로 넣어두고 리턴하는 값을 받은 후에 찍어보자. 이왕 하는 김에 Object로 리턴하는 andCvSize 클래스의 값도 찍어보자!
Log.i(LOG_TAG, “pImage = ” + pImage);
pImage = NativeOpenCV.andcvCreateImage(cvSize, 8, 3);
Log.i(LOG_TAG, “after call, pImage = ” + pImage);
andCvSize cvSize2 = NativeOpenCV.andcvGetSize(pImage);
Log.i(LOG_TAG, “cvSize2.width : ” + cvSize2.width + “, cvSize2.height : ” + cvSize2.height);
NativeOpenCV.andcvReleaseImage(pImage);
adb logcat
D/dalvikvm( 1830): LOADING path /system/lib/libcxcore.so 0x4006ddb0
I/dalvikvm( 1830): Added shared lib /system/lib/libcxcore.so 0x4006ddb0
I/dalvikvm( 1830): No JNI_OnLoad found in /system/lib/libcxcore.so 0x4006ddb0
D/dalvikvm( 1830): +++ not scanning ‘/system/lib/libwebcore.so’ for ‘andcvCreateImage’ (wrong CL)
D/dalvikvm( 1830): +++ not scanning ‘/system/lib/libmedia_jni.so’ for ‘andcvCreateImage’ (wrong CL)
I/CallOpenCV( 1830): after call, pImage = 1459360
D/dalvikvm( 1830): +++ not scanning ‘/system/lib/libwebcore.so’ for ‘andcvGetSize’ (wrong CL)
D/dalvikvm( 1830): +++ not scanning ‘/system/lib/libmedia_jni.so’ for ‘andcvGetSize’ (wrong CL)
I/CallOpenCV( 1830): cvSize2.width : 100, cvSize2.height : 100
D/dalvikvm( 1830): +++ not scanning ‘/system/lib/libwebcore.so’ for ‘andcvReleaseImage’ (wrong CL)
D/dalvikvm( 1830): +++ not scanning ‘/system/lib/libmedia_jni.so’ for ‘andcvReleaseImage’ (wrong CL)
오오! 잘된다! 한번 더!
I/CallOpenCV( 1830): calling native method
I/CallOpenCV( 1830): pImage = 1234
I/CallOpenCV( 1830): after call, pImage = 1459360
I/CallOpenCV( 1830): cvSize2.width : 100, cvSize2.height : 100
잉? 포인터 값이 같네? 제대로 된 거 맞나? Release했던 부분을 놔뒀다가 다시 사용하나? cvReleaseImage를 주석처리 하고 계속 할당하는지 보자!
D/dalvikvm( 1889): LOADING path /system/lib/libcxcore.so 0x40060948
I/dalvikvm( 1889): Added shared lib /system/lib/libcxcore.so 0x40060948
I/dalvikvm( 1889): No JNI_OnLoad found in /system/lib/libcxcore.so 0x40060948
D/dalvikvm( 1889): +++ not scanning ‘/system/lib/libwebcore.so’ for ‘andcvCreateImage’ (wrong CL)
D/dalvikvm( 1889): +++ not scanning ‘/system/lib/libmedia_jni.so’ for ‘andcvCreateImage’ (wrong CL)
I/CallOpenCV( 1889): after call, pImage = 1460544
D/dalvikvm( 1889): +++ not scanning ‘/system/lib/libwebcore.so’ for ‘andcvGetSize’ (wrong CL)
D/dalvikvm( 1889): +++ not scanning ‘/system/lib/libmedia_jni.so’ for ‘andcvGetSize’ (wrong CL)
I/CallOpenCV( 1889): cvSize2.width : 100, cvSize2.height : 100
I/CallOpenCV( 1889): onClick
I/CallOpenCV( 1889): calling native method
I/CallOpenCV( 1889): pImage = 1234
I/CallOpenCV( 1889): after call, pImage = 1490752
I/CallOpenCV( 1889): cvSize2.width : 100, cvSize2.height : 100
후후후.. 포인터 값이 계속 바뀌는군.. 그럼 계속 할당되는 게 맞겠지 ㅋㅋㅋ
그럼 성공!!! 으하하하하하하!
참고 :
http://groups.google.com/group/android-developers/browse_thread/thread/b3376922f5b7a93a
http://groups.google.co.jp/group/android-developers/browse_thread/thread/ed437a61e678aab8
http://benno.id.au/blog/2007/11/13/android-native-apps
http://honeypod.blogspot.com/2007/12/shared-library-hello-world-for-android.html
http://honeypod.blogspot.com/2007/12/dynamically-linked-hello-world-for.html
http://benno.id.au/blog/
http://honeypod.blogspot.com/2007/12/initialize-libc-for-android.html
http://davanum.wordpress.com/2007/12/09/android-invoke-jni-based-methods-bridging-cc-and-java/
http://java.sun.com/javase/6/docs/technotes/guides/jni/spec/jniTOC.html