Tuesday, November 7, 2017

Boost python / Cython from ROS catkin build

* 프로젝트에서는 사용했으나, 아래 예제코드로 패키지를 새로 생성해보진 않음.

1. Boost python
1.1  package.xml

<?xml version="1.0"?>
<package format="2">
  <name>some_boost_pkg</name>
  <version>0.0.0</version>

  <buildtool_depend>catkin</buildtool_depend>
  <build_depend>cmake_modules</build_depend>  # 꼭 필요한지 여부 아직 확인 못함
  <export>
  </export>
</package>

1.2  CMakelists.txt

cmake_minimum_required(VERSION 2.8.3)
project(some_boost_pkg)
add_compile_options(-std=c++11) # boost python 컴파일에 c+11이 필요했던걸로 기억함. 아마도.

find_package(catkin REQUIRED COMPONENTS #0
   ~~~~
)

# 아래의 find_package는 윗줄의 #0 이후에 호출할것.
# 버그인지 모르겠으나, ${Boost_LIBRARIES} 등이 공백으로 덮어씌워지는걸 피하기 위해.
# message(${Boost_LIBRARIES}) 로 확인함.
find_package(cmake_modules REQUIRED)
find_package(PythonLibs 2.7 REQUIRED)
find_package(Boost REQUIRED COMPONENTS system filesystem thread python)


include_directories(include
  ${Boost_INCLUDE_DIRS}

   ${PYTHON_INCLUDE_DIRS}
)

 catkin_package(
  LIBRARIES
    my_boost_lib  # 1
)
add_library(my_boost_lib ${~ boost python source codes ~} )
target_link_libraries(my_boost_lib
    ${PYTHON_LIBRARIES}
    ${Boost_LIBRARIES}
)
set_target_properties(my_boost_lib PROPERTIES
    PREFIX ""
    LIBRARY_OUTPUT_DIRECTORY ${CATKIN_DEVEL_PREFIX}/${CATKIN_PACKAGE_PYTHON_DESTINATION}
) #2

# 1, #2 가 있어야  compile destination이 CATKIN_WORKSPACE/devel/.private/some_boost_pkg/lib/python2.7/dist-packages/some_boost_pkg/my_boost_lib.so 가 된다.
prefix를 안비우면 파일명이 libmy_boost_lib.so 가 된다.

${~ boost python source codes ~}의 소스코드는 부스트 파이선 튜토리얼 참고.
http://www.boost.org/doc/libs/1_62_0/libs/python/doc/html/tutorial/index.html

2. Cython
2. 1 package.xml

boost python과 같음. 패키지 명만 some_boost_pkg 대신 some_cython_pkg 으로 명명했다고 가정하고 진행.

2. 2 CMakeLists.txt

cmake_minimum_required(VERSION 2.8.3)
project(some_cython_pkg)
add_compile_options(-std=c++11)
find_package(catkin REQUIRED)
find_package(cmake_modules REQUIRED)
find_package(PythonLibs 2.7 REQUIRED)

include_directories(includ
  ${catkin_INCLUDE_DIRS}
  ${PYTHON_INCLUDE_DIRS}
)
catkin_package(
  LIBRARIES
      my_cython_lib   # 1
)

catkin_python_setup() # Generate cython_build directory and .c, cxx source codes.
add_library(my_cython_lib
    "cython_build/src/my_cython_codes.c" #3
)
set_target_properties(my_cython_lib PROPERTIES
    PREFIX ""
    LIBRARY_OUTPUT_DIRECTORY ${CATKIN_DEVEL_PREFIX}/${CATKIN_PACKAGE_PYTHON_DESTINATION})  #2

2.3 setup.py

http://wiki.ros.org/rospy_tutorials/Tutorials/Makefile 의 setup.py 파일을 아래와 같이 작성해서 package.xml과 같은 폴더에 저장하면 된다.

#!/usr/bin/python
# -*- coding:utf-8 -*-
## ! DO NOT MANUALLY INVOKE THIS setup.py, USE CATKIN INSTEAD

from distutils.core import setup
from catkin_pkg.python_setup import generate_distutils_setup
from Cython.Build import cythonize

#from catkin_tools.context import Context
#ctx = Context.load()
#build_path = ctx.build_space_abs + "/cython_build" # 경로는 취향에 따라.
build_path = 'cython_build'

setup_args = generate_distutils_setup(
    packages=['some_boost_pkg'], # ROS package name
    package_dir={'': 'src'},
    requires=['std_msgs', 'rospy'], # 만약 코드에서 필요하다면
    ext_modules = cythonize("./src/my_cython_codes.pyx", build_dir=build_path) #3의 경로에 c코드를 생성하게함.
)
setup(**setup_args)

2.4  *.pyx

패키지/src 폴더의 my_cython_codes.pyx 파일은 다음 링크의 hello.pyx 코드 참고해서 작성.

3. Result / Test

위와 같은 방법으로 패키지를 생성하고 catkin build를 수행하면, python에서 다음과 같이 함수 호출 가능.

$ python
>>  import some_boost_pkg.my_boost_lib as m1
>>  import some_cython_pkg.my_cython_lib as m2
>> m1.function1()
>> m2.function2() 




Sunday, October 15, 2017

CLi booting + boot prorgram

https://askubuntu.com/questions/826325/how-to-revert-usb-wifi-interface-name-from-wlxxxxxxxxxxxxx-to-wlanx


https://linux.m2osw.com/boot-command-line-console-ubuntu-1604

$ sudo vim /etc/default/grub

GRUB_CMDLINE_LINUX_DEFAULT="text"
GRUB_CMDLINE_LINUX="text"
GRUB_TERMINAL=console

$ update-grub
$ systemctl set-default multi-user.target
$ reboot 

Thursday, August 24, 2017

파이썬+ boost python cpu 프로파일

## Profile
* kcachegrind 를 설치한다. 프로파일 뷰어. 이는 파이썬,c++ 모두에 유효.
  ``` bash
  sudo pip install pyprof2calltree
  sudo apt-get install kcachegrind # call tree viewer
  ```

  ### C++ profile
  * [CMakeLists.txt](./lib/CMakeLists.txt)와 같이 -pg flag를 추가해서 profile에 필요한 정보를 생성하도록 컴파일 옵션을 세팅해야한다.

    ```
    set(CMAKE_CXX_FLAGS `"${CMAKE_CXX_FLAGS} -pg" )
    ```

  ### Python  profile
  1) cProfile
      * Profile
        ``` bash
        python -m cProfile -o prof.out scripts/vo.py
        pyprof2calltree -i prof.out -k
        ```
      * 한계 : boost python 의 함수는 어쨰선지 profile에 안잡힌다. gperf tools 사용 시도중.

  2) Yappi
      * 멀티 쓰레드 분석 특화.
      * 이번에는 다시 c++ 부분이안됨. 사용 안함.

        ```
        sudo pip install yappi
        python -m yappi -o prof.out -f callgrind scripts/vo.py && kcachegrind prof.out
        ```
  3) line_profiler
    * 파이썬 프로파일러중 가장 강력하다!. 프로파일 대상인 함수 def 위에 @profile 을 붙여줘야하는 단점이 있지만, 대상 스코프는 라인단위로 확실하게 분석함.
      ``` python
      @profile
      def some_target_function(p1, p2):
        p3 = p1+p2
        p4 = p3 * p3
        return p4
      ```

      ``` bash
      sudo pip install line_profiler
      kernprof -l scripts/vo.py && python -m line_profiler vo.py.lprof
      ```

### Profile python-c extension
* google perftools가 잘 안되서,. yep을 쓰기로함.
  ```bash
  python -m yep -c -o prof.out scripts/vo.py && kcachegrind prof.out
  ```
  python에서 library로 불러온 c++ 부분만 나온다.
  python profile결과에서 공백인 부분만, yep에서 인식된다고 보면 되겠음.
  * -c는 kcachegrind가 읽는 callgrind 포맷으로 output 파일을 만드는 옵션.

* 결론 : cProfile로 overview를 분석하고, line_profiler로 세부 병목을 찾으면 됨.  해당 병목이 boost python으로 불러온 c++ 함수일 경우, c++  코드 분석은 yep로 처리하면 코드를 정확하게 분석할수 있음.
  * 한번에 분석이 안끝나는게 번거롭지만, 현재 내가 찾은 차선.
  * google perftools는 이런 문제가 없는것같은데, 아직 어떻게 쓰는지 이해를 못함.

* https://www.youtube.com/watch?v=DUCMjsrYSrQ

Friday, August 11, 2017

Debugging boost python shared lib of python ROS node, with gdb

At some_ros_package/scripts/some_node.py
Add next break points for python.

```
if __name__ == '__main__':
    from os import getpid
    print 'pid = ', getpid()
    import pdb;
    pdb.set_trace()
```

if pid number is 1234, type next commands at other terminal,

```
$  sudo gdb
gdb) attach 1234
gdb) break ~~~~
gdb) continue
```

After make break point at cppfile, continue python ros node.

```
pdb)  continue
```


* If you need symbol file,.
https://stackoverflow.com/questions/20380204/how-to-load-multiple-symbol-files-in-gdb

```
gdb) add-symbol-file filename address
```

Thursday, August 10, 2017

3D Vision geometry course

https://www.coursera.org/learn/robotics-perception/lecture/yuawM/bundle-adjustment-iii