JMK 트레이더 레벨 1. 스킬포인트 뭐찍지?

iostream / cstdio 속도 비교

minjang 님 블로그 에서 보고 들어갔는데: C++ cout faster than printf

WTF? 내생각엔 그냥 저 테스트 한 사람이 printf 할땐 화면 출력해 놓고 cout 할땐 파일 리디렉션 해서 화면 출력에 들어가는 시간이 dominate 해버린 게 아닐까 한다. cout 이 더 빠르다니 이런 닭잡는 소리가 있나. 당연히 redirect 해서 파일 입출력하게 해야 하는 것 아닌가 -_-; 아 놔 이거.

Making scipy.weave parallel by releasing the GIL

As everybody knows, the current implementation of CPython is pretty much incapable of doing any serious multithreaded computation, because of the GIL. Python's most current solution to this problem is using separate processes instead of threads - in most of the cases, this actually suffices.

A problem I'm trying to solve at work now is embarrassingly parallel. It was natural to try to make use of my quad-core Xeon desktop to decrease my 1-hr runtime down to 15 minutes; however, the programs use inputs from a vast (4+GB) numpy array which is common to all processes. Sending an array of this size through IPC is simply ridiculous. Yes, there are ways to 'share' a single copy of numpy array across processes - but it required me to make drastic changes to the program's structure. I tried numpy.memmap which is essentially an array using memory-mapped files. Single-thread performance was degraded 10x... dude, I was just trying to achieve 3+x speedup. Is this too much???

What I actually ended up doing is writing performance-critical piece of code in C++, using scipy.weave (it basically lets us to inline C++ code in Python, compiling the C++ code as a Python package). Yes, it's not pleasant, but when the C++ code snippet is small, it's doable. Yes, it's not a game-changer - it doesn't allow true multithreading. However: weave is compiled as a C Python module - and they can release the GIL if a macro is used: Py_BEGIN_ALLOW_THREADS.

So, simply adding the two macros at the beginning and the end of the inlined code can make it (almost) truly multithreading.

I did a simple experiment to verify this. ...

Preparing EC2 Image for AOJ

AOJ with Amazon EC2 의 연장선에서, 셋업 시도. 다 잘 되고 있는데, 파이썬 인터페이스인 boto 의 최신 버전에서도 아직 stop/resume instance 기능이 지원되지 않는 듯. ec2-api-tools 에서는 이게 지원되는데, 이제 와서 이쪽으로 fall back 해야 하나.. 너무 삽질 같은데... ㅠ.ㅠ

아니면 패치 만들어서 제출해볼까? -_-

(update) 소스코드 뒤져서 stop/resume 하는 법 알아냄.

Useful links

• AWS Management Console
• S3 Web Interface

Tutorials links

• EC2 tutorial using Python interface
• Creating EBS-backed EC2 AMIs from an S3-backed AMI

Boto initial setup walkthrough

(more)

해리 포터

<JongMan> 벅스 첫 페이지에
<JongMan> 해리포터와 혼혈왕자 배너가 떴는데
<JongMan> 밑에 이렇게 써있다
<JongMan> 출연: 엠마 왓슨 감독: 데이빗 예이츠
<JongMan> 그래 맞아 해리 따위 중요하지 않잖아

앨범커버

W&Whale 이 리메이크한 '슬픈 노래는 부르지 않을거야' 를 즐겁게 듣고 있다. 좀 음산하지만.. 그래서 벅스에서 mp3 을 사서 아이폰에 넣었는데

앨범 커버가

.... 앨범 디자인도 조덕배 활동 시기로 맞췄구나? 워드패드로 앨범커버 만들지 마 이놈들아 -_-;;;

.... 결국 whale 사진 받아서 커버 대신 집어넣었다.

한글 제목 feedburner 테스트3

아아 마이크 테스트

ICML Reading List

지난 3년간 프로시딩 목록을 훑으면서, 제목이 무슨 뜻인지 알아들을 수 있는 것만 골랐다. -_-; 집에 있는 학부 교과서부터 다 읽는게 우선인거 같긴 함...

ICML 2007

• Dimensionality Reduction and Generalization
• Multi-armed Bandit Problems with Dependent Arms
• Tracking Value Function Dynamics to Improve Reinforcement Learning with Piecewise Linear Function Approximation

ICML 2008

• Active Reinforcement Learning
• Fast Nearest Neighbor Retrieval for Bregman Divergences
• Space-indexed Dynamic Programming: Learning to Follow Trajectories
• An Analysis of Linear Models, Linear Value-Function Approximation, and Feature Selection for Reinforcement Learning

ICML 2009

• Boosting products of base classifiers decision stumps
• Learning Prediction Suffix Trees with Winnow
• Curriculum Learning
• Kernelized Value Function Approximation for Reinforcement Learning
• Model-Free Reinforcement Learning as Mixture Learning

Deep Belief Networks (레이어 많은 신경망) 란게 요즘은 열라 핫한거 같은데 어디 가서 공부해야 하나? -_-

Neural Nets

Reinforcement Learning Lecture on Videolectures 보고 있는데, 강의하는 아저씨가 이런 얘길 한다:

AI 처음 공부할 때 제일 배우고 싶던 게 인공 신경망이었어요. 신경망은 뇌를 시뮬레이션하는 것이니까요. 얼마나 멋있어요! 하지만 머신 러닝 공부를 하다 보니 신경망은 그냥 비선형 회귀 분석 방식의 하나일 뿐이란 걸 알았죠. 정말 실망했어요.

... ML 공부하는 사람들은 다들 신경망에 낚여 오나봐. 원석이형도 신경망 보고 컴퓨터 공부하고 싶단 생각을 했다던데. -_-

econ reading list

reading list for a seminar by G Mankiw

view csv

(more)

주말

1. 토요일에는 SRM454 를 하고, 한 대 남아 있는 집카를 빌려서 벤옹이랑 보은이랑 H마트에 장보러 갔다. H마트에 있는 이가자 헤어비스에서 머리도 자르고 (...) 야채 고기 생선 라면 김 등등을 쓸어담았다. 덕분에 또한번 냉동실은 꽉 찼음. 뿌듯하다... 그리고 오늘 수열이가 해준 고등어조림 눈물 흘리며 먹음. 맛잇따 ㅠ
2. 마트 댕겨와서 각자의 집에 먹을거 떨어뜨려놓고, Star of Siam 이라는 태국 음식점에서 저녁. 보은이가 쐈음. 그 이후에는 벤옹이 쏘는 닌자 어쌔신. 아, 잘놀았다.
3. 오늘은 집에서 빨래하고 청소한 뒤 내내 아이폰용 킨들로 테메레르 읽었다. 이제 절반정도 봤나.. 재밌다. ㅠ 수열이 아이폰도 내 아마존 어카운트에 등록해 둬서 이북도 공유 가능하기까지 하니 더 바랄 게 없다. 앞으로 physical 한 책을 살 일이 거의 없을 것 같다는 강력한 예감-_- 이 든다. 테메레르가 6권까지 나와 있으니 당분간 이것만 읽어도 연말은 지나갈 듯.

그래서 원고 안했단 얘깁니다.

SRM 454

실로 오랜만의 SRM. 첫 자바 매치!!! 두둥!!!

코드를 좀 깔끔하게 짜려는 노력을 하게 되다 보니 (그리고 아직 문법이 100% 익숙하지 않아서 IntelliJ 에 의존해야 하다 보니) 코딩이 많이 느리다. 반복된 연습이 역시 대안이지 싶은데 귀찮아서.. 그래도 둘다 패스했으니 별 불만은 없다. 이지+미디엄에서 시간이 너무 오래 걸려서 하드를 짤 시간이 없어서 결국 포기하고 챌페이즈 진입. 하지만 결국 챌린지 못하고 5x 등. 레이팅은 -7. :-(

그래도 패스패스에 의미를 둬야겠다. 아 그리고 하드도 나중에 결국 풀음.

(more)