2020년 12월 22일 화요일

평범한 불안_2

나의 불안은 내가 평범한 사람이라는 것에서 기인한 듯 싶다.

더 정확하게는 내가 가진 능력보다 이상이 더 높기 때문일 것이다.

10여년 전, 잘 다니던 대기업을 나와 박사로의 진학을 선택했다.

나에겐 힘이 있었고 의지가 있었으며 머리에서 뿜어져 나오는 창의적인 생각이 있었다.

박사에 진학을 하고 열심히 노력했지만, 그 창의적인 생각은 단지 허황된 것에 불과했다.

그래도 괜찮았다. 아직 힘과 의지가 남았다.

세가지 중 하나의 평범함을 깨닫고 나는 그렇게 위로 했지만, 내가 깨달은 것이 가장 큰 것이었다.

나의 평범함은 나의 시간을 소비했다.




2020년 12월 18일 금요일

평범한 불안_1

또 불안해졌다.

불안하고 싶어서 불안한 것은 아니었다.

그냥 불현듯 찾아온다.

차라리 이유가 있는게 나을지도 모른다.

이유없는 불안함은 꼬리에 꼬리를 물고 나를 압도한다.

불가항력적인 불안함에 파묻혀 가슴을 쥐어 뜯어보지만 나아지지 않는다.

앞으로도 나아질 것 같지는 않고, 영원히 고통받을 바에야 차라리 극단적인 결단을 내려야 하는건 아닌가 싶은 생각까지 도달한 뒤에야 화들짝 놀라 세차게 고개를 흔들어 보지만 소용은 없다.

더욱이 답답한 것은 가만히 있어도 숨쉬기조차 어려운 이 감정이 타인에게 보이지도 공감되지도 당연스럽게 위로받을수도 없다는데 있다.

애처로운 무형의 고통은 대부분의 타인에게는 별 미친놈의 멍청한 생각정도로 비춰진다는 것 또한 불쾌함을 가중시키는 부분이다.

어찌되었든 이유없이 오랜만에 찾아온 불안한 감정을 끌어안고 오늘 약속된 친한형과의 점심을 고민해야 한다는 사실이 자괴감이 들었다.

"나갈까? 말까? 제 정신도 못차리는데 굳이? 아냐? 이번에 미루면 계속 미뤄질지도 몰라. 나가야지. 나가봐야지."

어쩔수 없이 빠듯하게 약속 시간에 맞춰 외투를 걸쳐입고 밖으로 향한다. 여전히 꽉막힌듯 하면서도 뿌연 생각은 사람을 내내 불쾌하게 만들었다.

"좋아? 할만해?"

얼마전까지 같이 공무원으로 일했던 형이 건넨 첫마디였다.

"조금 버겁네요"

힘겹게 공감받을 수 없는 불안함의 한축을 드러내고는 간신히 웃어보였다.

"순대국밥이나 먹자."

형은 순대국밥을 좋아했지만, 순대는 싫어한다.

"그래요. 가요."

난 뭘 먹어도 맛이 없으니, 복어알만 아니면 괜찮다고 생각했다. 아직 죽기는 싫은건가.

"아 북유토건 오르다가 오늘은 떨어지네. 그래도 나이드니 하루종일 주가만 쳐다보지는 않는것 같네. 좀 의연해졌어."

형의 소소한 투자 이야기. 뒤를 이은 일상 이야기.

난 구두 뒷굽을 씹는지, 뭔지도 모를 국밥을 넘기며, 시종일관 고개를 끄덕였다.

그래도 형이 좋았다. 어지간히 사교성 떨어지는 나를 끝까지 불러준다. 좋아해준다. 그래서 송구스럽다. 왠만하면 더 보려고 노력한다.

오랜만의 점심. 뒤를 이은 산책. 그리고 담소. 추웠지만 햇빛을 쬘 수 있어선지 기분이 풀어지기 시작했다. 꼭 맺혀 파고들던 감정은 조금씩 흩어져가기 시작했다.

다행이었다. 형을 만난게 다행이었다. 산책과 햇빛과 이야기가 오늘의 나에게 약이 될 줄이야.

최근에 새로 들어간 회사가 문제이리라........

2020년 7월 3일 금요일

Gradient-Free Optimization

딥러닝은 gradient를 통해 최적화를 하는게 핵심이다.
거의 모든 딥러닝 모델은 gradient를 통해 훈련한다.
간단하고 효율적이다.
하지만 단점도 많다.

딥러닝의 핵심은 "해석은 어렵지만 비선형 활성화 함수를 신경망을 모사하는 형태로 구성하고 이를 사용하여 무언가를 해결하라고 맡겼더니 잘되더라" 인데,

비선형 함수에 의한 층을 쌓다 보니
gradient를 형성하는 영역이 좁다던지
층이 깊어질수록 아래로 전달되는 gradient가 줄어든다던지 하는 문제에서부터,

모델의 component를 미분가능한 녀석들로만 사용해야한다던지
(VAE의 sampling operation을 위해 reparameterization trick과 같은 방법을 쓰지만 Gaussian 분포에서만 편리하고 categorical 분포만 쓰려고 해도 Gumbel trick과 같이 조금은 불친절한 방법을 써야 한다.)

LSTM 모델을 훈련할 때에는 나중 입력에 대한 gradient가 전달될때까지 기다려야 해서 학습속도가 느려지는 문제를 야기한다.

갈수록 계산능력이 좋아지고는 있지만, 내가 보기엔 데이터의 양이 증가하는 속도가 더 빨라 보인다.

작년부터 딥러닝 훈련에 꼭 gradient를 써야하나 싶은 생각이 들었다.
아니, "사람이 학습하는데 gradient를 계산하나?"하는 의문이 들었다.
그냥 이것저것 시도해보고(random sampling) 뭔가 반응 있는 쪽으로 행동하지 않나?(momentum)이라고 생각했다.

이를테면,
현재 parameter에서의 loss와 현재 parameter를 기준으로 random하게 sampling 된 model parameter와의 loss를 비교해서 loss가 줄어들면 parameter를 이동시키면 어떨까 싶은 생각이 들었다. 이를테면 relative loss 같은 개념.

이런 방법을 쓰면 forward pass에서 바로바로 relative loss를 계산하니 LSTM에 좋을 것 같고,
trick 없이 sampling을 위한 분포도 훈련하고, 형식 제약도 없고,

딥러닝 모델의 깊이 문제도 없을것 같고,

단순한 linear regression에서는 어느정도 동작하는 거 같은데,
논문으로 만들어 보자니, 분석 및 수렴 증명을 이론적으로 풀어나갈 자신이 없어 미뤄두고 있었다.

찾아보니 이런 식의 접근이 오래전부터 있었다. (뭐 세상은 넓으니까)
"Gradientless Descent: High-Dimensional Zeroth-Order Optimization"
이 논문이 가장 최근인듯 싶고,
한 5년 전에도 내가 생각한 것과 비슷한 방법이 있었다.
내가 좋아하는 John Duchi의
"Optimal Rates for Zero-Order Convex Optimization: The Power of Two Function Evaluations" 이다.
Bregman divergence를 활용한 방법인데

휴 시간이 없어 둘 다 자세히 보진 못했고 차근차근 읽어봐야겠다.
방법과 더불어 분석과 수렴 증명이 인상적이니 배울게 많아 보인다.

아, 무식한 방법으로
"RSO: A Gradient Free Sampling Based Approach For Training Deep Neural Network"도 있는데,
이건 정말 파라메터 하나하나에 대해 sampling을 하고 그거에 대한 loss가 줄어들면 취하고 늘면 버리는 식인데, 어마어마한 훈련시간이 필요한 방법일지라도 통하는 건 보여주었다.
하지만, 이건 그냥 gradient 대신의 difference라서 의미가 있는건가 싶다.

쨋든, 이건 그냥 시작이니
필요한 것들은 추가로 정리해야겠다.

2020년 4월 1일 수요일

삶의 가치

모두에게 주어진 삶이다.
요구와는 상관없이 주어진 삶은
꽤나 불공평하고 또한 대부분에게 고통스럽다.
단지 각자의 계획대로 살아내는 것만으로도 버겁다. 

저마다의 삶은 이상과는 거리가 멀고
끊임없는 자기 반성과 고찰을 요구한다.
살겠다고 한적도 없는 삶은
가혹하게 지금의 자신보다는
한결 더 높은 가치관을 쟁취하도록 강요한다. 

누구에게나 절대적으로 옳은 삶은 없다.
자신의 기준에 맞추어 살아내는 것
그것 자체만으로도
훌륭하고 감격스러우며 존경받아야 함이 마땅하다.

우리는
혐오와 비판으로 가득찬 사회에서
오만한 저울질을 잠시 멈추고
서로를 칭찬하고 격려해야만 한다. 

열심히 자신의 삶을 살아가는 모든이가
절대적인 잣대에 주눅이 들어
스스로가 잠재적인 범죄자가 될수도 있다는
두려움에 사로잡혀
단지 누군가와 이야기 하는것만으로도
죄책감을 느끼고
송구스러워 해야할 것이 겁이나
모든 것으로부터 고립되는 삶이
이상향이 되길 바라지 않는다면

우리는 소소한 우리들끼리의 전쟁을 멈추고
서로를 존중하기 위해 노력하는 것으로부터
내 삶의 무게를 줄여나가야만 한다. 

나의 삶은 고단하고
나와 같은 삶의 고단함은 꽤나 일반적이니
누군가를 어디선가 들어봄직한 괴롭힘의 대상으로 보지 말 것이며
더 많은 선량한 자를 바라보는 시선으로
많은 삶을 대해야 할 것이다. 

그것을 시작으로 수많은 잣대와 저울질로부터
스스로를 자유롭게 해방시켜
그러한 존중으로부터
스스로에게 고통의 시간이 아닌
자랑스러움으로 가득찬 삶을 살도록 도와야만 한다. 

우리는 대부분
삶의 굴레에서 고통받는 사람들이니
우리는 이러한 고통으로부터 말미암은
독기를 서로에게 방사하며
졸렬히 내가 더 우위에 있음을 과시하는것 대신 

각자 자신만의 기준에서 조금 더 나아가기 위해
치열하게 살아감을
이해하고 존중하고 격려하며
이 무거운 삶에의 동질감을 통해
서로가 서로에게 위안을 주고 받는
유대감으로부터 비롯한
안정을 추구한다면 

더이상
바라지 않던 삶을 살아가는 것이
고통스러운 형벌로 치부되기보단 

우연치 않게 태어나
나만의 자아를 가지고
특별한 삶을 영위해 본 기회를 얻은 것에
감사하게 될 날이 올 것이라
믿어 의심치 않는다...