관계

내가 누구에게 마음을 준다는 건

나의 감각을 상대에게

스며들게 하는 것이다.

나의 감각은

그 사람의 눈과 입술 몸짓 옷매무새까지 스며들어

수 많은 인과를 해독하려 노력한다.

그와의 관계가 저물무렵

우리는 거둘 수 없음을 알게된다.

내어준 나의 일부는

회수할 수 없으면

단지 베어내야 함을 깨닫는다.

넘쳐나는 감정을

수없이 도려내면

우리에겐 남아있는 것이

얼마 없음을 알게된다.

도려내는 것은

머리를 깍는 정도가 아닌

작두에 올려진 손가락과 같은

모골이 송연해지는 위협이 된다.

살기 위해

버티기 위해

벰 이후의 휘청임을 버틸 수 없기에

우리는 더 이상의 확장을 멈춘다.

건조해진다.

바짝 갈라진다.

딱딱해진다.

그 깊고 깊은 내면의

이주 작은

연약하고도

부드러우며

향기로운

그 마지막 속살을 지키기 위해

우리는 기꺼이

아직 남은 많은 감정을

말라 비틀어

단단한 껍질로

만들어 버티기로 결정한다.

무미 건조해지는 것은

차마 잃고 싶지 않은

내 삶의 마지막 

아주 작은 순수의 기억을

보존하기 위한

저항인 것이다.

경화

차라리 그런

단단함이나 묵직함이었으면 좋으련만

그저 딱딱함에 불과하다.

유연하여 뭐든 될 수 있을것 같음은

잊은지 오래다.

색도 바랜듯 하고

단단하여 갈라진 류의 것들이 그러하듯

생동감이 없다.

부드러워 조물락 거리고픈

앙증맞음보단

뭐하나 해될것 없이

그냥 있는데도

차마 손대기 싫은 느낌의 것이

되고 있다.

그렇게 촉촉하거나

물렁한 무언가

그 무언가가 자신없다.

그낭

나는 푸석해진채로

더 푸석해짐을

피할수도 없이

맡긴채 퇴화한다.

그리하여

나아가는데

자유로워야 하며

시선에 연연하지 말아야 한다.

아울러 스스로 업신여기지 말 것이며

쌓은 것을 소중히 여겨야 한다.

능히 이뤄왔으니

스스로를 존경하며 따르고 의심치 말고

담대히 세상을 대하여

현실에 치우치지 말아야 한다.

나의 말은 더이상 가볍지 않으니

그저 의견을 구하기보단

스스로 길이 되어야 한다.

한마디 한마디를 커다란 기둥을 뿌리내리듯

확신을 두고

의심치 말며

나아가면

그 뿐이다.

나의 것은

미묘하게 엇나갈 순 있으나

결코 틀리지 않는다.

그러니 나아가면

어느덧 도달하거나

가깝게 됨은 필연적이니

먼저 스스로를 믿어 의심치 않는

담대함이 필요할 것이다.

그렇지 않으면 또 어떠하랴.

그저 한번 뿐이니

군림할 기세로

뻗어나가면

닿을 것이다.

이젠

하나의 큰 걸음을 내딛어

나아가야만 한다.

그렇게 하나의

길이 되어야만 한다.

불안

불안했다.

굳이 입밖으로 내지 않은건 불안이 현실이 될까봐.

난 불행하진 않지만 불안한 삶을 살았다.

술에 빠져 살던 아버지의 사고로

어머니가 집안을 지탱했다.

나의 불안한 상상이 시작됐다.

어머니가 없었다면 나는 어땠을까.

상상하기 싫은 삶을 떠올리며

하지 않아도 될 불안을 장작삼아

젊음을 태웠다.

평범한 불안_2

나의 불안은 내가 평범한 사람이라는 것에서 기인한 듯 싶다.

더 정확하게는 내가 가진 능력보다 이상이 더 높기 때문일 것이다.

10여년 전, 잘 다니던 대기업을 나와 박사로의 진학을 선택했다.

나에겐 힘이 있었고 의지가 있었으며 머리에서 뿜어져 나오는 창의적인 생각이 있었다.

박사에 진학을 하고 열심히 노력했지만, 그 창의적인 생각은 단지 허황된 것에 불과했다.

그래도 괜찮았다. 아직 힘과 의지가 남았다.

세가지 중 하나의 평범함을 깨닫고 나는 그렇게 위로 했지만, 내가 깨달은 것이 가장 큰 것이었다.

나의 평범함은 나의 시간을 소비했다.

평범한 불안_1

또 불안해졌다.

불안하고 싶어서 불안한 것은 아니었다.

그냥 불현듯 찾아온다.

차라리 이유가 있는게 나을지도 모른다.

이유없는 불안함은 꼬리에 꼬리를 물고 나를 압도한다.

불가항력적인 불안함에 파묻혀 가슴을 쥐어 뜯어보지만 나아지지 않는다.

앞으로도 나아질 것 같지는 않고, 영원히 고통받을 바에야 차라리 극단적인 결단을 내려야 하는건 아닌가 싶은 생각까지 도달한 뒤에야 화들짝 놀라 세차게 고개를 흔들어 보지만 소용은 없다.

더욱이 답답한 것은 가만히 있어도 숨쉬기조차 어려운 이 감정이 타인에게 보이지도 공감되지도 당연스럽게 위로받을수도 없다는데 있다.

애처로운 무형의 고통은 대부분의 타인에게는 별 미친놈의 멍청한 생각정도로 비춰진다는 것 또한 불쾌함을 가중시키는 부분이다.

어찌되었든 이유없이 오랜만에 찾아온 불안한 감정을 끌어안고 오늘 약속된 친한형과의 점심을 고민해야 한다는 사실이 자괴감이 들었다.

"나갈까? 말까? 제 정신도 못차리는데 굳이? 아냐? 이번에 미루면 계속 미뤄질지도 몰라. 나가야지. 나가봐야지."

어쩔수 없이 빠듯하게 약속 시간에 맞춰 외투를 걸쳐입고 밖으로 향한다. 여전히 꽉막힌듯 하면서도 뿌연 생각은 사람을 내내 불쾌하게 만들었다.

"좋아? 할만해?"

얼마전까지 같이 공무원으로 일했던 형이 건넨 첫마디였다.

"조금 버겁네요"

힘겹게 공감받을 수 없는 불안함의 한축을 드러내고는 간신히 웃어보였다.

"순대국밥이나 먹자."

형은 순대국밥을 좋아했지만, 순대는 싫어한다.

"그래요. 가요."

난 뭘 먹어도 맛이 없으니, 복어알만 아니면 괜찮다고 생각했다. 아직 죽기는 싫은건가.

"아 북유토건 오르다가 오늘은 떨어지네. 그래도 나이드니 하루종일 주가만 쳐다보지는 않는것 같네. 좀 의연해졌어."

형의 소소한 투자 이야기. 뒤를 이은 일상 이야기.

난 구두 뒷굽을 씹는지, 뭔지도 모를 국밥을 넘기며, 시종일관 고개를 끄덕였다.

그래도 형이 좋았다. 어지간히 사교성 떨어지는 나를 끝까지 불러준다. 좋아해준다. 그래서 송구스럽다. 왠만하면 더 보려고 노력한다.

오랜만의 점심. 뒤를 이은 산책. 그리고 담소. 추웠지만 햇빛을 쬘 수 있어선지 기분이 풀어지기 시작했다. 꼭 맺혀 파고들던 감정은 조금씩 흩어져가기 시작했다.

다행이었다. 형을 만난게 다행이었다. 산책과 햇빛과 이야기가 오늘의 나에게 약이 될 줄이야.

최근에 새로 들어간 회사가 문제이리라........

Gradient-Free Optimization

딥러닝은 gradient를 통해 최적화를 하는게 핵심이다.
거의 모든 딥러닝 모델은 gradient를 통해 훈련한다.
간단하고 효율적이다.
하지만 단점도 많다.

딥러닝의 핵심은 "해석은 어렵지만 비선형 활성화 함수를 신경망을 모사하는 형태로 구성하고 이를 사용하여 무언가를 해결하라고 맡겼더니 잘되더라" 인데,

비선형 함수에 의한 층을 쌓다 보니
gradient를 형성하는 영역이 좁다던지
층이 깊어질수록 아래로 전달되는 gradient가 줄어든다던지 하는 문제에서부터,

모델의 component를 미분가능한 녀석들로만 사용해야한다던지
(VAE의 sampling operation을 위해 reparameterization trick과 같은 방법을 쓰지만 Gaussian 분포에서만 편리하고 categorical 분포만 쓰려고 해도 Gumbel trick과 같이 조금은 불친절한 방법을 써야 한다.)

LSTM 모델을 훈련할 때에는 나중 입력에 대한 gradient가 전달될때까지 기다려야 해서 학습속도가 느려지는 문제를 야기한다.

갈수록 계산능력이 좋아지고는 있지만, 내가 보기엔 데이터의 양이 증가하는 속도가 더 빨라 보인다.

작년부터 딥러닝 훈련에 꼭 gradient를 써야하나 싶은 생각이 들었다.
아니, "사람이 학습하는데 gradient를 계산하나?"하는 의문이 들었다.
그냥 이것저것 시도해보고(random sampling) 뭔가 반응 있는 쪽으로 행동하지 않나?(momentum)이라고 생각했다.

이를테면,
현재 parameter에서의 loss와 현재 parameter를 기준으로 random하게 sampling 된 model parameter와의 loss를 비교해서 loss가 줄어들면 parameter를 이동시키면 어떨까 싶은 생각이 들었다. 이를테면 relative loss 같은 개념.

이런 방법을 쓰면 forward pass에서 바로바로 relative loss를 계산하니 LSTM에 좋을 것 같고,
trick 없이 sampling을 위한 분포도 훈련하고, 형식 제약도 없고,

딥러닝 모델의 깊이 문제도 없을것 같고,

단순한 linear regression에서는 어느정도 동작하는 거 같은데,
논문으로 만들어 보자니, 분석 및 수렴 증명을 이론적으로 풀어나갈 자신이 없어 미뤄두고 있었다.

찾아보니 이런 식의 접근이 오래전부터 있었다. (뭐 세상은 넓으니까)
"Gradientless Descent: High-Dimensional Zeroth-Order Optimization"
이 논문이 가장 최근인듯 싶고,
한 5년 전에도 내가 생각한 것과 비슷한 방법이 있었다.
내가 좋아하는 John Duchi의
"Optimal Rates for Zero-Order Convex Optimization: The Power of Two Function Evaluations" 이다.
Bregman divergence를 활용한 방법인데

휴 시간이 없어 둘 다 자세히 보진 못했고 차근차근 읽어봐야겠다.
방법과 더불어 분석과 수렴 증명이 인상적이니 배울게 많아 보인다.

아, 무식한 방법으로
"RSO: A Gradient Free Sampling Based Approach For Training Deep Neural Network"도 있는데,
이건 정말 파라메터 하나하나에 대해 sampling을 하고 그거에 대한 loss가 줄어들면 취하고 늘면 버리는 식인데, 어마어마한 훈련시간이 필요한 방법일지라도 통하는 건 보여주었다.
하지만, 이건 그냥 gradient 대신의 difference라서 의미가 있는건가 싶다.

쨋든, 이건 그냥 시작이니
필요한 것들은 추가로 정리해야겠다.