딥러닝 방법론과 응용

Sequential.backward는 self.loss를 전혀 참조하지 않고 BCE의 미분식 -(Y/A - (1-Y)/(1-A))를 직접 써 넣는다. Loss 클래스 계층에는 backward가 아예 정의되어 있지도 않다. 즉 --loss mean_squared_error로 컴파일해도 순전파 후 찍히는 손실값만 MSE로 바뀔 뿐, 파라미터 갱신에 쓰이는 그래디언트는 BCE 그대로다.

직접 확인했다. 같은 시드로 두 모델을 만들어 각각 binary_crossentropy와 mean_squared_error로 컴파일한 뒤 1스텝 역전파를 돌리면 layer0.dW가 [[0.001737, 0.005505], [-0.000279, -0.00089]]로 완전히 동일하다. README 비교표의 NNN 행에서 Base와 Loss[MSE]가 나란히 97.27로 적혀 있는 것은 우연이 아니라 같은 학습을 두 번 기록한 결과다. 전체 7개 설정을 재현해 봤을 때도 두 값은 소수점까지 똑같이 97.27%로 나왔다.

argparse의 choices에 Adam이 등록되어 있고 README도 "SGD와 Adam이 구현되어 있다"고 적고 있지만, 실제로는 한 번도 돌아간 적이 없는 코드다. get_update는 params를 레이어 파라미터 행렬(형상 (out_dim, in_dim+1))로 받으면서 결과 버퍼를 1차원 np.zeros(np.size(params, 0))로 잡는다. 그리고 57행에서 길이 in_dim+1짜리 벡터를 그 1차원 배열의 스칼라 칸에 대입한다.

실행하면 ValueError: setting an array element with a sequence.가 즉시 난다. 같은 함수 45행에는 self.deacy 오타도 남아 있는데, decay > 0일 때만 평가되는 삼항식 안에 있어서 기본 설정에서는 터지지 않고 숨어 있다.

BCELoss.forward는 np.log(inputs)와 np.log(1 - inputs)를 아무 보호 없이 계산한다. float64에서 sigmoid(37) == 1.0이 성립하므로 출력이 포화하는 즉시 log(0) = -inf, 그리고 Sequential.backward의 np.divide(1 - Y, 1 - A)가 0으로 나눠 NaN이 전파된다.

과제 기본 설정(2-2-1 sigmoid, lr 0.1, 5000 epoch)에서는 가중치가 포화 영역까지 가지 않아 실제로 터지지는 않는다 — 재현 실행 7종 모두 non-finite loss 0회. 그러나 README 30–31행이 예시로 보여주는 activation='relu'를 쓰면 출력이 정확히 0이 될 수 있어 바로 무너진다. 시드 0–19에 대해 2-4-1 ReLU 망을 200 epoch 돌려본 결과 19개 시드에서 손실이 non-finite가 됐고 그중 10개는 0 epoch에서 즉사했다.

README 20행은 NNN을 "neural network framework based on only numpy"라고 소개한다. 그런데 main.py:4가 from nnn import utils를 하고, nnn/utils/__init__.py:4가 무조건 import tensorflow as tf를 한다. --mode np로만 쓰려는 사용자도 TensorFlow를 깔아야 한다. 실제로 numpy·tqdm만 설치한 환경에서 import nnn은 통과하지만 from nnn import utils는 ModuleNotFoundError: No module named 'tensorflow'로 실패한다.

덧붙여 같은 파일 10행의 tf.random.set_random_seed는 TF 1.x 전용 API다. requirements.txt는 tensorflow>=1.0.0이라 TF 2.x가 설치되면 시드 고정 자체가 예외로 죽는다.

README 85행은 "Dataset은 np.random.randn으로 standard normal에서 샘플을 만든다. --normal 플래그로 normalized dataset을 설정한다"고 적는다. 코드는 정반대다. Dataset.__init__의 generator = np.random.randn if normal else np.random.rand이고 --normal은 store_true라 기본값이 False — 즉 기본 실행은 균등분포 rand이고 --normal을 줘야 정규분포가 된다. 비교표의 Base 열과 Data[Normal] 열의 관계가 README 설명과 뒤집혀 있다.

그리고 2019년 6월 커밋 73b23d0에서 프로젝트를 NumpyNeuralNetwork/ 하위로 옮기면서 README의 이미지 경로를 고치지 않았다. 79행과 132행이 가리키는 master/assets/network.png, master/assets/results.png는 존재하지 않는다(실제 위치는 master/NumpyNeuralNetwork/assets/). functional.py:7,22의 __int__ 오타(__init__이어야 함)도 "Update MSE" 커밋(448d881)에서 그 줄을 직접 건드리면서도 고쳐지지 않고 남았다.

_preprocess의 의도는 명확하다 — 같은 입력 이미지를 repeat=3 타임스텝짜리 시퀀스로 만들어 RNN에 먹이는 것. 그런데 tf.tile(..., [1, repeat, repeat])로 공간축을 3×3으로 타일링한 뒤 reshape(-1, repeat, *shape)로 자르기 때문에, 타일 경계와 reshape 경계가 전혀 맞지 않는다.

numpy로 동일 연산을 재현해 확인했다. 4×4 입력 [[0,1,2,3],[4,5,6,7],[8,9,10,11],[12,13,14,15]]을 넣으면 타임스텝 0이 [[0,1,2,3],[0,1,2,3],[0,1,2,3],[4,5,6,7]], 타임스텝 1이 [[4,5,6,7],[4,5,6,7],[8,9,10,11],[8,9,10,11]]이 된다. 원본과 같은 타임스텝은 하나도 없고, 세 타임스텝이 서로 같지도 않다. 배치 크기도 3배로 부풀어((B,4,4,1) → (3B,3,4,4)) _postprocess의 output[repeat-1::repeat]로 다시 1/3을 골라내는데, 이때 살아남는 샘플이 원래 어느 이미지인지에 대한 보장도 없다. 이 상태에서 학습한 PSNR 곡선은 해석할 수 있는 값이 아니다.

build()에서 add_weight로 정식 등록한 것은 세 개의 units×units 커널과 바이어스뿐이다. 정작 공간 정보를 다루는 두 개의 Conv2D는 call() 본문에서 KL.Conv2D(...)(inputs) 형태로 그 자리에서 생성된다. 레이어 객체가 지역 변수라 self.trainable_weights에 잡히지 않고, 타임스텝 간 가중치 공유라는 RNN의 전제도 성립하지 않는다. model.save()로 떨어지는 체크포인트에도 이 가중치는 담기지 않는다.

같은 셀에 self.latest라는 파이썬 속성이 텐서를 담고 다니는데(41–44, 56행), 배치나 에폭 경계에서 초기화되지 않는다. get_initial_state는 (batch, units, units, units) 4차원을 돌려주면서 self.state_size는 스칼라 units로 선언되어 있고, compute_output_shape는 conv 출력과 무관한 (batch, units)를 반환한다. 셀 계약이 세 군데에서 서로 어긋난다.

SR 결과를 판단하려면 "아무것도 안 한 bicubic 업샘플링" 대비 몇 dB를 벌었는지가 있어야 한다. 이 과제에서는 그 값이 공짜로 나온다 — source_transforms가 Resize(16×16) → Resize(32×32)로 만든 sources가 정확히 bicubic 결과이므로, tf.image.psnr(targets, sources) 한 줄이면 끝이다. 그 한 줄이 어디에도 없다.

게다가 README 어디에도 실제 PSNR 숫자가 없다. 24–28행은 "2500 epoch만 돌렸지만 1000 epoch 이후 PSNR과 loss가 saturate했다"고만 적고 곡선 이미지 링크를 건다. 학습이 수렴했다는 진술만 있고 성능에 대한 진술이 없다. 평가지표 자체에도 흠이 있다 — cnn.py:23–26의 마지막 conv에는 활성화도 클리핑도 없어서 예측값이 [0,1]을 벗어날 수 있는데, tf.image.psnr(..., max_val=1.)을 클리핑 없이 그대로 적용한다. SR 표준 프로토콜의 경계 shave도 없다.

keras.utils.Sequence의 __len__은 에폭당 배치 수를 반환해야 한다. 여기서는 이미지 개수를 돌려주고, lib/model.py:31이 그걸 steps_per_epoch로 그대로 쓴다. T91+291이면 약 382장 × 배치 128 = 한 "에폭"에 48,896 샘플이 흐른다. README가 말하는 "2500 epoch"의 실제 의미가 무엇인지 아무도 알 수 없다.

더 나쁜 것은 __getitem__이 인덱스를 np.roll(self.indices, item)로 한 칸씩 회전시킨 뒤 앞에서 batch개를 뜯는다는 점이다. batch 0과 batch 1이 128개 중 127개를 공유한다. 배치가 데이터셋의 분할이 아니라 슬라이딩 윈도우라서, 같은 이미지가 한 에폭에 128번씩 등장한다.

같은 함수 58–60행에는 더 조용한 지뢰가 있다. 크롭 결과 형상이 self.size와 다르면 루프 안에서 sources·targets를 np.empty로 다시 할당한다. 그 시점까지 채운 b개 샘플은 전부 버려지고 초기화되지 않은 메모리로 대체된다. 현재 설정에서는 크롭 크기가 항상 32×32라 발동하지 않지만, 크롭 크기를 바꾸는 순간 학습 배치의 대부분이 쓰레기가 된다.

이 프로젝트는 전부 TensorFlow/Keras다. 그런데 utils.init은 random, numpy, 그리고 torch를 시드한다. tf.random.set_seed는 없다. 가중치가 kernel_initializer='random_uniform'으로 초기화되므로, 같은 --seed 42로 두 번 돌려도 초기 가중치가 다르다. 첫 번째 과제에서는 시드를 제대로 잡아 7년 뒤 재현까지 됐는데, 여기서는 그 습관이 사라졌다.

동시에 workers=4, use_multiprocessing=True로 Sequence를 돌린다. fork 방식에서 4개 워커가 동일한 numpy RNG 상태를 복사해 가므로 랜덤 크롭·랜덤 스케일 증강이 워커마다 똑같이 나온다. 증강 다양성이 의도의 1/4로 줄어든다.

README-RNN.md:11–13은 손실을 Σ(n=0..2) ||y_gt − y_n||², 즉 세 타임스텝 전부에 감독을 거는 multi-step loss로 명시한다. 구현(network/rnn.py:91–93)은 K.mean(K.square(y_pred - y_true)) 한 줄이고, KL.RNN(..., return_sequences=False) + _postprocess로 마지막 출력만 남긴다. 중간 타임스텝에는 손실이 걸리지 않는다.

같은 문서 25행과 README.md:5,20,22는 코드를 lib/network.py, utils/callbacks.py에 있다고 안내하는데 실제 경로는 network/cnn.py, network/rnn.py, utils/callback.py다. README.md:34는 "train samples" 캡션을 달고 loss_psnr_cnn.png를 링크한다 — train_samples_cnn.png가 바로 옆에 있는데도.

486KB짜리 model.hdf5가 저장소에 들어 있다. 내부 config를 열어 보면 모델 이름이 "SR"인데 현재 network/cnn.py:28–29는 name='SRN'으로 만든다. 컴파일 정보도 "loss": "mean_squared_error" 문자열인데 lib/model.py:25는 커스텀 함수 self.klass.loss를 넘긴다. 즉 커밋된 체크포인트는 지금 소스와 다른 버전의 산출물이다. RNN 가중치는 들어 있지 않은데 README-RNN.md:31은 "Model parameters is saved on model.hdf5"라고 적고 있다.

network/__pycache__/*.cpython-36.pyc 세 개와, .gitignore로 무시되는 data/ 안의 빈 파일 data/pass도 함께 커밋되어 있다. main.py:51–53의 위치 인자 command(train/eval)는 파싱만 되고 main()에서 읽히지 않아 eval을 줘도 학습이 시작된다. argparse 설명 문자열은 'Evaluate Multi Object Tracking' — 다른 프로젝트에서 복사해 온 흔적이다.

main.py:17–18은 utils.data.Dataset(train=False, batch=1, ...)로 검증 세트를 만든다. 호출부만 보면 완벽하다. 그런데 Dataset.__init__은 train 파라미터를 시그니처에 선언해 놓고 본문에서 한 번도 읽지 않는다. 35행은 인자와 무관하게 self.is_training = True로 못 박고, 38행은 무조건 self.images = self.x_train을 쓴다. x_test는 로드해서 즉시 버린다.

결과적으로 fit_generator에 넘어가는 validation_data가 학습 세트다. lib/model.py:33의 validation_steps=100이 뽑는 100개 샘플은 전부 학습에 쓰인 이미지이고, 로그에 찍히는 val_loss·val_psnr은 학습 성능일 뿐이다. train()·eval() 메서드(46–50행)도 정의만 되어 있고 저장소 어디에서도 호출되지 않는다. 이 과제에서 보고된 검증 수치가 없다는 점이 역설적으로 다행인데, 있었다면 전부 무효였을 것이다.

네트워크의 마지막 연산이 KL.ReLU()다(50행). 회귀 문제의 출력 헤드에 ReLU를 붙였으니 예측은 항상 0 이상이고, 한 번 음수로 넘어간 픽셀은 그래디언트가 끊겨 영구히 죽는다. 이것만으로도 문제인데, skip과 bn 모드는 여기에 KL.average([x, inputs])를 얹는다.

average는 덧셈이 아니라 산술 평균이다. 최종 출력은 (f(x) + noisy) / 2이고 f(x) ≥ 0이므로 출력의 하한이 noisy/2로 고정된다. 노이즈가 위쪽으로 튄 픽셀 — 예컨대 깨끗한 값 0.30에 노이즈가 얹혀 0.90이 된 픽셀 — 의 정답은 0.30인데 모델이 낼 수 있는 최솟값이 0.45다. 구조적으로 도달 불가능하다. DnCNN 계열의 residual 연결은 input − noise_estimate 또는 Add이지 Average가 아니다. 세 모드의 비교 실험 자체가 공정한 비교가 아니게 된다.

scripts/Model1.py, Model2.py, Model3.py는 각각 320줄이고 diff로 확인한 차이가 정확히 두 줄이다 — 97행의 출력 파일명('Model1.png' / 'Model2.png' / 'Model3.png')과 297행의 --mode 기본값('base' / 'skip' / 'bn'). 그런데 이 두 값은 이미 CLI 인자로 노출되어 있다. 같은 저장소의 main.py가 --mode를 받고 모듈 구조도 멀쩡한데, 제출을 위해 전부 한 파일로 인라인한 뒤 세 벌 복제했다.

같은 코드가 세 벌이면 버그도 세 벌이다. 위에서 지적한 검증셋 오염(Model*.py:111–112)과 출력 ReLU/average 문제(Model*.py:195,197–198)가 세 파일에 그대로 복제되어 있다. 그리고 이 과제에는 README가 없다 — 어떤 모드가 몇 dB였는지, 노이즈 σ가 얼마였는지, 무엇을 비교해 무슨 결론을 냈는지 저장소 어디에도 문장으로 남아 있지 않다. PNG 세 장이 전부다.

Eval.to_png는 확장자를 분리해 놓고 다시 붙일 때 점을 빠뜨린다. noisy.png를 넣으면 noisy-resultpng가 나온다 — 확장자 없는 파일이라 cv2.imwrite가 포맷을 결정하지 못한다. scripts/의 세 복사본에서는 이 줄이 filename = 'Model1.png' 하드코딩으로 "해결"되어 96행의 *path, ext = filename.split('.')이 결과를 쓰지 않는 죽은 줄로 남았다.

채널 순서도 어긋난다. 학습 데이터는 keras.datasets.cifar10.load_data()로 RGB인데, 추론 입력은 cv2.imread(filename)으로 BGR이다(utils/data.py:15). 거기에 CIFAR-10 32×32에서 σ=0.1로 학습한 모델을 노이즈 수준을 알 수 없는 512×512 사진에 그대로 적용한다. 정답 이미지가 없으니 PSNR도 낼 수 없다 — 제출물이 눈으로 보는 PNG 세 장에서 끝나는 구조적 이유다.

lib/model.py:38–39에서 CustomCallback이 통째로 주석 처리되어 콜백 리스트가 비어 있다. 학습 중 어떤 이미지 서머리도 남지 않는다. 그리고 주석을 풀어도 동작하지 않는다 — 2020년 6월 커밋에서 TF2로 기계적으로 치환하면서 utils/callback.py:42가 tf.compat.v1.summary(value=...)가 되었는데 tf.compat.v1.summary는 모듈이라 호출할 수 없고, 38행의 tf.summary.Image는 TF2에 존재하지 않는 이름이다. 고치는 대신 주석으로 덮었다.

Dataset.__len__이 50,000(CIFAR 학습셋 크기)을 반환하고 그것이 steps_per_epoch로 쓰이므로, 기본 --epoch 100은 배치 32 기준 1.6억 샘플을 의미한다. SuperResolution과 같은 np.roll 배치 중복 문제도 동일하게 있다(utils/data.py:67).