주니어 개발자 배광호입니다.

👨‍💻 팀원과 함께 가치를 만들어 가고 싶습니다.

학부생으로 이것저것 해오면서도 부족한 점이 많았습니다.
스스로 작성하는 코드와 방향성에 대한 끊임없는 의심을 쌓고만 살았습니다.
결국 성과가 없는 시간을 보내게 되었습니다.

그렇기에, 정말 간절히 열정있는, 적어도 해야 한다면 즐길 수 있는 사람들과 개발을 하고 싶습니다.

🔨 Techs that i’ve used at least once

  • ML/DL

  • BackEnd&DB

  • FrontEnd&App

  • Basic

가장 친숙한 언어들로는 가 있습니다.

🎫 Personal & Team Project

📰 Web Application

1. knlab - nextrend 서비스 개발전담

진행기간 2020.05 ~ (1년 6개월)
주요내용
크롤링된 각국의 정책문서를 전문가가 직접 정제하거나, 수기로 등록한 문서자료등을 사용자에게 서비스할 수 있는 웹시스템입니다.
역할 및 업무
크롤링 된 데이터 정제 및 등록, 사용자에게 표출 등 웹서비스 개발 전담
결과/경과

  • 기존 php로 개발되어 있던 내용을 인수받아 유지/보수 하였습니다.
  • elasticsearch 및 solr에 저장되어 있는 크롤데이터를 웹서비스에 맞게 CRUD 할 수 있었습니다.
  • jquery를 통한 FE 개발 및 antd/bootstrap 과 같은 프레임워크를 사용하여 보수하였습니다.
  • 현재 기술스택 이전 과정에 있으며, react 및 node express로 전환이 진행중입니다.

🔬 AI project

1. 인공지능 그랜드 챌린지 5차 2단계

진행기간 2021.10.11 - 2021.10.29 (2주)   |   준비기간 2021.06. - 2021.10. (4개월)
주요내용
한글로 된 초등학교 서술형 수학문제를 딥러닝을 통해 해결하고자 하는 task였습니다. 주최측에서 준비한 데이터 약 1000건에 대해, 제출한 모델의 예측 수식과 정답을 비교하여 점수를 산출하였습니다. 학습 데이터가 제공되지 않았던 점이 특이한 챌린지였습니다.
역할 및 업무
학습 파이프라인 및 검증 파이프라인 제작, 모델 수정 (1인 프로젝트)
결과/경과

  • 공개된 tree equation solver[1] 모델의 encoder를 language model로 바꾸어 최종 모델로 제출하였습니다.
  • 그 밖에 다른 모델들 (MTMSN[2], genBERT[3], openNMT) 등을 사용하여 한글 수학 문제 풀이를 시도하였고, 결과 도출이 가능하지만 이는 많은 데이터셋이 요구된다는 한계점이 있었습니다.
  • 데이터 구축이 여의치 않은 상황에서, 번역 데이터를 수기로 약 1000건 만들었고 이를 학습하여 사용하였습니다.
  • 참여한 34팀 중 22등으로 마무리 하였습니다.

참고문헌

  1. Qin, J., Lin, L., Liang, X., Zhang, R., & Lin, L. (2020). Semantically-aligned universal tree-structured solver for math word problems. arXiv preprint arXiv:2010.06823.
  2. Jin, Y., Zheng, T., Gao, C., & Xu, G. (2021). MTMSN: Multi-Task and Multi-Modal Sequence Network for Facial Action Unit and Expression Recognition. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 3597-3602).
  3. Geva, M., Gupta, A., & Berant, J. (2020). Injecting numerical reasoning skills into language models. arXiv preprint arXiv:2004.04487.
2. The 3rd Financial Narrative Processing Workshop (FNP 2021)

진행기간 2021.06. - 2021.08.23 (3개월)
주요내용
영국의 경제 보고서를 3페이지 정도로 짧게 요약하여야 하는 문제였습니다. 학습용 데이터에 특수문자, 빈 개행 및 공백 등이 본문 내용 사이에 많이 포함되어 있었습니다.
역할 및 업무
데이터 전처리 및 모델 학습 (3인 프로젝트)
결과/경과

  • abstract task용 language model을 사용하여 제출하게 되었습니다.
  • 점수를 산정하는 방법이 나와있지 않았기에 학습 전략과 데이터 가공에 있어서 번복이 많았습니다.
  • 참가팀 중 하위권의 성적을 기록하게 되었습니다.
3. Kaggle BirdCLEF 2021

진행기간 2021.04. - 2021.06.01 (3개월)
주요내용
전세계에서 녹음된 새소리를 분류하고자 하는 task 이며, 학교 수업으로 참여하게 되었습니다. 녹음 파일은 다양한 일상 속의 소리를 포함하며(희미하게 들리는 말, 자동차 소리 등) 여러 마리의 새를 동시에 분류하기도 하여야 하였습니다.
역할 및 업무
feature 발굴 및 참고문헌 loss function 과 기법 적용 (2인 프로젝트)
결과/경과

  • efficient net 혹은 resnest 모델에 fold verification을 적용한 방법과, sound event detection(sed) 모델을 사용하는 방법을 baseline으로 사용해보았습니다.
  • 단어 한정 음성 인식 앱 개발에서 사용된 모델을 활용하려다 실패하였습니다. 짧은 프레임에 대해 하나의 분류로 정하는 기존 프로젝트와 달리, 이는 multi label classification 이었기 때문에 목적이었던 Asymmetric Loss[1] 함수를 잘못 적용하여 모델의 학습이 진행되지 않았던 것으로 추측됩니다.
  • 결국 baseline에서 threshold optimizing[2] 만을 적용한 모델을 제출했고, 368/816 등을 기록하였습니다.

참고문헌

  1. Ben-Baruch, E., Ridnik, T., Zamir, N., Noy, A., Friedman, I., Protter, M., & Zelnik-Manor, L. (2020). Asymmetric loss for multi-label classification. arXiv preprint arXiv:2009.14119.
  2. Kong, Q., Xu, Y., Wang, W., & Plumbley, M. D. (2020). Sound event detection of weakly labelled data with CNN-transformer and automatic threshold optimization. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 28, 2450-2460.
4. 한글 Scene text 음소 분리 OCR

진행기간 2021.04. - 2021.06.01 (3개월)
주요내용
학교 프로젝트로 진행하였습니다. 기존의 ocr 기법에서, 한글의 초성,중성,종성을 이용하여 특화된 모델을 만들고 이를 검증하기 위한 연구를 진행하였습니다.
역할 및 업무
학습 파이프라인 및 검증 파이프라인 제작, 모델 수정 (3인 프로젝트)
결과/경과

  • 당시 공개된 최신 한글 OCR 모델이 없었기 때문에, ASTER[1]와 CRNN[2] 모델을 활용하여 실험을 진행하고자 하였습니다.
  • ICDAR-2015/2017 Multi-lingual scene text detection의 한글 데이터와, aihub에서 공개된(실험 막바지에 공개되었습니다.) 데이터를 통해 학습을 진행하였습니다.
  • 이 과정중에 직접 데이터셋을 만들기 위해 TextRecognitionDataGenerator 및 SynthText를 활용한 모듈을 제작했으나, 전자는 학습에 큰 영향력이 없었고 후자는 python 개발 버전의 상이함으로 활용이 어려웠습니다.
  • 실험 결과, 음소 분리를 통한 학습이 정확도 측면에서는 개선이 되지 않았습니다. 그 이유로 1-D의 seq2seq로 구성된 아키텍쳐가 음소와 같은 2-D 위치 정보를 학습할 수 없었기 때문이라고 생각됩니다.

참고문헌

  1. BShi, B., Yang, M., Wang, X., Lyu, P., Yao, C., & Bai, X. (2018). Aster: An attentional scene text recognizer with flexible rectification. IEEE transactions on pattern analysis and machine intelligence, 41(9), 2035-2048.
  2. Baek, J., Kim, G., Lee, J., Park, S., Han, D., Yun, S., ... & Lee, H. (2019). What is wrong with scene text recognition model comparisons? dataset and model analysis. In Proceedings of the IEEE/CVF International Conference on Computer Vision (pp. 4715-4723).
5. 단어 한정 음성 인식 앱 개발

진행기간 2020.11. - 2021.01. (3개월)
주요내용
연구실 프로젝트로 진행하였습니다. 특정 상황에서 사용하기 위한 단어 한정 음성 인식 앱을 개발하는 것이 목표였습니다. 상용적으로 사용되지는 않을 예정이었기 때문에 디자인 요소를 제외한 프로토타입으로만 개발을 끝마쳤습니다.
역할 및 업무
모델 학습 및 앱 개발 (1인 프로젝트)
결과/경과

  • 25가지의 단어에 대한 예측이 가능합니다.
  • 소리 feature에 대한 전반적인 이해를 할 수 있었습니다. (mfcc, mel-spectrogram)
  • 이를 image로 변환하여 image classification으로 문제를 해결할 수 있었습니다.
  • resnet50으로 정확도 94%를 달성한 이후, few-shot learning 을 적용하여 98%까지 정확도를 개선시킬 수 있었습니다.
  • tflite 라이브러리를 통해 export한 모델을 기기에 올려 실행하는 앱을 만들 수 있었습니다.

🏆 Award

2021년 한국정보기술학회 대학생논문경진대회 동상

(봉사 활동 장려를 위한 참여 경험 공유 시스템)

💡 Contact

📭 qorhkdgh00@gmail.com