본문 바로가기

IT

[Measure Theory] 2강- Sigma-algebras 강의 자체가 한 강의당 10분 정도밖에 안되서 포스팅 자체를 짧게 진행하도록 하겠습니다. 1. Sigma-algebras measure theory의 제일 첫번째 정의는 Sigma-algebra라고 합니다. Sigma-algebra의 정의는 다음과 같습니다. 여기서 는 멱집합인데, 예를들어 일 때, 이 됩니다. 말 그대로 여집합에 닫혀있고, 셀수있는 합집합에 닫혀있어야된다는 이야기인데, 이에 대해서 강사가 몇가지 Remark를 해주는데, 아래와 같습니다. Sigma-algebra의 기본 정의는 non-empty니까 공집합이 아닌 set이고, 여기서 E(Event)는 이러한 set의 collection member니까 이는 당연히 A에 속해있고 E의 여집합도 마찬가지입니다. 여기서 어떠한 특정한 E와 E의.. 더보기
[Measure Theory] 1강- Banach-Tarski Paradox 요즘 Measure theory에 대해서 공부하고있습니다. 공부하고있는 영상은 링크(Probability Primer)에서 확인하실 수 있습니다. 포스팅은 영상을 보고 공부한 내용들을 자체적인 요약정도로만 진행할 예정입니다.1. Measure Theory 첫 강의에서는 현대 확률론은 Measure Theory 부터 시작을 하는데 Measure Theory가 무엇이고 어디에 좋고, 왜 해야하느냐? 대한 답을 Banach Tarski Paradox에 대해서 이야기하면서 Measure Theory의 중요성? 에 대해서 언급합니다. Banach Tarski Paradox Banach Tarski Paradox는 내용이 꽉 차있는 3차원의 Solid Ball을 finite한 조각들로 잘라서 이를 Rigid Tra.. 더보기
[Deeplearning] Yolov3: An Incremental Improvement 이번 포스팅은 Yolo v3 논문에 대해서 리뷰하도록 하겠습니다. 1. The Deal YOLO v3는 다른 사람들의 아이디어들을 차용한 내용입니다. 1-1. Bounding Box Prediction YOLO 9000에서의 Box coordinate prediction은 다음과 같은 방식으로 계산됩니다. 기존의 YOLO 9000은 Anchor Box와 Reference Center Point의 Shift값인 을 예측하고, 값을 구해서 L2 LOSS를 통해서 학습을 시켰는데, 이에 대한 컨셉을 변경해서 위의 기존 식을 inverse해서 다이렉트로 값들의 L1 LOSS값을 구하겠다고 합니다. 아마 아래와 같은 방식으로 기존의 BOX GT를 inverse해서 L1 LOSS를 구해서 학습을 진행한 것 같습니다.. 더보기
[Deeplearning] BinaryConnect: Training Deep Neural Networks with binary weights during propagations 이번 포스팅은 해용님과 진행한 BinaryConnect에 대한 논문을 리뷰하려고 합니다. 논문BinaryConnect: Training Deep Neural Networks with binary weights during propagations 구현체BinaryConnect 읽다보니까 BinaryConnect는 weights만 quantization을 수행하지만, Binarized Neural Network는 weight와 activation을 둘다 quantization하는 논문이고, 이전에 했던 포스팅인 Binarized Neural Network 논문 저자와 같아서 BinaryConnect 논문의 후속이 Binarized Neural Network라는 인상이 강하게 들었습니다. 덕분에 논문 읽는데 .. 더보기
[Deeplearning] YOLO9000: Better, Faster, Stronger 이번 포스팅은 YOLO9000: Better, Faster, Stronger (YOLO v2)에 대한 논문을 리뷰하도록 하겠습니다.전에 정리한 적이 있는데, 발표를 해야하는 상황이 왔었는데 죄다 까먹어서... 다시 정리하는 겸 복습해보려고 합니다.아래에는 YOLO 9000의 구현체와 이해를 더 도울 수 있는 참고 영상을 첨부합니다. 구현체(Implementation)Darknet 논문 리뷰 참고 영상PR-23 :: YOLO 9000: Better, Faster, Stronger1. Introduction Object Detection 데이터 셋들은 Classification 등의 데이터 셋과 비교하면 너무 제한적이다. 일반적으로 detection을 위한 dataset은 수십 ~ 수백개의 클래스를 포함한 .. 더보기
[Deeplearning] OverFeat: Integrated Recognition, Localization and Detection using Convolutional Networks Deeplearning기반 Object Detection System에 주류가되는 알고리즘들은 컨셉적으로 다 알고 있다고 생각했었는데, 막상 여러가지 이유로 논문을 다시 보게 되니까 제가 이해하고 있던 부분들이 많이 틀렸다는 것을 알게되었습니다. 그래서 이번 포스팅은 Object Detection 논문 중, OverFeat이라는 논문을 리뷰하도록 하겠습니다. 시작하기 전에, Object Detection 시스템에 대한 개략적인 이해는 알고있다는 가정을 하고 진행하도록 하겠습니다. 1. Classification1-1. Model Design and Training ImageNet 2012 데이터셋을 사용(1.2 million images and Class = 1,000 classes)고정된 입력데이터 사.. 더보기
[Deeplearning] Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 to -1 [1] 정말 오랜만에 블로그 포스팅을 진행하는 거 같습니다. 최근 서강대학교의 권해용님과 YOLO Darknet의 코드 리뷰를 진행하고 나서, Binary Neural Network에 대해서 공부하고 있습니다. 너무 오랫동안 기록 없이 스터디만 진행해왔고, 최근 너무 방대한 내용들이 기록되지 않은 상태로 남아있어서 이제 슬슬 기록을 진행해볼까 합니다. 이번 포스팅은 [Binarized Neural Networks: Training Neural Networks with Weights and Activations Constrained to +1 to -1:: https://arxiv.org/pdf/1602.02830.pdf] 에 대해서 논문 리뷰를 진행하도록 하겠습니다. Binary Neural Network의 구.. 더보기
[CNN classifier / YOLO DARKNET] classifier code review :: load_network- [2.3] 1. [CNN classifier / YOLO DARKNET] classifier code review :: Intro- [1]2. [CNN classifier / YOLO DARKNET] classifier code review :: load_network- [2.1]3. [CNN classifier / YOLO DARKNET] classifier code review :: load_network- [2.2] 저번 포스팅에서는 load_network함수에서 parse_network_cfg 함수의 read_cfg함수를 살펴보았습니다. 이번 포스팅은 make_network함수, is_network함수, parse_net_options함수까지 살펴보도록 하겠습니다. 1. make_network, is_net.. 더보기
[CNN classifier / YOLO DARKNET] classifier code review :: load_network- [2.2] 1. [CNN classifier / YOLO DARKNET] classifier code review :: Intro- [1]2. [CNN classifier / YOLO DARKNET] classifier code review :: load_network- [2.1] 저번 포스팅에서는 load_network함수의 parse_network_cfg 함수까지 개략적으로 살펴보았습니다. 이번 포스팅은 parse_network_cfg함수의 한줄한줄씩, 코드 리뷰를 진행하도록 하겠습니다. 1. read_cfg:: src/parse.cread_cfg함수는 parse.c 파일에 위치하고 있습니다. parse_network_cfg 함수안에서는 1번째 라인에 read_cfg 코드가 다음과 같이 나타나있습니다. 1. f.. 더보기
[CNN classifier / YOLO DARKNET] classifier code review :: load_network- [2.1] 1. [CNN classifier / YOLO DARKNET] classifier code review :: Intro- [1] 이번 포스팅에서는 1. [CNN classifier / YOLO DARKNET] classifier code review :: Intro- [1]에서 진행했던 리뷰에서 조금 더 자세히 들어가서 리뷰를 진행하도록 하겠습니다. 이번 포스팅은 predict_classifier 함수에서 첫번째 줄인, load_network에 대해서 살펴보도록 하겠습니다. 1. predict_classifier :: example/classifier.c load_network는 predict_classifier에서 1번째 라인에 위치하고 있습니다. void predict_classifier(char *.. 더보기