유명한 응~드류앤, 테슬라의 Russel, Karpathy, 페이스북의 Johnson 등의 언급을 정리...
Dall-E / CLIP 등 트랜스포머 기반의 멀티모달 모델이 참신한데, 결국 데이터가 최강이다
트랜스포머가 딥러닝을 통합하는 중...
하드웨어에서 병렬처리 ,최적화가 가능한 모델이 더 중요해지고 있다. (C++)
학습을 지속할 수 잇는 모델이 필요하다... (한가지 타스크가 아닌, 계속 나아갈 수 있는...)
기존의 Data-first Benchmark, 그러니까, 데이터셋은 고정시켜놓고, 모델은 변화시키며 성능을 체크하는 것에서,
Model-first Benchmark, 그러니까, 모델은 고정시켜놓고, 데이터셋을 변화시켜가며, 모델에 맞는 데이터셋이 어떤 것인지 찾아가는 방식이 필요하다...
모델이 이해할 수 있는 Consistency한 레이블을 가진 데이터를 구성해야한다. 물론 데이타가 뒤지게 많으면 좀 Noisy해도 되지만... 한계가 있겠지.
DevOps(프로그램 배포) 에서 MLOps(데이터 수집, 훌녀, 배포) 로 직군이 변화...
BigData가 아니라 GoodData가 중요하다.
즉, Consistent, Important case covering, Feedback, Sized appropriately...를 갖춰야한다...