[Review] AttentionFool
Introduction Attention이 트랜스포머가 언어 처리와 이미지 처리의 다양한 분야에 좋은 성능을 거두는데 큰 역할을 했다. 최근 비전 트랜스포머는 분류, segmentation, object detection, 비디오 이해 등 다양한 task를 수행하기 위해 각기 다른...
Introduction Attention이 트랜스포머가 언어 처리와 이미지 처리의 다양한 분야에 좋은 성능을 거두는데 큰 역할을 했다. 최근 비전 트랜스포머는 분류, segmentation, object detection, 비디오 이해 등 다양한 task를 수행하기 위해 각기 다른...
Introduction ViT가 vision task에서 좋은 성능을 보여주고 있고 real world에 적용하기 위해 robustness가 중요하다. 선행 연구에 따르면 attention이 이미지의 전역적 연관성을 고려하기 때문에 CNN보다 robust하다. 하지만 ViT 구조에...
DeepSeek DeepSeek는 DeepSeek에서 만든 언어 모델로, 적은 비용으로 ChatGPT와 비슷한 성능을 낸다고 하는 모델이다. 여러 버전이 있는데 V1 -> V2 -> V3 -> R1 순으로 발전되었다. 각 버전에 구조적인 변화나 학습 방법을 변경하여...
Abtract 인공지능 모델이 적대적 공격에 취약하다는 사실이 잘 알려져 있다. 따라서 모델은 공격에 대한 강건성을 확보해야 하는데, 강건성을 평가하기 위한 효율적이고 정량적인 방법이 없다. 따라서 본 논문은 모델의 강건성을 평가하기 위해, 비용을 최소한으로 들이는 적대적 이미지 ...
Abstract Publication: NeurIPS 2022 Citation: 54(24.08.13) 주제: Concept Bottleneck Model(CBM)에서 concept을 임베딩으로 표현 연구 배경 CBM은 concept을 scala...