Bước tới nội dung

Vision transformer

Bách khoa toàn thư mở Wikipedia
Kiến trúc của bộ Vision Transformer. Ảnh đầu vào được chia thành các mảng nhỏ (patches), mỗi mảng được ánh xạ tuyến tính qua một lớp nhúng mảng (patch embedding layer), trước khi đi vào bộ mã hóa Transformer tiêu chuẩn.
Kiến trúc của bộ Vision Transformer. Ảnh đầu vào được chia thành các mảng nhỏ (patches), mỗi mảng được ánh xạ tuyến tính qua một lớp nhúng mảng (patch embedding layer), trước khi đi vào bộ mã hóa Transformer tiêu chuẩn.
Một phần của loạt bài về
Học máy và
khai phá dữ liệu
Tập tin:Multi-Layer Neural Network-Vector-Blank.svg
Các vấn đề
Phân cụm
Giảm chiều dữ liệu
Dự đoán cấu trúc
Phát hiện bất thường
Mạng thần kinh nhân tạo
Học tăng cường
Lý thuyết
Hội nghị/tạp chí
Bài viết liên quan

Vision Transformer (viết tắt ViT, tạm dịch là bộ biến đổi thị giác) là một kiến trúc transformer được thiết kế cho lĩnh vực thị giác máy tính.[1] ViT chia ảnh đầu vào thành các mảnh nhỏ (patch), chuyển mỗi mảnh thành một vector qua một phép nhân ma trận, rồi cộng thêm vector mã hóa vị trí (positional encoding) để bảo toàn thông tin không gian của từng mảnh trong ảnh gốc. Dãy vector kết quả sau đó được đưa qua một bộ mã hóa transformer tương tự cách các transformer truyền thống xử lý chuỗi token văn bản. Cách tiếp cận này cho phép mô hình nắm bắt mối quan hệ giữa các vùng ảnh cách xa nhau mà không cần dùng tích chập, đồng thời tránh được việc đơn thuần chỉ làm phẳng toàn bộ ảnh thành một vector dài như các perceptron đa lớp vốn làm mất hoàn toàn cấu trúc không gian của dữ liệu.

ViT được thiết kế như một giải pháp thay thế cho mạng neuron tích chập (CNN) trong các bài toán thị giác máy tính. So với CNN, ViT kém hiệu quả hơn khi dữ liệu huấn luyện ít, nhưng với đủ dữ liệu, nó có khả năng xử lý thông tin cao hơn và khả năng nắm bắt các mối quan hệ tầm xa giữa các vùng ảnh tốt hơn.[2] Một số mô hình thị giác máy tính lớn nhất hiện nay là các ViT, bao gồm mô hình 22 tỷ tham số của Google.[3]

Lịch sử

Kiến trúc transformer được giới thiệu năm 2017 qua bài báo Attention Is All You Need và nhanh chóng trở thành nền tảng của xử lý ngôn ngữ tự nhiên.[4] Năm 2019, một nhóm nghiên cứu thử nghiệm áp dụng cơ chế tự chú ý (self-attention) của transformer vào thị giác máy tính bằng cách lấy kiến trúc ResNet làm nền và thay toàn bộ các nhân tích chập bằng cơ chế tự chú ý. Kết quả vượt trội hơn ResNet gốc, tuy nhiên đây chưa phải là một Vision Transformer theo nghĩa đầy đủ.[5]

Năm 2020, một transformer chỉ có bộ mã hóa (encoder-only) được điều chỉnh trực tiếp cho thị giác máy tính, tạo ra ViT. Mô hình này đạt kết quả tốt nhất tại thời điểm đó trong bài toán phân loại ảnh và chấm dứt sự thống trị kéo dài của CNN.[1] Năm 2022, bộ mã hóa tự động có mặt nạ (masked autoencoder, MAE) mở rộng ViT để hoạt động với huấn luyện không giám sát. Hai kiến trúc này lần lượt kéo theo làn sóng cải tiến trở lại trong chính các mạng neuron tích chập.[6]

Năm 2023, nhóm nghiên cứu tại Google DeepMind giới thiệu NaViT (Native Resolution ViT), giải quyết một hạn chế lâu dài của các mô hình thị giác: thói quen co giãn ảnh đầu vào về một độ phân giải cố định trước khi xử lý. NaViT sử dụng kỹ thuật đóng gói chuỗi (sequence packing) cùng với mã hóa vị trí phân tách theo trục (factorized positional embeddings) để xử lý ảnh ở độ phân giải và tỉ lệ khung hình tùy ý, đồng thời cải thiện hiệu quả huấn luyện.[7] Năm 2024, Heo và các cộng sự nghiên cứu có hệ thống việc áp dụng mã hóa vị trí xoay (Rotary Position Embedding, RoPE) vốn phổ biến trong các mô hình ngôn ngữ vào ViT 2D, và chứng minh rằng RoPE giúp mô hình duy trì độ chính xác khi xử lý ngay cả ảnh ở độ phân giải cao hơn khi chạy mô hình so với ảnh trong quá trình huấn luyện.[8]

Kiến trúc

Kiến trúc gốc

Hoạt ảnh cách hoạt động của của ViT. Token thứ 0 là token đặc biệt <CLS>. 9 patch còn lại được chiếu qua một lớp tuyến tính trước khi được đưa vào bộ mã hóa Transformer dưới dạng các token đầu vào từ 1 đến 9.
Hoạt ảnh cách hoạt động của của ViT. Token thứ 0 là token đặc biệt <CLS>. 9 patch còn lại được chiếu qua một lớp tuyến tính trước khi được đưa vào bộ mã hóa Transformer dưới dạng các token đầu vào từ 1 đến 9.

Kiến trúc cơ bản của ViT, được mô tả trong bài báo gốc năm 2020,[1] về bản chất là một transformer chỉ có bộ mã hóa theo kiểu BERT.

Ảnh đầu vào có dạng ℝH×W×C, trong đó H,W,C lần lượt là chiều cao, chiều rộng và số kênh màu (RGB). Ảnh được chia thành các mảnh vuông có dạng ℝP×P×C. Mỗi mảnh được đưa qua một toán tử tuyến tính để tạo ra một vector (patch embedding). Vị trí của mảnh trong ảnh gốc cũng được mã hóa thành một vector riêng (position encoding). Trong đó, bài báo gốc thử nghiệm bốn phương án gồm không mã hóa, mã hóa 1D, mã hóa 2D và mã hóa tương đối, trong đó mã hóa 1D cho kết quả tốt nhất.[1] Hai vector patch embedding và position encoding được cộng lại, sau đó đưa qua một dãy các bộ mã hóa transformer.

Cơ chế chú ý trong ViT liên tục biến đổi các vector đại diện của từng mảnh ảnh, tích lũy dần các mối quan hệ ngữ nghĩa giữa các vùng ảnh khác nhau, tương tự cách các vector trong transformer ngôn ngữ dần nắm bắt quan hệ ngữ nghĩa giữa các từ, từ cú pháp đến ngữ nghĩa. Để sử dụng ViT cho các bài toán cụ thể, cần thêm một đầu ra (head) phù hợp. Ví dụ, để phân loại ảnh, bài báo gốc dùng một mạng tuyến tính-GeLU-tuyến tính-softmax ở lớp cuối cùng để tạo ra phân phối xác suất cho từng đầu ra.[1]

Giống với BERT, ViT gốc dùng một token đặc biệt <CLS> ở đầu chuỗi đầu vào. Vector đầu ra tương ứng với token này được dùng làm đầu vào duy nhất cho đầu ra phân loại—đây là một thủ thuật kiến trúc để ép mô hình nén toàn bộ thông tin cần thiết cho việc phân loại vào một vector duy nhất.[1]

So sánh với mạng neuron tích chập

ViT và CNN có những thiên kiến quy nạp (inductive bias) khác nhau, dẫn đến hành vi khác biệt trong huấn luyện và sử dụng.[2]

CNN áp dụng cùng một bộ bộ lọc lên toàn bộ ảnh, khiến chúng hiệu quả hơn khi dữ liệu ít và ít nhạy cảm hơn với các nhiễu cục bộ. Ngược lại, ViT dùng cơ chế tự chú ý, cho phép nắm bắt các mối quan hệ tầm xa giữa các mảnh ảnh một cách tự nhiên.[2] ViT cũng tỏ ra bền vững hơn trước các biến dạng của ảnh đầu vào như các mảnh đối nghịch (adversarial patch) hay hoán vị vị trí pixel.[9] Tuy nhiên, ViT đòi hỏi nhiều dữ liệu huấn luyện hơn và nhạy cảm hơn với việc chọn bộ tối ưu hóa như giữa hàm suy giảm độ dốc truyền thống hay kết hợp với quán tính (momentum gradient descent) hoặc bộ tối ưu hóa Adam, các siêu tham số (hyper-parameter), và số lớp của mạng thần kinh. Tiền xử lý bằng một lớp tích chập nhỏ ở đầu vào trước khi truyền vào ViT có thể giúp cải thiện cả hiệu năng lẫn sự ổn định huấn luyện.[10]

Về kích thước mảnh, ViT thường dùng các mảnh lớn hơn nhiều so với nhân tích chập CNN thông thường (16×16 pixel hoặc lớn hơn so với 3×3 đến 7×7 của CNN). Thay vì tính toán quan hệ cho từng cặp pixel vốn có chi phí bộ nhớ và tính toán cực lớn, ViT chỉ tính toán quan hệ giữa các mảnh với nhau, giúp giảm đáng kể chi phí trong khi vẫn nắm bắt được cấu trúc không gian của ảnh.[1]

Pooling (gộp)

Sau khi xử lý ảnh, ViT tạo ra một dãy vector embedding (một vector cho mỗi mảng ảnh) cần được tổng hợp lại thành một dự đoán duy nhất. Có ba phương pháp chính:

  • Token CLS là phương pháp dùng trong ViT gốc và MAE, mô phỏng theo BERT. Một token đặc biệt [CLS] được chèn vào đầu chuỗi đầu vào và không tương ứng với bất kỳ mảnh ảnh nào. Trong quá trình xử lý, thông qua cơ chế tự chú ý, token này dần tích lũy thông tin từ toàn bộ các mảnh còn lại. Vector đầu ra tại vị trí token CLS sau đó được đưa qua các lớp chuẩn hóa-tuyến tính-softmax để tạo ra dự đoán cuối cùng.[1]
  • Gộp trung bình toàn cục (global average pooling, GAP) bỏ qua token đặc biệt, thay vào đó lấy trung bình cộng của tất cả các vector đầu ra tương ứng với các mảnh ảnh, rồi dùng vector trung bình đó làm đại diện cho toàn ảnh. Cách này đơn giản hơn và không cần thêm tham số, đồng thời bài báo gốc ghi nhận cho kết quả tương đương token CLS.[1]
  • Gộp chú ý đa đầu (multihead attention pooling, MAP) thay thế bước tổng hợp đơn giản bằng một khối chú ý đa đầu có thể học được. Cụ thể, một vector truy vấn q có thể học được đóng vai trò là "câu hỏi" gửi đến toàn bộ dãy vector đầu ra x1,x2,…,xn đóng vai trò là cặp key-value của transformer để tổng hợp thông tin một cách có chọn lọc thay vì lấy trung bình đơn thuần. Phương pháp này lần đầu được đề xuất trong kiến trúc Set Transformer[11] và được áp dụng vào ViT trong nghiên cứu về mở rộng quy mô cho loại mô hình này.[12]

Các nghiên cứu sau này cho thấy cả GAP lẫn MAP đều vượt trội hơn phương pháp token CLS kiểu BERT.[12] Chú ý tuy cùng tên nhưng lớp pooling để tổng hợp thông tin đầu ra cho mục đích phân loại của ViT không liên quan gì đến lớp pooling để giảm kích thước không gian đặc trưng của CNN.

Các biến thể

Bộ mã hóa tự động được che

Kiến trúc bộ mã hóa tự động được che, với khả năng khử nhiễu khỏi các mảng ảnh bị che.
Kiến trúc bộ mã hóa tự động được che, với khả năng khử nhiễu khỏi các mảng ảnh bị che.

Bộ mã hóa tự động được che (masked autoencoder, MAE) lấy cảm hứng từ các bộ mã hóa tự động khử nhiễu và bộ mã hóa ngữ cảnh.[13] Kiến trúc MAE gồm hai ViT nối tiếp nhau: bộ mã hóa nhận các mảnh ảnh kèm mã hóa vị trí và tạo ra các vector đại diện cho từng mảnh; còn "bộ giải mã" (dù tên gọi vậy nhưng thực chất vẫn là một transformer chỉ có bộ mã hóa) nhận các vector đó kèm mã hóa vị trí và tái tạo lại các mảnh ảnh gốc.[14]

Trong quá trình huấn luyện, ảnh đầu vào được chia thành các mảnh, sau đó một tỉ lệ nhất định các mảnh bị che đi bằng các token mặt nạ (mask token). Mạng được giao nhiệm vụ tái tạo lại toàn bộ ảnh chỉ từ các mảnh không bị che. Các thử nghiệm trên tập dữ liệu ImageNet-1K cho thấy tỉ lệ che 75% cho hiệu năng tốt nhất. Vì bộ mã hóa chỉ xử lý các mảnh không bị che trong lúc huấn luyện, MAE tiết kiệm đáng kể bộ nhớ và chi phí tính toán so với việc xử lý toàn bộ ảnh. Khi dự đoán, bộ giải mã được bỏ qua hoàn toàn; toàn bộ mảnh ảnh không che được đưa thẳng vào bộ mã hóa.[14] Một kiến trúc tương tự được công bố cùng thời điểm là BEiT (BERT Pre-Training of Image Transformers).[15]

MAE đã được mở rộng theo nhiều hướng khác nhau. Trong lĩnh vực y tế, MAE được dùng cho tiền huấn luyện tự giám sát trên ảnh X-quang ngực và các loại ảnh y tế khác.[16] Một số biến thể đáng chú ý:

  • MAE có giám sát y tế (Medically Supervised MAE) giải quyết vấn đề tỉ lệ che cao của MAE gốc khi áp dụng vào các tập dữ liệu tổn thương y tế, bằng cách dùng một tập huấn luyện có giám sát để tạo ra bản đồ chú ý cục bộ, từ đó kiểm soát những mảnh nào bị che. Biến thể này đạt kết quả tốt nhất tính đến tháng 1/2025 trên nhiều tập dữ liệu phân loại tổn thương y tế.[17]
  • GLCM-MAE dùng ma trận đồng xuất hiện mức xám (Gray Level Co-occurrence Matrix) để trích xuất thông tin kết cấu từ ảnh, khắc phục hiện tượng MAE gốc làm mịn quá mức khiến mất các chi tiết quan trọng trong ảnh y tế. GLCM-MAE đạt kết quả tốt nhất tính đến tháng 7/2025 trên các bài toán nhận diện ung thư túi mật, ung thư vú qua siêu âm, viêm phổi qua X-quang và COVID-19 qua CT.[18]
  • R-MAE (Region-aware MAE) thay thế bước chia mảnh thông thường bằng một thuật toán gán từng pixel vào các vùng quan tâm trong ảnh, sau đó che toàn bộ các vùng đó cùng lúc thay vì che theo mảnh vuông cố định.[19]
  • SiamMAE (Siamese Masked Autoencoders) mở rộng MAE sang dữ liệu video bằng cách gộp hai khung hình từ cùng một video, gán nhãn "quá khứ" và "tương lai". Mạng che khoảng 95% các mảnh của khung hình tương lai, giữ nguyên khung hình quá khứ, rồi đưa cả hai qua bộ mã hóa MAE. Bộ giải mã được thay bằng các khối chú ý ánh xạ từ khung hình quá khứ sang tương lai để tái tạo các mảnh bị che.[20]

DINO

DINO (self-distillation with no labels) là phương pháp huấn luyện ViT theo kiểu tự giám sát dựa trên chưng cất tri thức.[21] Trong DINO, mạng học sinh chính là mô hình đang được huấn luyện, còn mạng giáo viên là trung bình lũy thừa của các trạng thái quá khứ của mạng học sinh: θ't=αθt+α(1−α)θt−1+⋯. Hai vùng cắt khác nhau của cùng một ảnh được đưa vào mạng giáo viên và mạng học sinh, và hàm mất mát là entropy chéo giữa đầu ra của hai mạng.

Một vấn đề thường gặp với kiến trúc này là hiện tượng sụp đổ chế độ (mode collapse) khi mạng học cách bỏ qua đầu vào và luôn tạo ra cùng một đầu ra. DINO ngăn chặn điều này bằng hai kỹ thuật: làm sắc nét đầu ra của mạng giáo viên bằng hàm softmax nhiệt độ thấp để tạo ra các dự đoán "tự tin" hơn, buộc mạng học sinh phải học các đặc trưng có ý nghĩa; và căn giữa đầu ra của mạng giáo viên bằng cách lấy trung bình với các đầu ra trước đó, ngăn mô hình bị lệch về một giá trị cố định.[21]

Năm 2024, Meta AI Research phát hành DINOv2 với các cải tiến về kiến trúc, hàm mất mát và kỹ thuật tối ưu hóa, được huấn luyện trên tập dữ liệu lớn và đa dạng hơn, cho các đặc trưng có khả năng chuyển giao (transferable) tốt hơn trong các bài toán xuôi dòng.[22] Tháng 8 năm 2025, Meta AI Research tiếp tục phát hành DINOv3, nâng quy mô lên 7 tỷ tham số và tập huấn luyện lên 1,7 tỷ ảnh. DINOv3 bổ sung căn chỉnh hình ảnh-văn bản theo kiểu CLIP, đồng thời giới thiệu hai cải tiến kiến trúc: Gram anchoring áp dụng chưng cất tri thức lên ma trận Gram giữa các vector đặc trưng của các mảnh để ngăn chất lượng đặc trưng dày đặc suy giảm khi mở rộng mô hình; và áp dụng RoPE để mô hình xử lý tốt hơn ảnh có độ phân giải, tỉ lệ khung hình và kích thước khác nhau.[23]

Swin Transformer

Swin Transformer ("Shifted windows") lấy cảm hứng từ các mạng CNN truyền thống theo hai hướng chính. Thứ nhất, thay vì tính toán tự chú ý trên toàn bộ chuỗi mảnh, Swin chỉ tính trong các cửa sổ vuông cục bộ tương tự vùng tiếp nhận (receptive field) của một phép tích chập. Thứ hai, sau mỗi vài khối chú ý, một lớp gộp mảnh (merge layer) nhập các mảnh 2×2 liền kề thành một mảnh duy nhất—tương tự lớp gộp trong CNN—tạo ra biểu diễn phân cấp từ thô đến tinh.[24]

Swin Transformer V2 cải tiến thêm với ba thay đổi: chuẩn hóa theo lớp (LayerNorm) được đặt ngay sau mỗi khối chú ý hoặc khối tuyến tính thay vì đặt trước; cơ chế chú ý cosine có tỉ lệ thay thế cho tích vô hướng gốc; và độ lệch vị trí tương đối theo thang logarit liên tục, cho phép học chuyển giao (transfer learning) giữa các độ phân giải cửa sổ khác nhau.[25]

TimeSformer

TimeSformer được thiết kế cho bài toán hiểu nội dung video thông qua sử dụng cơ chế tự chú ý phân tách (factorized self-attention) tách biệt chiều không gian và chiều thời gian. Trong đó, video được chia thành các khung hình, mỗi khung hình được chia thành lưới mảnh vuông. Mỗi mảnh được ký hiệu bởi tọa độ x,y,t tương ứng với chiều ngang, chiều dọc và thời gian.[26]

Một lớp chú ý không gian (space attention) chỉ cho phép mỗi mảnh truy vấn qx,y,t chú ý đến các mảnh trong cùng khung hình (t′=t); ngược lại, một lớp chú ý thời gian (time attention) chỉ cho phép chú ý đến các mảnh có cùng vị trí không gian qua các khung hình khác nhau (x′=x,y′=y). Thử nghiệm thực nghiệm cho thấy thiết kế xen kẽ một lớp chú ý không gian và một lớp chú ý thời gian cho kết quả tốt nhất.[26]

ViT-VQGAN

ViT-VQGAN kết hợp lượng tử hóa vector (vector quantization) với mạng đối nghịch tạo sinh để học cách mã hóa ảnh thành chuỗi ký hiệu rời rạc. Kiến trúc gồm hai bộ mã hóa ViT và một bộ phân biệt: bộ mã hóa thứ nhất chuyển các mảnh 8×8 thành vector, các vector này chỉ được phép lấy giá trị từ một tập hữu hạn gọi là "sổ mã" (codebook); bộ mã hóa thứ hai tái tạo lại các mảnh ảnh từ các vector đã được lượng tử hóa; còn bộ phân biệt học cách phân biệt ảnh gốc với ảnh được tái tạo.[27]

Sau khi huấn luyện, ViT-VQGAN có thể mã hóa bất kỳ ảnh nào thành một chuỗi ký hiệu rời rạc và ngược lại. Chuỗi ký hiệu này có thể được dùng để huấn luyện một transformer tự hồi quy kiểu GPT để sinh ảnh. Đây là nền tảng của mô hình Parti của Google.[28]

Các biến thể khác

Nhiều biến thể khác đã được đề xuất nhằm cải thiện hiệu quả hoặc độ chính xác của ViT. DeiT (Data-efficient Image Transformers)[29] cải thiện hiệu quả dữ liệu của ViT gốc. CvT[30] và CoAtNet[31] là các kiến trúc lai kết hợp tích chập và tự chú ý. Kiến trúc Transformer in Transformer áp dụng thêm một lớp ViT bên trong từng mảnh trước khi đưa vào lớp ViT ngoài.[32] Mặc dù vậy, nhìn chung các ứng dụng hiện nay trên thực tế hay cho các mô hình tích hợp ngôn ngữ-thị giác vẫn chỉ sử dụng kiến trúc ViT truyền thống đơn giản.

Ứng dụng

Thị giác máy tính

ViT và các biến thể của nó đã trở thành mạng xương sống (backbone) phổ biến cho nhiều bài toán thị giác máy tính.[33][34]

Trong phân loại ảnh, ViT gốc đã vượt qua CNN trên các benchmark lớn như ImageNet khi được huấn luyện với đủ dữ liệu.[1] DeiT sau đó chứng minh ViT có thể đạt kết quả tương đương ngay cả khi huấn luyện chỉ trên ImageNet mà không cần tập dữ liệu lớn hơn, thông qua chưng cất tri thức từ CNN.[35] Năm 2021, OpenAI giới thiệu CLIP (Contrastive Language-Image Pre-training), mô hình huấn luyện đồng thời một bộ mã hóa ảnh dựa trên ViT và một bộ mã hóa văn bản trên 400 triệu cặp ảnh-chú thích từ internet, theo mục tiêu đối lập (contrastive objective) để căn chỉnh hai không gian biểu diễn.[36] Kết quả là một mô hình có khả năng phân loại ảnh kể cả các vật chưa từng thấy trong quá trình huấn luyện chỉ bằng cách so sánh embedding của ảnh với embedding của mô tả văn bản tương ứng.

Trong phát hiện vật thể, Swin Transformer được dùng rộng rãi làm xương sống và đạt kết quả tốt nhất tại thời điểm công bố trên tập benchmark COCO.[24] DETR (DEtection TRansformer) của Meta AI đề xuất hướng tiếp cận hoàn toàn mới: xem phát hiện vật thể là bài toán dự đoán tập hợp, dùng kiến trúc transformer để dự đoán trực tiếp toàn bộ vật thể trong ảnh cùng lúc mà không cần các bước hậu xử lý thủ công.[37] Grounding DINO mở rộng thêm một bước: kết hợp bộ phát hiện DINO dựa trên transformer với tiền huấn luyện ngôn ngữ-thị giác để thực hiện phát hiện vật thể theo từ vựng mở giúp phát hiện bất kỳ vật thể nào được mô tả bằng văn bản tự nhiên mà không cần huấn luyện lại.[38]

Trong phân vùng ảnh, Mô hình Segment Anything (SAM) của Meta AI dùng ViT làm bộ mã hóa ảnh, cho phép phân vùng bất kỳ vật thể nào trong ảnh chỉ từ một điểm gợi ý hoặc hộp giới hạn do người dùng cung cấp.[39] Tháng 7 năm 2024, Meta AI phát hành SAM 2, mở rộng khả năng phân vùng sang cả video thông qua một module bộ nhớ theo phiên (per-session memory) giúp mô hình theo dõi vật thể xuyên suốt các khung hình, kể cả khi vật thể tạm thời khuất khỏi tầm nhìn. So với SAM, SAM 2 nhanh hơn sáu lần trên ảnh tĩnh và đạt độ chính xác cao hơn trong phân vùng video với số lần tương tác ít hơn ba lần.[40] Tháng 11 năm 2025, Meta AI tiếp tục phát hành SAM 3, bổ sung khả năng phân vùng theo khái niệm (promptable concept segmentation): thay vì chỉ phân vùng một vật thể được chỉ định thủ công, SAM 3 có thể nhận lệnh bằng văn bản hoặc ảnh mẫu để phát hiện và phân vùng tất cả các thực thể thuộc cùng một khái niệm trong ảnh hoặc video, đạt độ chính xác gấp đôi các hệ thống trước đó trên cả hai bài toán phân vùng vật thể trong hình ảnh động và tĩnh.[41]

Sinh ảnh

Ví dụ quá trình khử nhiễu của một mô hình khuếch tán với kiến trúc ViT
Ví dụ quá trình khử nhiễu của một mô hình khuếch tán với kiến trúc ViT

ViT được dùng làm xương sống cho nhiều loại mô hình tạo sinh ảnh. Trong họ mạng đối nghịch tạo sinh (GAN), TransGAN là mô hình đầu tiên dùng transformer thuần túy cho cả generator lẫn discriminator, thay thế hoàn toàn tích chập, và chứng minh rằng kiến trúc này có thể cạnh tranh với các GAN dựa trên CNN.[42] ViT-VQGAN kết hợp lượng tử hóa vector với GAN để học cách mã hóa ảnh thành chuỗi ký hiệu rời rạc, cho phép huấn luyện transformer tự hồi quy sinh ảnh theo kiểu GPT. Đây là nền tảng của mô hình Parti của Google.[28]

Trong họ mô hình khuếch tán, DiT (Diffusion Transformer) thay thế xương sống U-Net (CNN) thông thường bằng kiến trúc ViT. Ảnh ẩn được chia thành các mảnh và xử lý theo đúng quy trình của ViT (nhúng mảng, mã hóa vị trí, rồi đưa qua các khối transformer) với chuẩn hóa lớp thích ứng (adaptive layer norm) để tích hợp thông tin điều kiện như nhãn của từng lớp hay các bước nhiễu. DiT chứng minh các mô hình khuếch tán có thể hưởng lợi trực tiếp từ xu hướng mở rộng quy mô của transformer: các mô hình lớn hơn thường cho chất lượng ảnh tốt hơn, một đặc tính mà các xương sống CNN như U-Net không có.[43] Kiến trúc DiT đã được áp dụng trong nhiều hệ thống sinh ảnh và video gần đây, chẳng hạn như Stable Diffusion 3.[44]

Y tế

DINO đã được chứng minh có khả năng học các đặc trưng hữu ích cho việc phân nhóm ảnh và phân tích hình thái học trên các tập dữ liệu sinh học, bao gồm ảnh từ thí nghiệm Cell Painting.[45] MAE và các biến thể của nó được ứng dụng rộng rãi trong tiền huấn luyện tự giám sát cho phân loại và phân vùng ảnh y tế, bao gồm chụp X-quang ngực, siêu âm và CT.[16]

Dự báo thời tiết

Năm 2024, một mô hình ViT với 113 tỷ tham số (lớn nhất từng được xây dựng tính đến thời điểm đó) được huấn luyện trên siêu máy tính Frontier cho bài toán dự báo thời tiết và khí hậu, với thông lượng tính toán đạt 1,6 exaFLOP.[46]

Lái xe tự động

ViT được ứng dụng trong các hệ thống xe tự lái nhờ khả năng nắm bắt mối quan hệ không gian giữa các vùng ảnh, từ đó hỗ trợ nhận diện biển báo, phát hiện vật cản và hiểu cảnh quan đường phố.[47][48]

Tham khảo

  1. ^ a b c d e f g h i j Dosovitskiy, Alexey; Beyer, Lucas; Kolesnikov, Alexander; Weissenborn, Dirk; Zhai, Xiaohua; Unterthiner, Thomas; Dehghani, Mostafa; Minderer, Matthias; Heigold, Georg; Gelly, Sylvain; Uszkoreit, Jakob (2021). "An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale". International Conference on Learning Representations (ICLR). arXiv:2010.11929.
  2. ^ a b c Raghu, Maithra; Unterthiner, Thomas; Kornblith, Simon; Zhang, Chiyuan; Dosovitskiy, Alexey (2021). "Do Vision Transformers See Like Convolutional Neural Networks?". Advances in Neural Information Processing Systems 34 (NeurIPS 2021). tr. 12116–12128.
  3. ^ Dehghani, Mostafa; Djolonga, Josip; Mustafa, Basil; Padlewski, Piotr; Heek, Jonathan; Gilmer, Justin; Steiner, Andreas Peter; Caron, Mathilde; Geirhos, Robert (ngày 3 tháng 7 năm 2023). "Scaling Vision Transformers to 22 Billion Parameters". Proceedings of the 40th International Conference on Machine Learning (bằng tiếng Anh). PMLR. tr. 7480–7512.
  4. ^ Vaswani, Ashish; Shazeer, Noam; Parmar, Niki; Uszkoreit, Jakob; Jones, Llion; Gomez, Aidan N.; Kaiser, Łukasz; Polosukhin, Illia (2017). "Attention is All you Need" (PDF). Advances in Neural Information Processing Systems. Quyển 30. Curran Associates, Inc. tr. 5998–6008.
  5. ^ Ramachandran, Prajit; Parmar, Niki; Vaswani, Ashish; Bello, Irwan; Levskaya, Anselm; Shlens, Jon (2019). "Stand-Alone Self-Attention in Vision Models". Advances in Neural Information Processing Systems. Quyển 32. Curran Associates, Inc.
  6. ^ Liu, Zhuang; Mao, Hanzi; Wu, Chao-Yuan; Feichtenhofer, Christoph; Darrell, Trevor; Xie, Saining (2022). "A ConvNet for the 2020s" (PDF). Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). tr. 11976–11986.
  7. ^ Dehghani, Mostafa; Mustafa, Basil; Djolonga, Josip; Heek, Jonathan; Minderer, Matthias; Caron, Mathilde; Steiner, Andreas; Puigcerver, Joan; Geirhos, Robert; Alabdulmohsin, Ibrahim; Oliver, Avital; Padlewski, Piotr; Gritsenko, Alexey; Lučić, Mario; Houlsby, Neil (2023). "Patch n' Pack: NaViT, a Vision Transformer for any Aspect Ratio and Resolution". Advances in Neural Information Processing Systems. Quyển 36. arXiv:2307.06304.
  8. ^ Heo, Byeongho; Park, Song; Han, Dongyoon; Yun, Sangdoo (2024). "Rotary Position Embedding for Vision Transformer". Computer Vision – ECCV 2024. arXiv:2403.13298. doi:10.1007/978-3-031-72684-2_17.
  9. ^ Naseer, Muzammal; Ranasinghe, Kanchana; Khan, Salman; Hayat, Munawar; Khan, Fahad Shahbaz; Yang, Ming-Hsuan (ngày 21 tháng 5 năm 2021). "Intriguing Properties of Vision Transformers". arXiv:2105.10497 [cs.CV].
  10. ^ Xiao, Tete; Singh, Mannat; Mintun, Eric; Darrell, Trevor; Dollár, Piotr; Girshick, Ross (2021). "Early Convolutions Help Transformers See Better". Advances in Neural Information Processing Systems 34 (NeurIPS 2021).
  11. ^ Lee, Juho; Lee, Yoonho; Kim, Jungtaek; Kosiorek, Adam R.; Choi, Seungjin; Teh, Yee Whye (2019). "Set Transformer: A Framework for Attention-based Permutation-Invariant Neural Networks". Proceedings of the 36th International Conference on Machine Learning (ICML).
  12. ^ a b Zhai, Xiaohua; Kolesnikov, Alexander; Houlsby, Neil; Beyer, Lucas (2022). "Scaling Vision Transformers". Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). tr. 1204–1213. doi:10.1109/CVPR52688.2022.01179.
  13. ^ Pathak, Deepak; Krähenbühl, Philipp; Donahue, Jeff; Darrell, Trevor; Efros, Alexei A. (2016). "Context Encoders: Feature Learning by Inpainting". 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR). tr. 2536–2544. doi:10.1109/CVPR.2016.278.
  14. ^ a b He, Kaiming; Chen, Xinlei; Xie, Saining; Li, Yanghao; Dollár, Piotr; Girshick, Ross (2022). "Masked Autoencoders Are Scalable Vision Learners". Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). tr. 16000–16009.
  15. ^ Bao, Hangbo; Dong, Li; Piao, Songhao; Wei, Furu (2022). "BEiT: BERT Pre-Training of Image Transformers". International Conference on Learning Representations. arXiv:2106.08254.
  16. ^ a b Zhou, Lei; Liu, Huidong; Bae, Joseph; He, Junjun; Samaras, Dimitris; Prasanna, Prateek (2023). "Self Pre-Training with Masked Autoencoders for Medical Image Classification and Segmentation". 2023 IEEE 20th International Symposium on Biomedical Imaging (ISBI). doi:10.1109/ISBI53787.2023.10230477.
  17. ^ Mao, Jiawei; Guo, Shujian; Yin, Xuesong; Chang, Yuanqi; Nie, Binling; Wang, Yigang (2025). "Medical supervised masked autoencoders: Crafting a better masking strategy and efficient fine-tuning schedule for medical image classification". Applied Soft Computing. Quyển 169. arXiv:2305.05871. doi:10.1016/j.asoc.2024.112536.
  18. ^ Madan, Chetan; Satia, Aarjav; Basu, Soumen; Gupta, Pankaj; Dutta, Usha; Arora, Chetan (2026). Gee, James C.; Alexander, Daniel C.; Hong, Jaesung; Iglesias, Juan Eugenio; Sudre, Carole H.; Venkataraman, Archana; Golland, Polina; Kim, Jong Hyo; Park, Jinah (biên tập). "Focus on Texture Rethinking: Pre-training in Masked Autoencoders for Medical Image Classification". Medical Image Computing and Computer Assisted Intervention – MICCAI 2025 (bằng tiếng Anh). Cham: Springer Nature Switzerland. tr. 207–217. doi:10.1007/978-3-032-04965-0_20. ISBN 978-3-032-04965-0.
  19. ^ Nguyen, Duy-Kien; Li, Yanghao; Aggarwal, Vaibhav; Oswald, Martin R.; Kirillov, Alexander; Snoek, Cees G. M.; Chen, Xinlei (2024). "R-MAE: Regions Meet Masked Autoencoders". International Conference on Learning Representations (ICLR).
  20. ^ Gupta, Agrim; Wu, Jiajun; Deng, Jia; Fei-Fei, Li (2023). "Siamese Masked Autoencoders". Advances in Neural Information Processing Systems 36 (NeurIPS 2023).
  21. ^ a b Caron, Mathilde; Touvron, Hugo; Misra, Ishan; Jégou, Hervé; Mairal, Julien; Bojanowski, Piotr; Joulin, Armand (2021). "Emerging Properties in Self-Supervised Vision Transformers". 2021 IEEE/CVF International Conference on Computer Vision (ICCV). tr. 9630–9640. arXiv:2104.14294. doi:10.1109/ICCV48922.2021.00951.
  22. ^ Oquab, Maxime; Darcet, Timothée; Moutakanni, Théo; Vo, Huy V.; Szafraniec, Marc; Khalidov, Vasil; Fernandez, Pierre; Haziza, Daniel; Massa, Francisco; El-Nouby, Alaaeldin; Assran, Mahmoud; Ballas, Nicolas; Galuba, Wojciech; Howes, Russell; Huang, Po-Yao; Li, Shang-Wen; Misra, Ishan; Rabbat, Michael; Sharma, Vasu; Synaeghel, Gabriel; Xu, Hu; Jegou, Hervé; Mairal, Julien; Labatut, Patrick; Joulin, Armand; Bojanowski, Piotr (2024). "DINOv2: Learning Robust Visual Features without Supervision". Transactions on Machine Learning Research (TMLR). arXiv:2304.07193.
  23. ^ Siméoni, Oriane; Vo, Huy V.; Seitzer, Maximilian; Baldassarre, Federico; Oquab, Maxime; Jose, Cijo; Khalidov, Vasil; Szafraniec, Marc; Yi, Seungeun; Ramamonjisoa, Michael; Massa, Francisco; Haziza, Daniel; Wehrstedt, Luca; Wang, Jianyuan; Darcet, Timothée; Moutakanni, Théo; Sentana, Leonel; Roberts, Claire; Vedaldi, Andrea; Tolan, Jamie; Brandt, John; Couprie, Camille; Mairal, Julien; Jegou, Hervé; Labatut, Patrick; Bojanowski, Piotr (2025). "DINOv3". Transactions on Machine Learning Research (TMLR). arXiv:2508.10104.
  24. ^ a b Liu, Ze; Lin, Yutong; Cao, Yue; Hu, Han; Wei, Yixuan; Zhang, Zheng; Lin, Stephen; Guo, Baining (2021). "Swin Transformer: Hierarchical Vision Transformer using Shifted Windows". Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). tr. 10012–10022.
  25. ^ Liu, Ze; Hu, Han; Lin, Yutong; Yao, Zhuliang; Xie, Zhenda; Wei, Yixuan; Ning, Jia; Cao, Yue; Zhang, Zheng; Dong, Li; Wei, Furu; Guo, Baining (2022). "Swin Transformer V2: Scaling Up Capacity and Resolution". Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). tr. 12009–12019.
  26. ^ a b Bertasius, Gedas; Wang, Heng; Torresani, Lorenzo (2021). "Is Space-Time Attention All You Need for Video Understanding?". Proceedings of the 38th International Conference on Machine Learning (ICML).
  27. ^ Yu, Jiahui; Li, Xin; Koh, Jing Yu; Zhang, Han; Pang, Ruoming; Qin, James; Ku, Alexander; Xu, Yuanzhong; Baldridge, Jason; Wu, Yonghui (2022). "Vector-quantized Image Modeling with Improved VQGAN". International Conference on Learning Representations (ICLR). arXiv:2110.04627.
  28. ^ a b Yu, Jiahui; Xu, Yuanzhong; Koh, Jing Yu; Luong, Thang; Baid, Gunjan; Wang, Zirui; Vasudevan, Vijay; Ku, Alexander; Yang, Yinfei; Ayan, Burcu Karagol; Hutchinson, Benton C.; Han, Wei; Parekh, Zarana; Li, Xin; Zhang, Han; Baldridge, Jason; Wu, Yonghui (2022). "Scaling Autoregressive Models for Content-Rich Text-to-Image Generation". Transactions on Machine Learning Research (TMLR). arXiv:2206.10789.
  29. ^ Touvron, Hugo; Cord, Matthieu; Jégou, Hervé (2022). "DeiT III: Revenge of the ViT". Computer Vision – ECCV 2022. tr. 516–533. arXiv:2204.07118. doi:10.1007/978-3-031-20053-3_30.
  30. ^ Wu, Haiping; Xiao, Bin; Codella, Noel; Liu, Mengchen; Dai, Xiyang; Yuan, Lu; Zhang, Lei (2021). "CvT: Introducing Convolutions to Vision Transformers". Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). tr. 22–31.
  31. ^ Dai, Zihang; Liu, Hanxiao; Le, Quoc V.; Tan, Mingxing (2021). "CoAtNet: Marrying Convolution and Attention for All Data Sizes". Advances in Neural Information Processing Systems 34 (NeurIPS 2021). tr. 3965–3977.
  32. ^ Han, Kai; Xiao, An; Wu, Enshen; Guo, Jianyuan; Xu, Chunjing; Wang, Yunhe (2021). "Transformer in Transformer". Advances in Neural Information Processing Systems 34 (NeurIPS 2021). tr. 15908–15919.
  33. ^ Han, Kai; Wang, Yunhe; Chen, Hanting; Chen, Xinghao; Guo, Jianyuan; Liu, Zhenhua; Tang, Yehui; Xiao, An; Xu, Chunjing; Xu, Yixing; Yang, Zhaoxiang; Zhang, Yiman; Tao, Dacheng (2023). "A Survey on Vision Transformer". IEEE Transactions on Pattern Analysis and Machine Intelligence. Quyển 45 số 1. tr. 87–110. doi:10.1109/TPAMI.2022.3152247.
  34. ^ Khan, Salman; Naseer, Muzammal; Hayat, Munawar; Zamir, Syed Waqas; Khan, Fahad Shahbaz; Shah, Mubarak (2022). "Transformers in Vision: A Survey". ACM Computing Surveys. Quyển 54 số 10s. tr. 200:1–200:41. doi:10.1145/3505244.
  35. ^ Touvron, Hugo; Cord, Matthieu; Jégou, Hervé (2022). "DeiT III: Revenge of the ViT". Computer Vision – ECCV 2022. tr. 516–533. arXiv:2204.07118. doi:10.1007/978-3-031-20053-3_30.
  36. ^ Radford, Alec; Kim, Jong Wook; Hallacy, Chris; Ramesh, Aditya; Goh, Gabriel; Agarwal, Sandhini; Sastry, Girish; Askell, Amanda; Mishkin, Pamela; Clark, Jack; Krueger, Gretchen; Sutskever, Ilya (2021). "Learning Transferable Visual Models From Natural Language Supervision". Proceedings of the 38th International Conference on Machine Learning (ICML).
  37. ^ Carion, Nicolas; Massa, Francisco; Synnaeve, Gabriel; Usunier, Nicolas; Kirillov, Alexander; Zagoruyko, Sergey (2020). "End-to-End Object Detection with Transformers". Computer Vision – ECCV 2020. tr. 213–229. arXiv:2005.12872. doi:10.1007/978-3-030-58452-8_13.
  38. ^ Liu, Shilong; Zeng, Zhaoyang; Ren, Tianhe; Li, Feng; Zhang, Hao; Yang, Jie; Jiang, Qing; Li, Chunyuan; Yang, Jianwei (2025). Leonardis, Ales; Ricci, Elisa; Roth, Stefan; Russakovsky, Olga; Sattler, Torsten; Varol, Gul (biên tập). "Grounding DINO: Marrying DINO with Grounded Pre-training for Open-Set Object Detection". Computer Vision – ECCV 2024 (bằng tiếng Anh). Cham: Springer Nature Switzerland. tr. 38–55. doi:10.1007/978-3-031-72970-6_3. ISBN 978-3-031-72970-6.
  39. ^ Kirillov, Alexander; Mintun, Eric; Ravi, Nikhila; Mao, Hanzi; Rolland, Chloé; Gustafson, Laura; Xiao, Tete; Whitehead, Spencer; Berg, Alexander C.; Lo, Wan-Yen; Dollár, Piotr; Girshick, Ross (2023). "Segment Anything". Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). tr. 4015–4026.
  40. ^ Ravi, Nikhila; Gabeur, Valentin; Hu, Yuan-Ting; Hu, Ronghang; Ryali, Chaitanya; Ma, Tengyu; Khedr, Haitham; Rädle, Roman; Rolland, Chloe; Gustafson, Laura; Mintun, Eric; Pan, Junting; Alwala, Kalyan Vasudev; Carion, Nicolas; Wu, Chao-Yuan; Girshick, Ross; Dollár, Piotr; Feichtenhofer, Christoph (2025). "SAM 2: Segment Anything in Images and Videos". International Conference on Learning Representations (ICLR). arXiv:2408.00714.
  41. ^ Carion, Nicolas; Gustafson, Laura; Hu, Yuan-Ting; Debnath, Shoubhik; Hu, Ronghang; Suris, Didac; Ryali, Chaitanya; Alwala, Kalyan Vasudev; Khedr, Haitham; Huang, Andrew; Lei, Jie; Ma, Tengyu; Guo, Baishan; Kalla, Arpit; Marks, Markus; Greer, Joseph; Wang, Meng; Sun, Peize; Rädle, Roman; Afouras, Triantafyllos; Mavroudi, Effrosyni; Xu, Katherine; Wu, Tsung-Han; Zhou, Yu; Momeni, Liliane; Hazra, Rishi; Ding, Shuangrui; Vaze, Sagar; Porcher, Francois; Li, Feng; Li, Siyuan; Kamath, Aishwarya; Cheng, Ho Kei; Dollár, Piotr; Ravi, Nikhila; Saenko, Kate; Zhang, Pengchuan; Feichtenhofer, Christoph (2026). "SAM 3: Segment Anything with Concepts". International Conference on Learning Representations (ICLR). arXiv:2511.16719.
  42. ^ Jiang, Yifan; Chang, Shiyu; Wang, Zhangyang (2021). "TransGAN: Two Pure Transformers Can Make One Strong GAN, and That Can Scale Up". Advances in Neural Information Processing Systems 34 (NeurIPS 2021). tr. 14745–14758.
  43. ^ Peebles, William; Xie, Saining (2023). "Scalable Diffusion Models with Transformers". Proceedings of the IEEE/CVF International Conference on Computer Vision (ICCV). tr. 4195–4205.
  44. ^ Esser, Patrick; Kulal, Sumith; Blattmann, Andreas (2024). "Scaling Rectified Flow Transformers for High-Resolution Image Synthesis". Proceedings of the 41st International Conference on Machine Learning. Proceedings of Machine Learning Research. Quyển 235. PMLR. tr. 12606–12633.
  45. ^ Doron, Michael; Moutakanni, Théo; Chen, Zitong S.; Moshkov, Nikita; Caron, Mathilde; Touvron, Hugo; Bojanowski, Piotr; Pernice, Wolfgang M.; Caicedo, Juan C. (ngày 18 tháng 6 năm 2023). "Unbiased single-cell morphology with self-supervised vision transformers". bioRxiv: The Preprint Server for Biology. tr. 2023.06.16.545359. doi:10.1101/2023.06.16.545359. ISSN 2692-8205. PMC 10312751. PMID 37398158.
  46. ^ Wang, Xiao; Tsaris, Aristeidis; Liu, Siyan; Choi, Jong-Youl; Aji, Ashwin M.; Fan, Ming; Zhang, Wei; Yin, Junqi; Ashfaq, Moetasim; Lu, Dan; Balaprakash, Prasanna (2024). "ORBIT: Oak Ridge Base Foundation Model for Earth System Predictability". SC24: International Conference for High Performance Computing, Networking, Storage and Analysis. doi:10.1109/SC41406.2024.00007.
  47. ^ Santhiya, P.; Jebadurai, Immanuel JohnRaja; Paulraj, Getzi Jeba Leelipushpam; A, Jenefa; Jawahar, E Donald; V, Edward Naveen. (tháng 4 năm 2024). "Implementing ViT Models for Traffic Sign Detection in Autonomous Driving Systems". 2024 5th International Conference on Recent Trends in Computer Science and Technology (ICRTCST). tr. 382–387. doi:10.1109/ICRTCST61793.2024.10578494.
  48. ^ Chu, Fulin; Li, Haoyu; Xie, Lili; Zhao, Jingyuan (tháng 3 năm 2026). "A survey of transformer architectures for autonomous driving". Expert Systems with Applications (bằng tiếng Anh). Quyển 299. tr. 130338. doi:10.1016/j.eswa.2025.130338.

Lỗi Lua trong Mô_đun:Authority_control tại dòng 152: attempt to index field 'wikibase' (a nil value).

Lấy từ “https://wikibeta.org/index.php?title=Vision_transformer&oldid=7943848”