Học chuyển giao

Học chuyển giao (tiếng Anh: Transfer learning - TL) là một phương pháp nghiên cứu trong học máy (machine learning) và học sâu (deep learning), tập trung vào việc lưu trữ kiến thức thu được khi giải quyết một bài toán này và áp dụng kiến thức đó vào một bài toán khác nhưng có liên quan.^[1]

Trong kỷ nguyên trí tuệ nhân tạo hiện đại, học chuyển giao là kỹ thuật cốt lõi giúp giải quyết rào cản về thiếu hụt dữ liệu gán nhãn, giảm chi phí tính toán và rút ngắn thời gian huấn luyện mô hình. Kỹ thuật này đóng vai trò quan trọng trong sự bùng nổ của các mô hình ngôn ngữ lớn (LLM) và các hệ thống thị giác máy tính hàng đầu.^[2]

Lịch sử phát triển

Nguồn gốc tâm lý học (Đầu thế kỷ 20): Khái niệm "Chuyển giao việc học" (Transfer of learning) ban đầu được nhà tâm lý học Edward Thorndike và Robert S. Woodworth đề xuất năm 1901. Họ nghiên cứu cách cá thể áp dụng kỹ năng đã học trong ngữ cảnh này sang ngữ cảnh khác.^[3]
Giai đoạn sơ khai trong Học máy (1990–2000): Năm 1976, Stevo Bozinovski và Ante Fulgosi công phá mảng này với các thử nghiệm chuyển giao trên mạng nơ-ron.^[4] Năm 1995, hội thảo NIPS tổ chức phiên thảo luận chính thức đầu tiên về chủ đề "Learning to Learn" (Học cách học), thu hút sự quan tâm từ các nhà nghiên cứu như Sebastian Thrun và Lorien Pratt.^[5]
Bùng nổ với Học sâu (2012–2017): Sự ra đời của AlexNet (2012) và tập dữ liệu ImageNet tạo nên bước ngoặt lớn. Việc sử dụng các mạng nơ-ron tích chập (CNN) đã huấn luyện trước (pre-trained) trên ImageNet để trích xuất đặc trưng cho các bài toán phân loại ảnh nhỏ trở thành quy chuẩn trong cộng đồng nghiên cứu thị giác máy tính.^[6]
Kỷ nguyên Mô hình nền tảng và LLM (2018–nay): Kiến trúc Transformer ra đời (2017) mở đường cho ULMFiT, BERT (2018) và chuỗi mô hình GPT. Việc huấn luyện trước mô hình trên lượng văn bản khổng lồ không gán nhãn, sau đó chuyển giao kiến thức qua việc tinh chỉnh (fine-tuning) đã làm thay đổi hoàn toàn ngành xử lý ngôn ngữ tự nhiên.^[7]

Định nghĩa toán học

Định nghĩa học chuyển giao được xây dựng dựa trên khái niệm về **Miền** (Domain) và **Nhiệm vụ** (Task).^[1]

Miền (Domain)

Một Miền $𝒟$ bao gồm hai thành phần: không gian đặc trưng $𝒳$ và phân phối xác suất lề $P (X)$ , trong đó $X = {x_{1}, \dots, x_{n}} \in 𝒳$ .

𝒟 = {𝒳, P (X)}

Nếu hai miền khác nhau, chúng có thể khác nhau về không gian đặc trưng ( $𝒳_{S} \neq 𝒳_{T}$ ) hoặc khác nhau về phân phối xác suất lề ( $P_{S} (X) \neq P_{T} (X)$ ).

Nhiệm vụ (Task)

Cho một miền $𝒟$ , một Nhiệm vụ $𝒯$ bao gồm không gian nhãn $𝒴$ và một hàm mục tiêu dự đoán $f (\cdot)$ (được học từ dữ liệu huấn luyện để ước lượng xác suất điều kiện $P (y | x)$ ):

𝒯 = {𝒴, f (\cdot)}

Định nghĩa tổng quát

Cho một miền nguồn $𝒟_{S}$ với nhiệm vụ nguồn $𝒯_{S}$ và một miền mục tiêu $𝒟_{T}$ với nhiệm vụ mục tiêu $𝒯_{T}$ , **Học chuyển giao** nhằm mục đích tối ưu hóa việc học hàm mục tiêu $f_{T} (\cdot)$ trong miền mục tiêu $𝒟_{T}$ bằng cách tận dụng kiến thức từ $𝒟_{S}$ và $𝒯_{S}$ , trong điều kiện $𝒟_{S} \neq 𝒟_{T}$ hoặc $𝒯_{S} \neq 𝒯_{T} $$ .^[1]

Phân loại hệ thống

Học chuyển giao được phân loại theo hai góc nhìn chính: theo sự sẵn có của nhãn dữ liệu và theo phương thức chuyển giao kiến thức.

1. Theo mối quan hệ dữ liệu và nhãn

Phân loại theo nhãn dữ liệu
Thể loại	Nhãn miền nguồn ( $𝒟_{S}$ )	Nhãn miền mục tiêu ( $𝒟_{T}$ )	Mối quan hệ
Học chuyển giao tự thân (Inductive TL)	Có hoặc Không	Có	Nhiệm vụ khác nhau ( $𝒯_{S} \neq 𝒯_{T}$ )
Học chuyển giao xuyên miền (Transductive TL)	Có	Không	Nhiệm vụ giống nhau ( $𝒯_{S} = 𝒯_{T}$ ), Miền khác nhau ( $𝒟_{S} \neq 𝒟_{T}$ )
Học chuyển giao không giám sát (Unsupervised TL)	Không	Không	Cả nhiệm vụ và miền đều khác nhau nhưng có liên quan

2. Theo đối tượng chuyển giao (How to transfer)

Chuyển giao dựa trên mẫu (Instance-based Transfer): Tái sử dụng hoặc điều chỉnh trọng số các mẫu dữ liệu ở miền nguồn để bổ sung cho miền mục tiêu (thường dùng kỹ thuật Importance Sampling).
Chuyển giao dựa trên biểu diễn đặc trưng (Feature-representation Transfer): Tìm kiếm một không gian đặc trưng chung giúp giảm thiểu sự chênh lệch giữa miền nguồn và miền mục tiêu.
Chuyển giao dựa trên tham số (Parameter-transfer): Giả định rằng các mô hình cho các nhiệm vụ có liên quan sẽ chia sẻ một số tham số hoặc phân phối ưu tiên (hyperparameters). Đây là phương pháp phổ biến nhất trong Học sâu.
Chuyển giao kiến thức quan hệ (Relational-knowledge Transfer): Chuyển giao các mối quan hệ giữa các dữ liệu từ miền nguồn sang miền mục tiêu (áp dụng cho dữ liệu mạng quan hệ/đồ thị).

Các kỹ thuật cốt lõi trong Học sâu

Trích xuất đặc trưng (Feature Extraction)

Mô hình đã huấn luyện trước được giữ nguyên toàn bộ các lớp học đặc trưng (đóng băng trọng số - freeze). Chỉ có lớp phân loại cuối cùng (fully-connected layer) được thay thế và huấn luyện lại bằng dữ liệu miền mục tiêu. Kỹ thuật này phù hợp khi tập dữ liệu mục tiêu có kích thước nhỏ và tương đồng cao với dữ liệu nguồn.

Tinh chỉnh mô hình (Fine-tuning)

Khởi tạo trọng số mô hình từ mô hình đã huấn luyện trước, sau đó tiếp tục huấn luyện toàn bộ mô hình (hoặc một số lớp phía sau) với tốc độ học (learning rate) rất nhỏ. Kỹ thuật này giúp mô hình thích ứng tốt hơn với phân phối dữ liệu mới.

Tinh chỉnh hiệu quả tham số (PEFT)

Trong kỷ nguyên của các mô hình khổng lồ (với hàng chục đến hàng trăm tỷ tham số), việc tinh chỉnh toàn bộ mô hình trở nên quá tốn kém. Các kỹ thuật tinh chỉnh hiệu quả tham số (Parameter-Efficient Fine-Tuning - PEFT) ra đời:

LoRA (Low-Rank Adaptation): Đóng băng trọng số mô hình gốc và chèn thêm các ma trận phân rã hạng thấp (low-rank matrices) vào các lớp chú ý (attention layers), giúp giảm số lượng tham số cần huấn luyện lên đến 99%.^[8]
Prompt Tuning & Prefix Tuning: Bổ sung các cấu hình vectơ học được (soft prompts) vào đầu vào của mô hình mà không làm thay đổi các trọng số gốc.

Thích ứng miền (Domain Adaptation)

Là một nhánh quan trọng thuộc học chuyển giao xuyên miền, nơi khoảng cách giữa hai miền phân phối được thu hẹp bằng các thuật toán đo lường khoảng cách như **MMD** (Maximum Mean Discrepancy) hoặc sử dụng kiến trúc đối kháng **DANN** (Domain-Adversarial Neural Networks).^[9]

So sánh với các mô hình học khác

So sánh Học chuyển giao với các phương pháp tương quan
Tiêu chí	Học máy truyền thống	Học chuyển giao	Học đa nhiệm (Multi-task)	Học liên tục (Continual)
Số lượng nhiệm vụ	1	$\geq 2$ (Nguồn $\to$ Mục tiêu)	$\geq 2$ (Đồng thời)	Chuỗi nhiều nhiệm vụ theo thời gian
Mục tiêu chính	Tối ưu 1 nhiệm vụ duy nhất	Tối ưu nhiệm vụ mục tiêu	Tối ưu tất cả nhiệm vụ cùng lúc	Học nhiệm vụ mới mà không quên nhiệm vụ cũ
Hướng truyền kiến thức	Không có	Một chiều (Nguồn sang Mục tiêu)	Song phương (Hỗ trợ lẫn nhau)	Nối tiếp (Tích lũy qua thời gian)

Ứng dụng thực tế

Thị giác máy tính: Nhận diện hình ảnh y tế (X-quang, MRI) bằng cách chuyển giao các mô hình đã huấn luyện trên ImageNet; phát hiện vật thể cho xe tự lái; phân loại ảnh vệ tinh.
Xử lý ngôn ngữ tự nhiên: Phân tích cảm xúc, dịch máy, tóm tắt văn bản và xây dựng trợ lý ảo dựa trên các mô hình ngôn ngữ lớn như GPT-4, LLaMA, Claude.
Nhận dạng tiếng nói: Chuyển giao các mô hình nhận dạng giọng nói từ các ngôn ngữ giàu tài nguyên (tiếng Anh, tiếng Trung) sang các ngôn ngữ ít dữ liệu hơn.
Sinh học tính toán: Dự đoán cấu trúc protein (như AlphaFold) bằng cách chuyển giao kiến thức từ các chuỗi amino acid đã biết.

Thách thức và Hạn chế

Chuyển giao tiêu cực (Negative Transfer): Xảy ra khi kiến thức từ miền nguồn mâu thuẫn hoặc không liên quan đến miền mục tiêu, khiến hiệu suất mô hình chuyển giao còn kém hơn việc huấn luyện từ đầu.^[1]
Quên lãng thảm khốc (Catastrophic Forgetting): Khi mô hình được tinh chỉnh quá mức trên nhiệm vụ mới, nó có nguy cơ mất đi toàn bộ kiến thức đã học được ở nhiệm vụ nguồn ban đầu.^[10]
Lan truyền thiên vị (Bias Propagation): Các thiên vị mang tính định kiến (chủng tộc, giới tính, văn hóa) ẩn chứa trong dữ liệu huấn luyện ban đầu của mô hình nguồn sẽ tự động di truyền sang các mô hình ứng dụng phía sau.

Xem thêm

Tham khảo

^ ^a ^b ^c ^d Pan, Sinno Jialin; Yang, Qiang (2010). "A Survey on Transfer Learning". IEEE Transactions on Knowledge and Data Engineering. 22 (10): 1345–1359. doi:10.1109/TKDE.2009.191. S2CID 206606014.
^ Zhuang, Fuzhen; Qi, Zhiyuan; Duan, Keyu; Xiang, Dongbo; He, Qing; Shi, Yong (2020). "A Comprehensive Survey on Transfer Learning". Proceedings of the IEEE. 108 (1): 43–76. doi:10.1109/JPROC.2019.2919830.
^ Thorndike, E. L.; Woodworth, R. S. (1901). "The influence of improvement in one mental function upon the efficiency of other functions". Psychological Review. 8 (3): 247–261. doi:10.1037/h0074898.
^ Bozinovski, Stevo; Fulgosi, Ante (1976). "The influence of pattern similarity and transfer learning upon the training of a base perceptron B2". Proceedings of Symposium Informatica. tr. 3–121.
^ Pratt, L. Y. (1993). "Discriminability with Connectionist Trees". Advances in Neural Information Processing Systems. 5: 93–100.
^ Yosinski, Jason; Clune, Jeff; Bengio, Yoshua; Lipson, Hod (2014). "How transferable are features in deep neural networks?". Advances in Neural Information Processing Systems (NeurIPS). tr. 3320–3328.
^ Devlin, Jacob; Chang, Ming-Wei; Lee, Kenton; Toutanova, Kristina (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding". NAACL-HLT. tr. 4171–4186. arXiv:1810.04805.
^ Hu, Edward J.; Shen, Yelong; Wallach, Phillip (2022). "LoRA: Low-Rank Adaptation of Large Language Models". ICLR. arXiv:2106.09685.
^ Ganin, Yaroslav; Lempitsky, Victor (2016). "Domain-Adversarial Training of Neural Networks". Journal of Machine Learning Research. 17: 1–35. arXiv:1505.07818.
^ French, Robert M. (1999). "Catastrophic forgetting in connectionist networks". Trends in Cognitive Sciences. 3 (4): 128–135. doi:10.1016/S1364-6613(99)01294-2.

Liên kết ngoài

[Pan2010-1] Pan, Sinno Jialin; Yang, Qiang (2010). "A Survey on Transfer Learning". IEEE Transactions on Knowledge and Data Engineering. 22 (10): 1345–1359. doi:10.1109/TKDE.2009.191. S2CID 206606014.

[Zhuang2020-2] Zhuang, Fuzhen; Qi, Zhiyuan; Duan, Keyu; Xiang, Dongbo; He, Qing; Shi, Yong (2020). "A Comprehensive Survey on Transfer Learning". Proceedings of the IEEE. 108 (1): 43–76. doi:10.1109/JPROC.2019.2919830.

[Thorndike1901-3] Thorndike, E. L.; Woodworth, R. S. (1901). "The influence of improvement in one mental function upon the efficiency of other functions". Psychological Review. 8 (3): 247–261. doi:10.1037/h0074898.

[Bozinovski1976-4] Bozinovski, Stevo; Fulgosi, Ante (1976). "The influence of pattern similarity and transfer learning upon the training of a base perceptron B2". Proceedings of Symposium Informatica. tr. 3–121.

[Pratt1993-5] Pratt, L. Y. (1993). "Discriminability with Connectionist Trees". Advances in Neural Information Processing Systems. 5: 93–100.

[Yosinski2014-6] Yosinski, Jason; Clune, Jeff; Bengio, Yoshua; Lipson, Hod (2014). "How transferable are features in deep neural networks?". Advances in Neural Information Processing Systems (NeurIPS). tr. 3320–3328.

[Devlin2019-7] Devlin, Jacob; Chang, Ming-Wei; Lee, Kenton; Toutanova, Kristina (2019). "BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding". NAACL-HLT. tr. 4171–4186. arXiv:1810.04805.

[Hu2021-8] Hu, Edward J.; Shen, Yelong; Wallach, Phillip (2022). "LoRA: Low-Rank Adaptation of Large Language Models". ICLR. arXiv:2106.09685.

[Ganin2016-9] Ganin, Yaroslav; Lempitsky, Victor (2016). "Domain-Adversarial Training of Neural Networks". Journal of Machine Learning Research. 17: 1–35. arXiv:1505.07818.

[French1999-10] French, Robert M. (1999). "Catastrophic forgetting in connectionist networks". Trends in Cognitive Sciences. 3 (4): 128–135. doi:10.1016/S1364-6613(99)01294-2.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]