Xem mã nguồn của Siêu tham số

{{Học máy}}

Trong [[học máy]], một '''siêu tham số''' (tiếng Anh: ''hyperparameter'') là một tham số được thiết lập để xác định một phần có thể cấu hình được trong quá trình học của một mô hình. Siêu tham số có thể được phân thành siêu tham số của mô hình (ví dụ như cấu trúc và kích thước của một [[mạng thần kinh nhân tạo]]) hoặc siêu tham số của thuật toán (ví dụ như [[tốc độ học]] và kích thước lô của một bộ tối ưu hóa).<ref>{{Chú thích tạp chí |last1=Yang |first1=Li |last2=Shami |first2=Abdallah |date=2020-11-20 |title=On hyperparameter optimization of machine learning algorithms: Theory and practice |url=https://www.sciencedirect.com/science/article/pii/S0925231220311693 |journal=Neurocomputing |volume=415 |pages=295–316 |doi=10.1016/j.neucom.2020.07.061 |arxiv=2007.15745 |issn=0925-2312}}</ref> Chúng được gọi là siêu tham số để phân biệt với tham số thông thường mà mô hình trực tiếp học được từ dữ liệu.

== Những điều cần cân nhắc khi chọn siêu tham số ==
Thời gian cần thiết để huấn luyện và kiểm thử một mô hình có thể phụ thuộc vào việc lựa chọn siêu tham số của mô hình đó.<ref name="claesen2015">{{Chú thích arXiv |last1=Claesen |first1=Marc |last2=De Moor |first2=Bart |title=Hyperparameter Search in Machine Learning |eprint=1502.02127 |year=2015}}</ref> Các siêu tham số thường là những giá trị [[số nguyên]], khiến bài toán [[Tối ưu hóa (toán học)|tối ưu hóa]] trở thành bài toán tối ưu hóa kiểu hỗn hợp (vừa tối ưu hóa tham số mô hình bình thường, vừa tối ưu hóa siêu tham số).<ref name="claesen2015"/> Một số siêu tham số phụ thuộc vào giá trị của các siêu tham số khác, chẳng hạn như việc kích thước của mỗi [[Lớp (mạng thần kinh nhân tạo)|lớp]] ẩn trong một mạng thần kinh có thể phụ thuộc vào số lượng lớp.<ref name="claesen2015"/> Do đó, các siêu tham số có thể tạo thành không gian tổ hợp theo dạng phân cấp hoặc có điều kiện, trong đó một lựa chọn thiết kế sẽ quyết định liệu những siêu tham số nào có liên quan tới các siêu tham số khác hay không.<ref>{{Chú thích tạp chí |last1=Wittscher |first1=Ladyna |title=A survey on design choices for self-supervised learning in computer vision |journal=Artificial Intelligence Review |date=24 February 2026 |volume=59 |issue=4 |page=1 |doi=10.1007/s10462-026-11506-9 |url=https://link.springer.com/article/10.1007/s10462-026-11506-9 |access-date=9 July 2026}}</ref>

=== Khả năng điều chỉnh ===
Phần lớn sự biến thiên về hiệu năng có thể quy về chỉ một vài siêu tham số.<ref>{{Chú thích hội thảo |last1=Leyton-Brown |first1=Kevin |last2=Hoos |first2=Holger |last3=Hutter |first3=Frank |title=An Efficient Approach for Assessing Hyperparameter Importance |conference=Proceedings of the 31st International Conference on Machine Learning (ICML) |date=27 January 2014 |pages=754–762 |url=http://proceedings.mlr.press/v32/hutter14.html}}</ref><ref name="claesen2015"/><ref>{{Chú thích hội thảo |last1=van Rijn |first1=Jan N. |last2=Hutter |first2=Frank |title=Hyperparameter Importance Across Datasets |conference=Proceedings of the 24th ACM SIGKDD International Conference on Knowledge Discovery & Data Mining (KDD '18) |year=2018 |pages=2367–2376 |doi=10.1145/3219819.3220058}}</ref> Khả năng điều chỉnh của một thuật toán, một siêu tham số, hoặc một tổ hợp siêu tham số tương tác với nhau, là thước đo cho mức độ hiệu năng có thể đạt được nhờ việc điều chỉnh siêu tham số đó.<ref>{{Chú thích tạp chí |last1=Probst |first1=Philipp |last2=Bischl |first2=Bernd |last3=Boulesteix |first3=Anne-Laure |title=Tunability: Importance of Hyperparameters of Machine Learning Algorithms |journal=Journal of Machine Learning Research |year=2019 |volume=20 |issue=53 |pages=1–32 |url=https://jmlr.org/papers/v20/18-444.html}}</ref> 

Đối với [[Bộ nhớ dài-ngắn hạn|LSTM]], tốc độ học và tiếp theo là kích thước mạng là những siêu tham số quan trọng nhất,<ref>{{Chú thích tạp chí |last1=Greff |first1=K. |last2=Srivastava |first2=R. K. |last3=Koutník |first3=J. |last4=Steunebrink |first4=B. R. |last5=Schmidhuber |first5=J. |title=LSTM: A Search Space Odyssey |journal=IEEE Transactions on Neural Networks and Learning Systems |date=23 October 2017 |volume=28 |issue=10 |pages=2222–2232 |doi=10.1109/TNNLS.2016.2582924 |pmid=27411231 |arxiv=1503.04069}}</ref> trong khi việc chia lô (''batching'') và động lượng (''momentum'') hầu như không ảnh hưởng đến hiệu năng của nó.<ref>{{Chú thích arXiv |last1=Breuel |first1=Thomas M. |title=Benchmarking of LSTM networks |eprint=1508.02774 |year=2015}}</ref> Đối với [[Mạng thần kinh tích chập|mạng neuron tích chập]] (CNN), một nghiên cứu huấn luyện hơn 10.000 mô hình trên mười bộ dữ liệu phân loại ảnh cho thấy số [[Lớp (mạng thần kinh nhân tạo)#Lớp tích chập|lớp tích chập]], tốc độ học, và tỷ lệ số neuron về giá trị 0 (''dropout'') là ba siêu tham số quan trọng nhất, trong khi số bộ lọc ở lớp kết nối đầy đủ và kích thước lô ảnh hưởng không đáng kể.<ref>{{Chú thích hội thảo |last1=Wang |first1=Ruinan |last2=Nabney |first2=Ian |last3=Golbabaee |first3=Mohammad |title=Efficient Hyperparameter Importance Assessment for CNNs |conference=International Conference on Neural Information Processing (ICONIP) 2024 |year=2025 |series=Communications in Computer and Information Science |volume=2282 |publisher=Springer |doi=10.1007/978-981-96-6948-6_2}}</ref>

Mặc dù một số nghiên cứu ủng hộ việc dùng kích thước lô nhỏ (''mini-batch'') lên đến hàng nghìn, các nghiên cứu khác lại cho thấy hiệu năng tốt nhất đạt được với kích thước lô nhỏ trong khoảng từ 2 đến 32.<ref>{{Chú thích arXiv |last1=Masters |first1=Dominic |last2=Luschi |first2=Carlo |title=Revisiting Small Batch Training for Deep Neural Networks |eprint=1804.07612 |year=2018}}</ref>

=== Tính ổn định ===
Tính ngẫu nhiên vốn có trong quá trình học có nghĩa là hiệu trên thí nghiệm của một siêu tham số chưa chắc phản ánh đúng hiệu năng thật của nó khi áp dụng trong thực tế.<ref name="claesen2015"/> Các phương pháp không ổn định trước những thay đổi đơn giản về siêu tham số, hạt giống [[ngẫu nhiên]] (''random seed''), hoặc thậm chí trước các cách cài đặt khác nhau của cùng một thuật toán, thì không thể tích hợp vào các hệ thống điều khiển có tính then chốt nếu không được đơn giản hóa và làm ổn định đáng kể.<ref name="mania2018">{{Chú thích hội thảo |last1=Mania |first1=Horia |last2=Guy |first2=Aurelia |last3=Recht |first3=Benjamin |title=Simple random search of static linear policies is competitive for reinforcement learning |conference=Advances in Neural Information Processing Systems 31 (NeurIPS 2018) |year=2018 |pages=1805–1814}}</ref> Từ đó, việc lựa chọn siêu tham số có thể ảnh hưởng không chỉ đến hiệu năng dự đoán mà còn đến độ ổn định của kết quả đầu ra của mô hình trước các điều kiện đầu vào bị thay đổi hoặc nhiễu.<ref>{{Chú thích tạp chí |last1=Bischl |first1=Bernd |last2=Binder |first2=Martin |last3=Lang |first3=Michel |last4=Pielok |first4=Tobias |last5=Richter |first5=Jakob |last6=Coors |first6=Stefan |last7=Thomas |first7=Janek |last8=Ullmann |first8=Theresa |last9=Becker |first9=Marc |last10=Boulesteix |first10=Anne-Laure |last11=Deng |first11=Difan |last12=Lindauer |first12=Marius |title=Hyperparameter optimization: Foundations, algorithms, best practices, and open challenges |journal=Wiley Interdisciplinary Reviews: Data Mining and Knowledge Discovery |year=2023 |volume=13 |issue=2 |doi=10.1002/widm.1484}}</ref><ref>{{Chú thích hội thảo |last1=Rebuffi |first1=Sylvestre-Alvise |last2=Gowal |first2=Sven |last3=Calian |first3=Dan A. |last4=Stimberg |first4=Florian |last5=Wiles |first5=Olivia |last6=Mann |first6=Timothy |title=Data Augmentation Can Improve Robustness |conference=Advances in Neural Information Processing Systems |year=2021}}</ref> Tương tự, các mô hình [[học sâu]] trong [[thị giác máy tính]] cũng có thể cho kết quả khác biệt đáng kể tùy vào hạt giống ngẫu nhiên được chọn tới mức chênh nhau 2 điểm phần trăm về độ chính xác giữa hạt giống xui xẻo nhất và hạt giống may mắn nhất, ngay cả khi giữ nguyên kiến trúc và dữ liệu huấn luyện.<ref name="picard2021">{{Chú thích arXiv |last1=Picard |first1=David |title=Torch.manual_seed(3407) is all you need: On the influence of random seeds in deep learning architectures for computer vision |eprint=2109.08203 |year=2021}}</ref>

Các thuật toán [[học tăng cường]] đặc biệt cần được đo hiệu năng qua một số lượng lớn hạt giống ngẫu nhiên, đồng thời cần đo độ nhạy của chúng trước các lựa chọn siêu tham số. Việc đánh giá các thuật toán này với một số lượng nhỏ hạt giống ngẫu nhiên sẽ không phản ánh đầy đủ hiệu năng do phương sai cao.<ref name="mania2018"/> Một số phương pháp học tăng cường, ví dụ như DDPG ''(Deep Deterministic Policy Gradient'', Gradient chính sách xác định sâu), nhạy cảm với lựa chọn siêu tham số hơn các phương pháp khác.<ref name="mania2018"/>

== Tối ưu hóa siêu tham số ==
Tối ưu hóa siêu tham số là bài toán lựa chọn một bộ siêu tham số tối ưu cho một thuật toán học nhằm tìm ra bộ giá trị siêu tham số giúp tạo ra một mô hình tối ưu.<ref name="feurer2019">{{Chú thích sách |last1=Feurer |first1=Matthias |last2=Hutter |first2=Frank |chapter=Hyperparameter Optimization |title=Automated Machine Learning: Methods, Systems, Challenges |editor1-last=Hutter |editor1-first=Frank |editor2-last=Kotthoff |editor2-first=Lars |editor3-last=Vanschoren |editor3-first=Joaquin |publisher=Springer |series=The Springer Series on Challenges in Machine Learning |year=2019 |pages=3–33 |isbn=978-3-030-05317-8 |doi=10.1007/978-3-030-05318-5}}</ref><ref name="claesen2015"/> Hàm mục tiêu trong bài toán này nhận đầu vào là một bộ giá trị siêu tham số và trả về giá trị [[Hàm mất mát|mất mát]] tương ứng.<ref name="claesen2015"/> Để chọn ra bộ giá trị tối ưu, thông thường [[kiểm chứng chéo]] sẽ được sử dụng để ước lượng hiệu năng tổng quát hóa cho mô hình.<ref name="bergstra2012">{{Chú thích tạp chí |last1=Bergstra |first1=James |last2=Bengio |first2=Yoshua |year=2012 |title=Random Search for Hyper-Parameter Optimization |url=https://jmlr.csail.mit.edu/papers/volume13/bergstra12a/bergstra12a.pdf |journal=Journal of Machine Learning Research |volume=13 |pages=281–305}}</ref>

=== Tìm kiếm lưới ===
[[File:Hyperparameter Optimization using Grid Search.svg|thumb|Tìm kiếm lưới qua các giá trị khác nhau của hai siêu tham số. Với mỗi siêu tham số, 10 giá trị khác nhau được xem xét, do đó tổng cộng 100 tổ hợp khác nhau được đánh giá và so sánh. Đường viền màu xanh biểu thị các vùng cho kết quả tốt, trong khi đường viền màu đỏ biểu thị các vùng cho kết quả kém.|300x300px]]
Phương pháp truyền thống cho việc tối ưu hóa siêu tham số là '''tìm kiếm lưới''' (''grid search''), hay còn gọi là '''quét tham số''' (''parameter sweep''). Đây đơn giản là một phép [[tìm kiếm vét cạn]] (''brute-force search'') bằng việc thử toàn bộ các [[Tổ hợp (toán học)|tổ hợp]] trong một tập con các siêu tham số được xác định thủ công. Một thuật toán tìm kiếm lưới phải được dẫn dắt bởi một thước đo hiệu năng nào đó, thường được đo bằng [[kiểm chứng chéo]] trên tập huấn luyện<ref>Chin-Wei Hsu, Chih-Chung Chang và Chih-Jen Lin (2010). [https://www.csie.ntu.edu.tw/~cjlin/papers/guide/guide.pdf A practical guide to support vector classification]. Báo cáo kỹ thuật, [[Đại học Quốc gia Đài Loan]].</ref> hoặc bằng cách đánh giá trên một tập kiểm định riêng.

Vì không gian tham số của một mô hình học máy có thể bao gồm các không gian giá trị liên tục hoặc không giới hạn đối với một số tham số nhất định, việc thiết lập giới hạn thủ công và rời rạc hóa có thể cần thiết trước khi áp dụng tìm kiếm lưới. Ví dụ, một bộ phân loại [[máy vectơ hỗ trợ|SVM]] biên mềm thông thường được trang bị [[hàm hạt nhân cơ sở bán kính|hạt nhân RBF]] (''radial basis function kernel'') có ít nhất hai siêu tham số cần được điều chỉnh để đạt hiệu năng tốt trên dữ liệu chưa từng thấy: hằng số điều chuẩn ''C'' và siêu tham số hạt nhân γ.<ref>{{Chú thích tạp chí |last=Chang |first=Yin-Wen |last2=Hsieh |first2=Cho-Jui |last3=Chang |first3=Kai-Wei |last4=Ringgaard |first4=Michael |last5=Lin |first5=Chih-Jen |date=2010 |title=Training and Testing Low-degree Polynomial Data Mappings via Linear SVM |url=http://jmlr.org/papers/v11/chang10a.html |magazine=Journal of Machine Learning Research |pages=1471–1490 |volume=11 |issue=48 |issn=1533-7928}}</ref> Cả hai tham số đều liên tục, nên để thực hiện tìm kiếm lưới, ta cần chọn một tập hữu hạn các giá trị "hợp lý" cho mỗi tham số, ví dụ:

:<math>C \in \{10, 100, 1000\}</math>
:<math>\gamma \in \{0.1, 0.2, 0.5, 1.0\}</math>

Tìm kiếm lưới khi đó sẽ huấn luyện một SVM với từng cặp (''C'', γ) trong [[tích Descartes]] của hai tập này, rồi đánh giá hiệu năng của chúng trên một tập kiểm định giữ lại riêng hoặc bằng kiểm chứng chéo nội bộ trên tập huấn luyện. Cuối cùng, thuật toán tìm kiếm lưới trả về bộ thiết lập đạt điểm số cao nhất trong quy trình kiểm định.

Tìm kiếm lưới gặp phải "lời nguyền chiều" (''curse of dimensionality''): khi có nhiều siêu tham số, số lượng tổ hợp các siêu tham số sẽ gia tăng đột biến. Mặc dù vậy, việc tính toán có thể được song song hóa dễ dàng vì các bộ thiết lập siêu tham số mà nó đánh giá thường độc lập với nhau.<ref name="bergstra2012"/>

=== Tìm kiếm ngẫu nhiên ===
[[File:Hyperparameter Optimization using Random Search.svg|thumb|Tìm kiếm ngẫu nhiên qua các tổ hợp giá trị khác nhau của hai siêu tham số. Trong ví dụ này, 100 lựa chọn ngẫu nhiên khác nhau được đánh giá. Các thanh màu xanh lá cho thấy nhiều giá trị riêng lẻ hơn cho mỗi siêu tham số được xem xét so với tìm kiếm lưới.|300x300px]]
Tìm kiếm ngẫu nhiên thay thế việc liệt kê vét cạn mọi tổ hợp bằng cách chọn chúng một cách ngẫu nhiên. Cách này có thể áp dụng đơn giản cho các siêu tham số rời rạc, nhưng cũng khái quát được sang các không gian liên tục và hỗn hợp. Một lợi thế so với tìm kiếm lưới là tìm kiếm ngẫu nhiên có thể khảo sát nhiều giá trị hơn cho các siêu tham số liên tục. Nó có thể vượt trội hơn tìm kiếm lưới, nhất là trong trường hợp chỉ một số ít siêu tham số thực sự ảnh hưởng đến hiệu năng cuối cùng của thuật toán học máy.<ref name="bergstra2012"/><ref>{{Chú thích tạp chí |last1=Ziyu |first1=Wang |last2=Frank |first2=Hutter |last3=Masrour |first3=Zoghi |last4=David |first4=Matheson |last5=Nando |first5=de Feitas |date=2016 |title=Bayesian Optimization in a Billion Dimensions via Random Embeddings |journal=Journal of Artificial Intelligence Research |volume=55 |pages=361–387 |doi=10.1613/jair.4806 |doi-access=free |arxiv=1301.1942}}</ref>

Tìm kiếm ngẫu nhiên cũng có thể song song hóa dễ dàng, đồng thời cho phép đưa vào kiến thức có sẵn bằng cách chỉ định phân phối để lấy mẫu. Dù đơn giản, tìm kiếm ngẫu nhiên vẫn là một trong những cơ sở so sánh quan trọng để đánh giá hiệu năng của các phương pháp tối ưu hóa siêu tham số mới.<ref name="bergstra2012" />

=== Tối ưu hóa Bayes ===
[[File:Hyperparameter Optimization using Tree-Structured Parzen Estimators.svg|thumb|Các phương pháp như tối ưu hóa Bayes khảo sát không gian các lựa chọn siêu tham số một cách thông minh, bằng cách quyết định tổ hợp nào cần khảo sát tiếp theo dựa trên các quan sát trước đó.|300x300px]]
Tối ưu hóa Bayes là một phương pháp tối ưu hóa toàn cục cho các hàm hộp đen có nhiễu. Khi áp dụng vào tối ưu hóa siêu tham số, tối ưu hóa Bayes xây dựng một mô hình xác suất [[ánh xạ]] từ giá trị siêu tham số đến hàm mục tiêu được đánh giá trên một tập kiểm định. Bằng cách liên tục đánh giá một bộ tổ hợp siêu tham số có triển vọng dựa trên mô hình hiện tại, rồi cập nhật lại mô hình đó, tối ưu hóa Bayes nhằm thu thập các quan sát tiết lộ nhiều thông tin nhất có thể về hàm này, đặc biệt là vị trí của điểm tối ưu. Nó cố gắng cân bằng giữa khám phá (các siêu tham số có kết quả không chắc chắn nhất) và khai thác (các siêu tham số được kỳ vọng gần với điểm tối ưu). Trong thực tế, tối ưu hóa Bayes đã được chứng minh giúp đạt kết quả tốt hơn với ít lần đánh giá hơn so với tìm kiếm lưới và tìm kiếm ngẫu nhiên, nhờ khả năng suy luận về chất lượng của các thử nghiệm trước khi chúng thực sự được chạy.<ref name="hutter2011">{{Chú thích hội thảo |last1=Hutter |first1=Frank |last2=Hoos |first2=Holger |last3=Leyton-Brown |first3=Kevin |chapter=Sequential Model-Based Optimization for General Algorithm Configuration |title=Learning and Intelligent Optimization |series=Lecture Notes in Computer Science |volume=6683 |pages=507–523 |year=2011 |doi=10.1007/978-3-642-25566-3_40 |isbn=978-3-642-25565-6}}</ref><ref name="bergstra2011">{{Chú thích hội thảo |last1=Bergstra |first1=James |last2=Bardenet |first2=Rémi |last3=Bengio |first3=Yoshua |last4=Kégl |first4=Balázs |title=Algorithms for Hyper-Parameter Optimization |conference=Advances in Neural Information Processing Systems 24 (NeurIPS 2011) |year=2011 |pages=2546–2554 |publisher=Curran Associates}}</ref><ref>{{Chú thích hội thảo |last1=Snoek |first1=Jasper |last2=Larochelle |first2=Hugo |last3=Adams |first3=Ryan P. |title=Practical Bayesian Optimization of Machine Learning Algorithms |conference=Advances in Neural Information Processing Systems 25 (NeurIPS 2012) |year=2012 |pages=2960–2968 |publisher=Curran Associates}}</ref><ref>{{Chú thích hội thảo |last1=Thornton |first1=Chris |last2=Hutter |first2=Frank |last3=Hoos |first3=Holger H. |last4=Leyton-Brown |first4=Kevin |title=Auto-WEKA: Combined Selection and Hyperparameter Optimization of Classification Algorithms |conference=19th ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD '13) |year=2013 |pages=847–855 |doi=10.1145/2487575.2487629}}</ref>

Tuy nhiên, tối ưu hóa Bayes khó có thể được tính toán song song hóa hơn so với tìm kiếm lưới hay tìm kiếm ngẫu nhiêm vốn sử dụng các tổ hợp siêu tham số độc lập nhau, vì để tìm tổ hợp siêu tham số có triển vọng cho vòng sau cần giá trị hàm mục tiêu của tổ hợp siêu tham số từ vòng trước đó.<ref name="feurer2019"/><ref name="hutter2011" />

=== Tối ưu hóa dựa trên gradient ===
Đối với một số thuật toán học cụ thể, có thể tính [[gradient]] của [[hàm mất mát]] cho mô hình hiện tại dựa theo siêu tham số rồi tối ưu hóa siêu tham số bằng [[suy giảm độ dốc]] tương tự như cách tính toán tham số thông thường. Kỹ thuật này vốn được áp dụng đối với [[mạng thần kinh nhân tạo]],<ref>{{Chú thích hội thảo |last1=Larsen |first1=Jan |last2=Hansen |first2=Lars Kai |last3=Svarer |first3=Claus |last4=Ohlsson |first4=M. |chapter=Design and regularization of neural networks: The optimal use of a validation set |title=Neural Networks for Signal Processing VI. Proceedings of the 1996 IEEE Signal Processing Society Workshop |pages=62–71 |date=1996 |doi=10.1109/NNSP.1996.548336 |isbn=0-7803-3550-3}}</ref> nhưng cũng được mở rộng sang các mô hình khác như [[máy vectơ hỗ trợ]]<ref>{{Chú thích tạp chí |last1=Chapelle |first1=Olivier |last2=Vapnik |first2=Vladimir |last3=Bousquet |first3=Olivier |last4=Mukherjee |first4=Sayan |title=Choosing multiple parameters for support vector machines |journal=Machine Learning |year=2002 |volume=46 |issue=1–3 |pages=131–159 |doi=10.1023/a:1012450327387 |doi-access=free}}</ref> hoặc hồi quy logistic.<ref>{{Chú thích hội thảo |last1=Do |first1=Chuong B. |last2=Foo |first2=Chuan-Sheng |last3=Ng |first3=Andrew Y. |title=Efficient multiple hyperparameter learning for log-linear models |conference=Advances in Neural Information Processing Systems 20 (NeurIPS 2007) |year=2007 |pages=377–384 |publisher=Curran Associates}}</ref>

Một hướng tiếp cận khác để thu được gradient theo siêu tham số là tính [[đạo hàm]] qua từng bước của quá trình huấn luyện. Khi huấn luyện một mô hình bằng suy giảm độ dốc với một siêu tham số <math>\lambda
</math> cố định, mỗi bước cập nhật trọng số (từ <math>w_t</math> sang <math>w_{t+1}</math>) là một phép tính cụ thể phụ thuộc vào <math>\lambda
</math>. Vì đây là một chuỗi phép tính khả vi nối tiếp nhau, ta có thể áp dụng quy tắc chuỗi (chính là công thức toán học đứng sau thuật toán [[Truyền ngược|lan truyền ngược]] dùng để huấn luyện mạng neuron) để tính đạo hàm của hàm mất mát cuối cùng theo <math>\lambda
</math>, bằng cách đi ngược lại qua toàn bộ các bước huấn luyện đó.<ref>{{Chú thích hội thảo |last1=Domke |first1=Justin |title=Generic Methods for Optimization-Based Modeling |conference=Proceedings of the 15th International Conference on Artificial Intelligence and Statistics (AISTATS) |volume=22 |pages=318–326 |date=2012}}</ref><ref>{{Chú thích hội thảo |last1=Maclaurin |first1=Dougal |last2=Duvenaud |first2=David |last3=Adams |first3=Ryan P. |title=Gradient-based Hyperparameter Optimization through Reversible Learning |conference=Proceedings of the 32nd International Conference on Machine Learning (ICML) |series=Proceedings of Machine Learning Research |volume=37 |pages=2113–2122 |date=2015 |arxiv=1502.03492}}</ref><ref>{{Chú thích hội thảo |last1=Franceschi |first1=Luca |last2=Donini |first2=Michele |last3=Frasconi |first3=Paolo |last4=Pontil |first4=Massimiliano |title=Forward and Reverse Gradient-Based Hyperparameter Optimization |conference=Proceedings of the 34th International Conference on Machine Learning (ICML) |series=Proceedings of Machine Learning Research |volume=70 |pages=1165–1173 |date=2017 |arxiv=1703.01785}}</ref><ref>{{Chú thích hội thảo |last1=Shaban |first1=Amirreza |last2=Cheng |first2=Ching-An |last3=Hatch |first3=Nathan |last4=Boots |first4=Byron |title=Truncated Back-propagation for Bilevel Optimization |conference=Proceedings of the 22nd International Conference on Artificial Intelligence and Statistics (AISTATS) |pages=1723–1732 |date=2019 |arxiv=1810.10667}}</ref> Nhược điểm của cách này là cần lưu lại giá trị trọng số ở mọi bước huấn luyện, nên bộ nhớ sử dụng tăng theo số bước huấn luyện.

Một hướng tiếp cận khác không cần lưu lại từng bước huấn luyện, mà dựa trên định lý hàm ẩn: khi huấn luyện đã hội tụ đến trọng số tối ưu <math>w^*</math>, đạo hàm của hàm mất mát theo trọng số tại <math>w^*</math> phải bằng 0. Phương trình này liên hệ trực tiếp giữa <math>w^*</math> và <math>\lambda
</math>, cho phép tính ra đạo hàm của <math>w^*</math> theo <math>\lambda
</math> mà không cần biết quá trình huấn luyện đã đi qua những bước nào. Tuy nhiên, công thức từ định lý hàm ẩn yêu cầu nghịch đảo [[ma trận Hessian]]. Trong khi đó, kích thước của ma trận này tăng theo bình phương số trọng số của mô hình, nên việc nghịch đảo trực tiếp là bất khả thi với các mô hình có hàng triệu trọng số. Một nghiên cứu gần đây đã đề xuất một cách xấp xỉ ổn định cho phép nghịch đảo ma trận đó mà không cần tính toán và lưu trữ toàn bộ ma trận, giúp phương pháp này áp dụng được cho các mô hình có hàng triệu siêu tham số.<ref>{{Chú thích hội thảo |last1=Lorraine |first1=Jonathan |last2=Vicol |first2=Paul |last3=Duvenaud |first3=David |title=Optimizing Millions of Hyperparameters by Implicit Differentiation |conference=Proceedings of the 23rd International Conference on Artificial Intelligence and Statistics (AISTATS) |series=Proceedings of Machine Learning Research |volume=108 |pages=1540–1552 |date=2020 |arxiv=1911.02590}}</ref>

Trong một hướng tiếp cận khác, một siêu mạng (''hypernetwork'')—một mạng neuron riêng biệt nhận đầu vào là một giá trị siêu tham số <math>\lambda
</math> và trả về trọng số tương ứng của mô hình chính—có thể được huấn luyện để dự đoán trọng số mà mô hình chính sẽ đạt được nếu huấn luyện đầy đủ với giá trị <math>\lambda
</math> đó. Sau khi huấn luyện xong, chỉ cần một lượt tính toán qua siêu mạng để lấy trọng số ứng với một giá trị <math>\lambda
</math> mới, thay vì phải huấn luyện lại toàn bộ mô hình chính từ đầu. Một ưu điểm của phương pháp này là nó có thể xử lý cả siêu tham số rời rạc.<ref>{{Chú thích hội thảo|last1=Lorraine |first1=Jonathan |last2=Duvenaud |first2=David |title=Stochastic Hyperparameter Optimization through Hypernetworks|conference=International Conference on Learning Representations (ICLR) |arxiv=1802.09419 |year=2018}}</ref> Vì một siêu mạng phải dự đoán chính xác trên toàn bộ không gian giá trị của <math>\lambda
</math> sẽ cần kích thước rất lớn, mạng tự điều chỉnh (''self-tuning network'') tiết kiệm bộ nhớ hơn bằng cách chỉ yêu cầu siêu mạng dự đoán chính xác trong một vùng nhỏ xung quanh giá trị λ hiện tại.<ref>{{Chú thích hội thảo |last1=MacKay |first1=Matthew |last2=Vicol |first2=Paul |last3=Lorraine |first3=Jonathan |last4=Duvenaud |first4=David |last5=Grosse |first5=Roger |title=Self-Tuning Networks: Bilevel Optimization of Hyperparameters using Structured Best-Response Functions |conference=International Conference on Learning Representations (ICLR) |year=2019 |arxiv=1903.03088}}</ref> Δ-STN cải thiện thêm phương pháp này bằng cách nhận ra rằng việc tính gradient theo <math>\lambda
</math> chỉ cần đến đạo hàm của trọng số theo <math>\lambda
</math> (biểu diễn bằng [[ma trận Jacobian]]), chứ không cần giá trị trọng số tuyệt đối; do đó Δ-STN tập trung xấp xỉ đúng ma trận đạo hàm này, đồng thời giả định mối quan hệ giữa trọng số và <math>\lambda
</math> là gần đúng [[tuyến tính]] để tránh dao động hoặc mất ổn định khi trọng số thay đổi lớn trong quá trình huấn luyện.<ref>{{Chú thích hội thảo |last1=Bae |first1=Juhan |last2=Grosse |first2=Roger |title=Delta-STN: Efficient Bilevel Optimization for Neural Networks using Structured Response Jacobians |conference=Advances in Neural Information Processing Systems 33 (NeurIPS 2020) |year=2020 |arxiv=2010.13514}}</ref>

Ngoài các phương pháp dùng siêu mạng, các phương pháp dựa trên gradient cũng có thể được dùng để tối ưu hóa siêu tham số rời rạc, bằng cách áp dụng một phép nới lỏng liên tục (''continuous relaxation'') cho các tham số.<ref>{{Chú thích hội thảo |last1=Liu |first1=Hanxiao |last2=Simonyan |first2=Karen |last3=Yang |first3=Yiming |title=DARTS: Differentiable Architecture Search |conference=International Conference on Learning Representations (ICLR) |year=2019 |arxiv=1806.09055}}</ref> Các phương pháp như vậy đã được sử dụng rộng rãi để tối ưu hóa siêu tham số kiến trúc trong bài toán tìm kiếm kiến trúc mạng neuron tối ưu.

=== Tối ưu hóa tiến hóa ===
Tối ưu hóa tiến hóa là một phương pháp luận cho việc tối ưu hóa toàn cục các hàm hộp đen có nhiễu. Trong tối ưu hóa siêu tham số, tối ưu hóa tiến hóa sử dụng [[thuật toán tiến hóa]] (''evolution algorithm'') để tìm kiếm không gian siêu tham số cho một thuật toán cho trước.<ref name="bergstra2011"/> Tối ưu hóa siêu tham số bằng tiến hóa tuân theo một quy trình lấy cảm hứng từ khái niệm sinh học về tiến hóa:

# Tạo một quần thể ban đầu gồm các nghiệm ngẫu nhiên (tức là tạo ngẫu nhiên các bộ giá trị siêu tham số, thường trên 100 bộ)
# Đánh giá các bộ giá trị siêu tham số và thu được [[hàm thích nghi]] (''fitness function'') của chúng. Ví dụ như độ chính xác kiểm chứng chéo 10 phần của thuật toán học máy với các siêu tham số đó
# Xếp hạng các bộ giá trị siêu tham số theo độ thích nghi tương đối
# Thay thế các bộ giá trị siêu tham số có hiệu năng kém nhất bằng các bộ mới được tạo ra thông qua [[Lai (sinh học)|lai tạo]] giữa những bộ siêu tham số có hiệu năng tốt nhất và [[Đột biến sinh học|đột biến]] thay đổi giá trị ngẫu nhiên
# Lặp lại bước 2–4 cho đến khi đạt được hiệu năng thuật toán thỏa đáng hoặc không còn cải thiện thêm

Tối ưu hóa tiến hóa đã được dùng trong tối ưu hóa siêu tham số cho các thuật toán học máy thống kê,<ref name="bergstra2011"/> tìm kiếm kiến trúc mạng neuron thông thường<ref>{{Chú thích tạp chí |last1=Kousiouris |first1=G. |last2=Cuccinotta |first2=T. |last3=Varvarigou |first3=T. |year=2011 |title=The effects of scheduling, workload type and consolidation scenarios on virtual machine performance and their prediction through optimized artificial neural networks |journal=Journal of Systems and Software |volume=84 |issue=8 |pages=1270–1291 |doi=10.1016/j.jss.2011.04.013 |hdl=11382/361472 |hdl-access=free}}</ref> và mạng neuron sâu,<ref>{{Chú thích sách |last1=Miikkulainen |first1=Risto |last2=Liang |first2=Jason |last3=Meyerson |first3=Elliot |last4=Rawal |first4=Aditya |last5=Fink |first5=Daniel |last6=Francon |first6=Olivier |last7=Raju |first7=Bala |last8=Shahrzad |first8=Hormoz |last9=Navruzyan |first9=Arshak |last10=Duffy |first10=Nigel |last11=Hodjat |first11=Babak |chapter=Evolving Deep Neural Networks |title=Artificial Intelligence in the Age of Neural Networks and Brain Computing |publisher=Elsevier |year=2019 |pages=293–312 |arxiv=1703.00548}}</ref> cũng như việc huấn luyện trọng số trong mạng neuron sâu.<ref>{{Chú thích arXiv |last1=Such |first1=Felipe Petroski |last2=Madhavan |first2=Vashisht |last3=Conti |first3=Edoardo |last4=Lehman |first4=Joel |last5=Stanley |first5=Kenneth O. |last6=Clune |first6=Jeff |title=Deep Neuroevolution: Genetic Algorithms Are a Competitive Alternative for Training Deep Neural Networks for Reinforcement Learning |eprint=1712.06567 |year=2017}}</ref>

=== Dựa trên dừng sớm ===
[[File:Successive-halving-for-eight-arbitrary-hyperparameter-configurations.png|thumb|Thuật toán Chia nửa liên tiếp cho tám bộ tổ hợp siêu tham số ngẫu nhiên, liên tục áp dụng thuật toán này cho đến khi chỉ còn lại một mô hình.|300x300px]]

Thay vì chờt thuật toán chạy đến khi hoàn tất mới so sánh hiệu quả của từng tổ hợp siêu tham số, các thuật toán dừng sớm tận dụng thông tin về hiệu năng thu được ở giai đoạn sớm để loại bỏ các tổ hợp rõ ràng là kém, từ đó tập trung tài nguyên tính toán còn lại vào những tổ hợp có triển vọng hơn.

Irace triển khai thuật toán "cuộc đua lặp lại" (''iterated racing''): nhiều tổ hợp được chạy song song qua một chuỗi các bài kiểm thử, và sau mỗi bài kiểm thử, một kiểm định thống kê được dùng để so sánh hiệu năng giữa các tổ hợp đang được đánh giá. Một tổ hợp bị loại khỏi "cuộc đua" ngay khi được xác định là kém hơn đáng kể so với tổ hợp tốt nhất hiện tại, mà không cần chờ hoàn tất toàn bộ chuỗi bài kiểm thử; các tổ hợp mới có thể được sinh ra để thay thế chúng dựa trên phân phối xác suất cập nhật từ các tổ hợp còn lại.<ref>{{Chú thích tạp chí |last1=López-Ibáñez |first1=Manuel |last2=Dubois-Lacoste |first2=Jérémie |last3=Pérez Cáceres |first3=Leslie |last4=Stützle |first4=Thomas |last5=Birattari |first5=Mauro |date=2016 |title=The irace package: Iterated Racing for Automatic Algorithm Configuration |journal=Operations Research Perspective |volume=3 |issue=3 |pages=43–58 |doi=10.1016/j.orp.2016.09.002 |doi-access=free |hdl=10419/178265 |hdl-access=free}}</ref><ref>{{Chú thích hội thảo |last1=Birattari |first1=Mauro |last2=Stützle |first2=Thomas |last3=Paquete |first3=Luis |last4=Varrentrapp |first4=Klaus |title=A Racing Algorithm for Configuring Metaheuristics |conference=GECCO 2002 |date=2002 |pages=11–18}}</ref>

Một thuật toán dừng sớm khác là "chia nửa liên tiếp" (''successive halving'', SHA). Thuật toán bắt đầu bằng cách đánh giá đồng thời toàn bộ các tổ hợp ứng viên với một "ngân sách" tính toán nhỏ như nhau cho mỗi tổ hợp. Sau mỗi vòng đánh giá, các tổ hợp siêu tham số được xếp hạng theo hiệu năng, phân nửa có hiệu năng kém nhất bị loại bỏ, và ngân sách tính toán cho vòng tiếp theo được tăng gấp đôi cho các tổ hợp còn lại. Quá trình lặp lại cho đến khi chỉ còn một tổ hợp duy nhất, và chỉ đến lúc đó được đánh giá với ngân sách tính toán đầy đủ. Nhờ loại bỏ các tổ hợp kém trước khi chúng tiêu tốn nhiều ngân sách tính toán, tổng tài nguyên tính toán được sử dụng bởi SHA thấp hơn đáng kể so với việc đánh giá đầy đủ toàn bộ tổ hợp ứng viên ngay từ đầu.<ref>{{Chú thích tạp chí |last1=Jamieson |first1=Kevin |last2=Talwalkar |first2=Ameet |title=Non-stochastic Best Arm Identification and Hyperparameter Optimization|journal=Proceedings of the 19th International Conference on Artificial Intelligence and Statistics (PMLR)|date=2016-05-11 |pages=240-248 |url=https://proceedings.mlr.press/v51/jamieson16.html}}</ref>

Một hạn chế của SHA là các vòng đánh giá phải được thực hiện đồng bộ do toàn bộ tổ hợp trong một vòng phải hoàn tất trước khi thuật toán có thể xếp hạng và loại bỏ, rồi chuyển sang vòng tiếp theo. Khi chạy song song trên nhiều tài nguyên tính toán, yêu cầu đồng bộ này khiến toàn hệ thống phải chờ tổ hợp chạy chậm nhất trong mỗi vòng, gây lãng phí tài nguyên nhàn rỗi. Chia nửa liên tiếp bất đồng bộ (ASHA) loại bỏ yêu cầu này: một tổ hợp siêu tham số được thăng cấp lên mức ngân sách kế tiếp ngay khi nó được xác định là đủ tốt so với các tổ hợp khác đã hoàn tất cùng mức ngân sách, không cần chờ toàn bộ vòng hiện tại kết thúc; nhờ đó, tài nguyên tính toán song song được sử dụng hiệu quả hơn.<ref>{{Chú thích hội thảo |last1=Li |first1=Liam |last2=Jamieson |first2=Kevin |last3=Rostamizadeh |first3=Afshin |last4=Gonina |first4=Ekaterina |last5=Ben-tzur |first5=Jonathan |last6=Hardt |first6=Moritz |last7=Recht |first7=Benjamin |last8=Talwalkar |first8=Ameet |title=A System for Massively Parallel Hyperparameter Tuning |conference=Proceedings of Machine Learning and Systems (MLSys) 2 |year=2020 |arxiv=1810.05934}}</ref>

Hiệu quả của SHA và ASHA phụ thuộc vào việc lựa chọn trước số lượng tổ hợp siêu tham số ban đầu và ngân sách tính toán tối thiểu cho vòng đầu tiên; lựa chọn không phù hợp có thể khiến các tổ hợp cần nhiều thời gian và tài nguyên huấn luyện hơn để bộc lộ tiềm năng thực sự bị loại bỏ quá sớm. Hyperband là một thuật toán dựa trên dừng sớm ở cấp cao hơn, giải quyết vấn đề này bằng cách chạy SHA (hoặc ASHA) nhiều lần, mỗi lần với một tổ hợp khác nhau giữa số lượng tổ hợp ban đầu và ngân sách vòng đầu tiên; qua đó áp dụng được rộng rãi hơn cho nhiều loại bài toán và cần ít thông tin đầu vào từ người dùng hơn.<ref>{{Chú thích tạp chí |last1=Li |first1=Lisha |last2=Jamieson |first2=Kevin |last3=DeSalvo |first3=Giulia |last4=Rostamizadeh |first4=Afshin |last5=Talwalkar |first5=Ameet |date=2020-03-16 |title=Hyperband: A Novel Bandit-Based Approach to Hyperparameter Optimization |journal=Journal of Machine Learning Research |volume=18 |pages=1–52 |arxiv=1603.06560}}</ref>

=== Khác ===
Các phương pháp tiếp cận dựa trên hàm cơ sở bán kính (''radial basis function'', RBF) xây dựng một mô hình đại diện cho hàm mục tiêu bằng phép [[nội suy]] hàm cơ sở bán kính, tương tự về ý tưởng với tối ưu hóa Bayes nhưng dùng một công cụ toán học khác để xấp xỉ hàm mục tiêu; mô hình đại diện này được dùng để ước lượng nhanh bộ siêu tham số có triển vọng trước khi đánh giá đầy đủ.<ref>{{Chú thích tạp chí |last1=Diaz |first1=Gonzalo I. |last2=Fokoue-Nkoutche |first2=Achille |last3=Nannicini |first3=Giacomo |last4=Samulowitz |first4=Horst |title=An effective algorithm for hyperparameter optimization of neural networks |journal=IBM Journal of Research and Development |year=2017 |volume=61 |issue=4/5 |pages=9:1–9:11 |doi=10.1147/JRD.2017.2709578}}</ref> Một phương pháp khác dựa trên phân tích phổ (''spectral'') giả định rằng hàm mục tiêu có thể được xấp xỉ bằng một đa thức thưa và bậc thấp trong [[Biến đổi Fourier|miền Fourier]], rồi dùng kỹ thuật lấy mẫu nén (''compressed sensing'') để khôi phục các hệ số Fourier của đa thức đó từ một tập bộ giá trị siêu tham số được lấy mẫu đồng đều. Vì việc lấy mẫu không cần thực hiện tuần tự, phương pháp này có thể song song hóa dễ dàng.<ref>{{Chú thích hội thảo |last1=Hazan |first1=Elad |last2=Klivans |first2=Adam |last3=Yuan |first3=Yang |title=Hyperparameter Optimization: A Spectral Approach |conference=International Conference on Learning Representations (ICLR) |year=2018 |arxiv=1706.00764}}</ref>

Kiến trúc của một mạng neuron—ví dụ số lượng [[Lớp (mạng thần kinh nhân tạo)|lớp]], số lượng neuron của mỗi lớp, hay cách các lớp kết nối với nhau—cũng là một dạng siêu tham số, và bài toán tìm ra kiến trúc tối ưu được gọi là [[tìm kiếm kiến trúc mạng neuron]]. Một hướng tiếp cận cho bài toán này dùng [[học tăng cường]]: một mạng neuron hồi quy đóng vai trò "bộ điều khiển" được huấn luyện để sinh ra mô tả kiến trúc mạng, lấy độ chính xác trên tập kiểm định của kiến trúc được sinh ra làm phần thưởng để cập nhật bộ điều khiển đó.<ref>{{Chú thích hội thảo |last1=Zoph |first1=Barret |last2=Le |first2=Quoc V. |title=Neural Architecture Search with Reinforcement Learning |conference=International Conference on Learning Representations (ICLR) |year=2017 |arxiv=1611.01578}}</ref> Vì cách này đòi hỏi huấn luyện lại từ đầu cho mỗi kiến trúc ứng viên nên rất tốn chi phí tính toán, các phương pháp sau này đã được phát triển dựa trên [[gradient]] bằng cách áp dụng một phép nới lỏng liên tục (''continuous relaxation'') để biến không gian kiến trúc rời rạc thành không gian liên tục khả vi, cho phép tối ưu hóa kiến trúc chỉ với một lần huấn luyện duy nhất.<ref>{{Chú thích hội thảo |last1=Liu |first1=Hanxiao |last2=Simonyan |first2=Karen |last3=Yang |first3=Yiming |title=DARTS: Differentiable Architecture Search |conference=International Conference on Learning Representations (ICLR) |year=2019 |arxiv=1806.09055}}</ref>

== Khả năng tái tạo nghiên cứu ==
Ngoài việc điều chỉnh siêu tham số, học máy còn đòi hỏi việc lưu trữ các tham số cùng kết quả của các thí nghiệm, đồng thời đảm bảo rằng những kết quả này có thể được tái tạo bởi những nhà khoa học khác.<ref>{{Chú thích hội thảo |last1=Greff |first1=Klaus |last2=Schmidhuber |first2=Jürgen |title=Introducing Sacred: A Tool to Facilitate Reproducible Research |conference=ICML 2015 AutoML Workshop |year=2015}}</ref> Khi thiếu một cơ sở hạ tầng vững chắc cho mục đích này, các bộ mã nguồn được dùng trong nghiên cứu thường phát triển các thuật toán một cách qua loa và bỏ qua những khía cạnh thiết yếu như việc ghi chép có hệ thống và khả năng tái tạo các thí nghiệm của họ.<ref>{{Chú thích hội thảo |last1=Greff |first1=Klaus |last2=Klein |first2=Aaron |last3=Chovanec |first3=Martin |last4=Hutter |first4=Frank |last5=Schmidhuber |first5=Jürgen |title=The Sacred Infrastructure for Computational Research |conference=Proceedings of the 15th Python in Science Conference (SciPy 2017) |year=2017}}</ref> Khả năng tái tạo có thể đặc biệt khó khăn đối với các mô hình học sâu, khi hiệu suất của các mô hình học sâu bị ảnh hưởng rất nhiều vào việc lựa chọn hạt giống ngẫu nhiên của [[Bộ sinh số giả ngẫu nhiên|bộ sinh số ngẫu nhiên]].<ref>{{Chú thích arXiv |last1=Bethard |first1=Steven |title=We need to talk about random seeds |eprint=2210.13393 |year=2022}}</ref><ref name="picard2021" /> Do đó, các nền tảng cộng tác trực tuyến cho học máy được phát triển nhằm cho phép các nhà khoa học chia sẻ, tổ chức, và thảo luận về các thực hiện thí nghiệm với nhau.<ref>{{Chú thích tạp chí |last1=Vanschoren |first1=Joaquin |last2=van Rijn |first2=Jan N. |last3=Bischl |first3=Bernd |last4=Torgo |first4=Luis |title=OpenML: Networked Science in Machine Learning |journal=ACM SIGKDD Explorations Newsletter |year=2013 |volume=15 |issue=2 |pages=49–60 |doi=10.1145/2641190.2641198}}</ref> 

== Tham khảo ==
{{Tham khảo}}{{Trí tuệ nhân tạo (AI)}}
[[Thể loại:Khoa học máy tính]]
[[Thể loại:Trí tuệ nhân tạo]]
[[Thể loại:Học máy]]
[[Thể loại:Lựa chọn mô hình]]