Toàn Cảnh Tiến Hóa Kiến Trúc AI: Từ Perceptron, Transformer Đến Mamba, State Space Models (SSM) Và Mixture Of Experts (MoE)

1. Bối cảnh lịch sử & Động lực thúc đẩy sự chuyển dịch kiến trúc

Sự tiến hóa của các kiến trúc học sâu (Deep Learning) trong thập kỷ qua được định nghĩa bởi một cuộc chiến không khoan nhượng giữa khả năng biểu diễn (expressiveness), hiệu quả tính toán (computational efficiency) và khả năng mở rộng quy mô (scaling laws). Từ góc nhìn của kỹ sư hệ thống siêu máy tính tại VietITPro.vn, mỗi bước nhảy vọt về kiến trúc không chỉ xuất phát từ sự thuần túy của toán học lý thuyết, mà còn chịu áp lực trực tiếp từ các giới hạn vật lý của phần cứng bán dẫn: băng thông bộ nhớ (memory bandwidth), dung lượng bộ nhớ băng thông cao (HBM capacity), và năng lực tính toán dấu phẩy động (FLOPs/watt).

Nền móng của mạng nơ-ron nhân tạo bắt nguồn từ Perceptron đơn tầng do Frank Rosenblatt đề xuất năm 1958, thực hiện phép toán tuyến tính $\hat{y} = f(W^T x + b)$ với hàm kích hoạt ngưỡng. Tuy nhiên, định lý XOR được minh chứng bởi Minsky và Papert năm 1969 đã chỉ ra điểm mù chí tử: Perceptron tuyến tính không thể học được các hàm phi tuyến tính phức tạp. Sự ra đời của Multi-Layer Perceptron (MLP) kết hợp thuật toán lan truyền ngược (Backpropagation) đã giải quyết vấn đề này, mở ra kỷ nguyên học sâu hiện đại.

Khi dữ liệu dịch chuyển sang dạng không gian và thời gian, các kiến trúc chuyên hóa bắt đầu thống trị:

• Convolutional Neural Networks (CNNs): Khai thác tính bất biến dịch chuyển (translation invariance) thông qua các kernel tích chập, giải quyết bài toán thị giác máy tính nhưng bị giới hạn bởi tầm nhìn cục bộ (receptive field hữu hạn ở các lớp nông).
• Recurrent Neural Networks (RNNs) và LSTMs / GRUs: Được thiết kế để xử lý dữ liệu chuỗi (sequential data) thông qua trạng thái ẩn (hidden state) truyền qua thời gian $h_t = f(h_{t-1}, x_t)$. Tuy nhiên, cơ chế lặp tuần tự này vấp phải hai tử huyệt: vấn đề bùng nổ/triệt tiêu gradient (gradient explosion/vanishing) qua các bước thời gian dài, và sự bất khả thi trong việc tận dụng năng lực tính toán song song của các bộ tăng tốc phần cứng như GPU/TPU (vì trạng thái $t$ bắt buộc phải chờ kết quả từ $t-1$).

Bước ngoặt lịch sử diễn ra vào năm 2017 với công trình kinh điển "Attention Is All You Need" của Vaswani et al., khai sinh ra kiến trúc Transformer. Bằng cách loại bỏ hoàn toàn các vòng lặp hồi tiếp (recurrence) và thay thế bằng cơ chế tự chú ý toàn cục (Global Self-Attention), Transformer cho phép xử lý song song toàn bộ chuỗi dữ liệu trong quá trình huấn luyện. Điều này đã châm ngòi cho cuộc cách mạng Mô hình Ngôn ngữ Lớn (LLM), đẩy kích thước mô hình từ hàng triệu lên tới hàng nghìn tỷ tham số.

Dù vậy, khi độ dài ngữ cảnh (Context Window) mở rộng từ 4K token lên đến hàng triệu token (như Gemini 1.5 Pro hay GPT-4 Turbo), kiến trúc Transformer thuần túy đã chạm trán một bức tường vật lý: độ phức tạp tính toán và bộ nhớ tăng trưởng theo hàm bậc hai $O(N^2)$. Điều này dẫn đến sự dịch chuyển kiến trúc sang hai hướng đi mang tính cách mạng trong giai đoạn hiện tại và tương lai:

1. State Space Models (SSM) và Mamba: Đột phá giới hạn $O(N^2)$ xuống độ phức tạp tuyến tính $O(N)$ bằng cách tái định nghĩa mô hình không gian trạng thái từ lý thuyết điều khiển tự động kết hợp thuật toán quét chọn lọc (Selective Scan).

2. Mixture of Experts (MoE): Giải quyết bài toán chi phí tính toán thông qua cơ chế thưa (sparsity), kích hoạt một phần tham số tối ưu cho từng token cụ thể thay vì kích hoạt toàn bộ mô hình (Dense Model).

2. Giải phẫu chi tiết cấu trúc toán học / giải thuật cốt lõi

2.1. Cơ chế Self-Attention trong Transformer và bài toán KV-Cache

Trong kiến trúc Transformer, cơ chế Self-Attention cho phép một token trong chuỗi tương tác trực tiếp với mọi token khác. Cho ma trận đầu vào $X \in \mathbb{R}^{N × d_{model}}$ (với $N$ là độ dài chuỗi, $d_{model}$ là chiều ẩn), ta chiếu nó thành ba không gian riêng biệt thông qua các trọng số học được $W_Q, W_K, W_V$:

Công thức Scaled Dot-Product Attention kinh điển được biểu diễn như sau:

Trong đó $d_k$ là chiều của ma trận Key.

Phân tích điểm nghẽn $O(N^2)$ và KV-Cache:

1. Độ phức tạp tính toán: Phép nhân ma trận $QK^T$ tạo ra một ma trận trọng số tương tác kích thước $N × N$. Khi độ dài ngữ cảnh $N$ tăng từ 4,096 lên 1,000,000 token, số lượng phép tính FLOPs cho mỗi lớp attention tăng theo bình phương, làm kiệt quệ băng thông tính toán của GPU.

2. Nghẽn cổ chai KV-Cache trong suy luận (Inference): Trong giai đoạn sinh văn bản tự hồi tiếp (autoregressive generation), mô hình sinh ra từng token một. Để tránh việc phải tính toán lại Key và Value cho toàn bộ các token trước đó ở mỗi bước, hệ thống lưu trữ các véc-tơ $K$ và $V$ của các token lịch sử vào bộ nhớ RAM của GPU, gọi là KV-Cache.

• Kích thước bộ nhớ tiêu thụ bởi KV-Cache cho một request được tính bằng:

(với $L$: số lớp Transformer, $b$: batch size, $h$: số lượng attention heads, $d$: kích thước mỗi head).

• Khi batch size lớn và context window đạt hàng trăm nghìn token, KV-Cache chiếm phần lớn dung lượng bộ nhớ HBM, gây ra hiện tượng tràn bộ nhớ (OOM) và làm suy giảm nghiêm trọng băng thông bộ nhớ (Memory Bandwidth Bottleneck).

2.2. Sự trỗi dậy của State Space Models (SSM) và Mamba

Để khắc phục nhược điểm của RNN (không song song hóa được) và Transformer (chi phí $O(N^2)$), các nhà nghiên cứu đã hồi sinh lý thuyết Hệ thống Không gian Trạng thái (State Space Models - SSM), tiêu biểu là dòng họ Mamba do Albert Gu và Tri Dao phát triển.

SSM mô phỏng một hệ thống động lực học liên tục, ánh xạ hàm đầu tín hiệu một chiều $x(t) \in \mathbb{R} → y(t) \in \mathbb{R}$ thông qua trạng thái ẩn liên tục $h(t) \in \mathbb{R}^N$:

Trong đó:

• $A \in \mathbb{R}^{N × N}$ là ma trận chuyển trạng thái.
• $B \in \mathbb{R}^{N × 1}, C \in \mathbb{R}^{1 × N}$ là các ma trận chiếu đầu vào và đầu ra.

Để máy tính số (Digital Hardware) có thể xử lý, hệ thống liên tục này được rời rạc hóa (discretization) thông qua bước thời gian $Δ$ (Delta) sử dụng phép xấp xỉ Zero-Order Hold (ZOH):

Phương trình trạng thái rời rạc trở thành:

Giải thuật Quét Chọn Lọc (Selective Scan Mechanism trong Mamba):

Các mô hình SSM truyền thống (như S4) gặp trở ngại vì các tham số $A, B, C$ là bất biến theo thời gian (time-invariant), khiến mô hình kém linh hoạt trong việc "ghi nhớ" hoặc "quên" các thông tin cụ thể trong văn bản. Mamba giải quyết bài toán này bằng cơ chế Selective State Space, cho phép các tham số $Δ, B, C$ trở thành hàm số phụ thuộc trực tiếp vào đầu vào hiện tại $x_t$:

Sự phụ thuộc vào đầu vào này phá vỡ tính chất Convolution toàn cục truyền thống của SSM tuyến tính, đòi hỏi phải tính toán tuần tự. Tuy nhiên, nhóm nghiên cứu đã thiết kế một Hardware-Aware Algorithm (Thuật toán nhận thức phần cứng), thực hiện tính toán trạng thái thông qua kỹ thuật kernel fusion và scan song song trên SRAM của GPU thay vì ghi đọc liên tục từ HBM, đạt độ phức tạp thời gian tuyến tính $O(N)$ và bộ nhớ trạng thái ẩn cố định $O(1)$ khi suy luận.

2.3. Kiến trúc Mixture of Experts (MoE)

Khi các mô hình Dense đạt kích thước hàng trăm tỷ tham số, chi phí tính toán cho mỗi token (Active FLOPs) trở nên quá lớn. Mixture of Experts (MoE) tách rời dung lượng tham số tổng thể (Total Parameters) khỏi năng lực tính toán trên từng token (Active Parameters).

Cấu trúc cốt lõi của một lớp MoE thay thế lớp Feed-Forward Network (FFN) truyền thống bằng một tập hợp các mạng nơ-ron con gọi là các "Chuyên gia" (Experts - $E_1, E_2, \dots, E_E$) và một cổng điều phối thưa (Sparse Router / Top-k Gating):

Trong đó hàm Gating $G(x)$ tính toán điểm số xác suất phân phối cho các chuyên gia, và chỉ chọn ra $k$ chuyên gia có điểm số cao nhất (thường $k=2$ trong các mô hình như Mixtral 8x7B hay DeepSeek-V3):

Cơ chế cân bằng tải (Load Balancing Loss):

Một rủi ro kinh điển trong MoE là hiện tượng Router Collapse, nơi cổng định tuyến dồn toàn bộ token vào một vài chuyên gia phổ biến, khiến các chuyên gia khác bị "bỏ đói" không được huấn luyện. Để khắc phục, các kỹ sư bổ sung thêm hàm mất mát phụ trợ (Auxiliary Loss) vào quá trình tối ưu hóa:

Với $f_i$ là tỷ lệ token được định tuyến đến chuyên gia $i$, và $P_i$ là xác suất trung bình mà router phân bổ cho chuyên gia $i$. Điều này ép bộ định tuyến phân bổ đồng đều luồng dữ liệu, tối ưu hóa hiệu suất sử dụng cụm phần cứng tính toán.

3. Hạ tầng phần cứng, tối ưu hóa bộ nhớ & Băng thông liên kết

Tại trung tâm nghiên cứu VietITPro.vn, việc hiện thực hóa các kiến trúc mô hình lớn đòi hỏi sự đồng bộ chặt chẽ giữa phần mềm thuật toán và hạ tầng vi mạch phần cứng.

+-----------------------------------------------------------------+


      

        
HOST CPU & SYSTEM RAM

      
    
+--------------------------------|--------------------------------+

| PCIe Gen5 x16 (NVLink Bridge)

+--------------------------------v--------------------------------+


      

        
GPU NODE (H100 / Blackwell)
+-----------------------------------------------------------+
HBM3e (80GB / 192GB)
[KV-Cache Storage / Model Weights]
+-----------------------------^-----------------------------+
High-Bandwidth Dataflow
+-----------------------------v-----------------------------+
SRAM / Tensor Cores (Compute Engine)
- FlashAttention-3 (Tiling & Online Softmax)
- Selective Scan Kernel Fusion (Mamba SSM)
- MoE Token Routing & All-to-All Communication
+-----------------------------------------------------------+
      
    
+-----------------------------------------------------------------+

3.1. Thách thức phần cứng và Băng thông HBM

Hạn chế lớn nhất trong suy luận LLM không phải là khả năng tính toán ma trận (FLOPS của Tensor Core trên các dòng GPU như NVIDIA H100 hay Blackwell B200 thường rất dư dả), mà là Băng thông bộ nhớ (Memory Bandwidth).

• Mỗi bước sinh token đòi hỏi phải nạp toàn bộ trọng số mô hình từ bộ nhớ băng thông cao (HBM3e) lên thanh ghi SRAM của chip.
• Với kiến trúc Transformer truyền thống, KV-Cache phình to gây ra hiện tượng nghẽn băng thông nghiêm trọng (Memory-Bound Operation).
• Ngược lại, kiến trúc Mamba với trạng thái ẩn $O(1)$ giảm thiểu tối đa dung lượng I/O đọc ghi bộ nhớ, cho phép tốc độ sinh token (tokens per second per user) cao hơn từ 3 đến 5 lần so với Transformer có cùng kích thước.

3.2. FlashAttention và Tối ưu hóa Kỹ thuật Lớp

Công nghệ FlashAttention (với các phiên bản cải tiến liên tục đến FlashAttention-3 trên kiến trúc Hopper) giải quyết nút thắt $O(N^2)$ của Attention bằng hai kỹ thuật cốt lõi:

1. Tiling (Chia nhỏ khối): Chia ma trận $Q, K, V$ thành các khối nhỏ vừa vặn với kích thước bộ nhớ SRAM cực nhanh trên chip GPU, tránh việc phải ghi các ma trận trung gian $N × N$ kích thước lớn xuống bộ nhớ HBM chậm chạp.

2. Online Softmax: Tính toán giá trị chuẩn hóa softmax theo từng khối mà không cần chờ toàn bộ hàng được nạp xong, thông qua kỹ thuật lưu trữ số nhân tích lũy (scaling factors).

3.3. Truyền thông phân tán trong MoE (All-to-All Communication)

Trong các mô hình MoE quy mô lớn phân phối trên hàng nghìn GPU qua hệ thống mạng InfiniBand và NVLink 4/5, thách thức lớn nhất là độ trễ truyền thông mạng (Inter-node Communication Latency).

• Khi các token từ một GPU được định tuyến đến các chuyên gia nằm trên các GPU khác, hệ thống phải thực hiện phép toán All-to-All collective communication.
• Các kỹ sư hệ thống phải tối ưu hóa việc chồng lấp tính toán và truyền thông (overlapping computation with communication) bằng cách chia nhỏ batch token thành các micro-batch, truyền dữ liệu chuyên gia trong lúc các Tensor Core vẫn đang xử lý các khối token hiện tại.

4. Bảng so sánh thông số kỹ thuật toàn diện

Bảng dưới đây tổng hợp các đặc tính kỹ thuật cốt lõi giữa các dòng kiến trúc AI hiện đại, được đánh giá dựa trên thực nghiệm thực tế tại phòng Lab VietITPro:

5. Thách thức triển khai thực tế, chi phí tính toán (TCO) & Kỹ thuật tối ưu hóa tại phòng Lab VietITPro

Việc vận hành và chuyển giao các mô hình AI thế hệ mới đòi hỏi các kỹ sư phải đối mặt với bài toán Tổng chi phí sở hữu (Total Cost of Ownership - TCO) và hàng loạt thách thức thực tế:

5.1. Thách thức định lượng (Quantization) và Suy giảm độ chính xác

Khi triển khai mô hình MoE và SSM lên hạ tầng biên hoặc cụm máy chủ mật độ cao, định lượng trọng số từ FP16/BF16 xuống INT8 hoặc INT4 (W4A16, W8A8) là bắt buộc để tiết kiệm băng thông.

• Đối với MoE, hiện tượng nhạy cảm với sai số định lượng ở các lớp Router có thể dẫn đến việc định tuyến sai lệch token sang chuyên gia kém tối ưu, gây sụt giảm mạnh về Perplexity.
• Giải pháp tại phòng Lab VietITPro là áp dụng kỹ thuật AWQ (Activation-aware Weight Quantization) hoặc GPTQ có chọn lọc, bảo toàn độ chính xác cho các ma trận trọng số quan trọng (như trọng số của Router và các lớp attention nền).

5.2. Quản lý bộ nhớ động với PagedAttention

Để giải quyết bài toán phân mảnh bộ nhớ do KV-Cache gây ra trong Transformer và kiến trúc Lai, chúng tôi tích hợp các engine suy luận tối ưu hiệu năng cao (như vLLM). PagedAttention áp dụng cơ chế ảo hóa bộ nhớ tương tự như quản lý trang bộ nhớ ảo (Virtual Memory Paging) trong hệ điều hành nhân Linux, cho phép phân bổ các block KV-Cache không liền kề trong không gian HBM, nâng tỷ lệ sử dụng GPU memory tận dụng lên trên 90% và tăng batch size đồng thời gấp 3 lần.

5.3. Tối ưu hóa Kernel Fusion cho Mamba SSM

Các lớp Selective Scan trong Mamba đòi hỏi viết tùy chỉnh các CUDA Kernel (causal_conv1d và selective_scan_fn) để gom nhóm các phép toán (fusing operations), giảm thiểu tối đa số lần ghi đọc dữ liệu qua lại giữa thanh ghi SRAM và bộ nhớ HBM. Điều này giúp loại bỏ hoàn toàn các điểm nghẽn cổ chai I/O, khai thác tối đa 80-90% công suất lý thuyết (TFLOPs) của các dòng GPU hạ tầng hiện đại.

6. Dự báo xu hướng và lộ trình công nghệ 2025 - 2030

Dựa trên các nghiên cứu thực nghiệm và xu hướng phát triển công nghệ bán dẫn toàn cầu, VietITPro.vn đưa ra lộ trình dự báo sự chuyển dịch kiến trúc AI trong giai đoạn 2025 - 2030 như sau:

[2017 - 2023] ----------------> [2024 - 2026] -----------------> [2027 - 2030]

Kỷ nguyên Transformer Kỷ nguyên Kiến trúc Lai Kỷ nguyên Hợp nhất &

& Dense Models & MoE Scale-up Agentic Native Hardware

Self-Attention O(N^2) - Hybrid Transformer-SSM - Pure SSM / Sub-quadratic
KV-Cache Bottleneck - Sparse MoE (DeepSeek-V3) - Brain-inspired Neuromorphic

1. Giai đoạn 2024 - 2026 (Kỷ nguyên Kiến trúc Lai và Tối ưu hóa MoE):

Transformer thuần túy dần nhường chỗ cho các kiến trúc lai (Hybrid Architectures) như Jamba (kết hợp Mamba SSM và Transformer Attention) hoặc Mamba-2. Sự kết hợp này tận dụng ưu điểm xử lý ngữ cảnh cực dài với chi phí thấp của SSM, đồng thời giữ lại khả năng suy luận logic bậc cao vốn là thế mạnh của cơ chế Attention. Các mô hình MoE thưa tiếp tục thống trị phân khúc mô hình lớn nhờ hiệu quả kinh tế về mặt tính toán.

2. Giai đoạn 2027 - 2030 (Kỷ nguyên Hợp nhất và Phần cứng chuyên biệt):

Sự bùng nổ của các tác tử tự trị (Agentic AI) đòi hỏi ngữ cảnh hoạt động lên đến hàng chục triệu token và độ trễ phản hồi tính bằng mili-giây. Các kiến trúc tính toán dưới bình phương ($O(N)$ hoặc $O(N \log N)$) sẽ hoàn toàn thay thế Transformer trong các ứng dụng thời gian thực. Bên cạnh đó, các dòng chip phần cứng thần kinh chuyên dụng (Neuromorphic Hardware và Processing-in-Memory - PIM) được thiết kế tối ưu riêng cho không gian trạng thái SSM sẽ thay thế dần các kiến trúc GPU truyền thống, định hình lại toàn bộ hệ sinh thái hạ tầng siêu máy tính AI toàn cầu.

7. Câu hỏi thường gặp chuyên sâu (FAQ)

Câu hỏi 1: Tại sao cơ chế Selective Scan trong Mamba lại khắc phục được nhược điểm quên thông tin của các mô hình SSM truyền thống (như S4)?

Trả lời: Các mô hình SSM truyền thống (như S4) sử dụng các ma trận hệ thống $A, B, C$ bất biến theo thời gian (time-invariant), điều này đồng nghĩa với việc bộ lọc tuyến tính của chúng hoạt động tương tự như một bộ lọc tần số cố định, không phân biệt được tầm quan trọng của các từ ngữ khác nhau xuất hiện trong ngữ cảnh đầu vào. Mamba khắc phục triệt để điểm yếu này thông qua Cơ chế quét chọn lọc (Selective Mechanism), nơi các tham số chuyển trạng thái $Δ, B, C$ trở thành hàm số phụ thuộc trực tiếp vào nội dung của token hiện tại $x_t$. Khi token mang thông tin quan trọng xuất hiện, mô hình tự động điều chỉnh tham số để "ghim" thông tin đó vào trạng thái ẩn $h_t$; ngược lại, khi gặp các từ nhiễu hoặc từ dừng (stop words), mô hình sẽ thiết lập hệ số quên để làm mờ thông tin. Điều này mang lại cho Mamba khả năng suy luận chọn lọc linh hoạt tương đương với cơ chế Attention của Transformer nhưng với độ phức tạp tuyến tính $O(N)$.

Câu hỏi 2: Làm thế nào để giải quyết bài toán Router Collapse trong các mô hình Mixture of Experts (MoE) khi huấn luyện quy mô lớn?

Trả lời: Hiện tượng Router Collapse xảy ra khi cổng định tuyến (Gating Network) có xu hướng chọn đi chọn lại một vài chuyên gia (experts) quen thuộc, khiến các chuyên gia khác bị bỏ đói và không học được gì từ dữ liệu. Để giải quyết triệt để vấn đề này, các kỹ sư áp dụng đồng thời ba kỹ thuật tối ưu:

1. Auxiliary Load Balancing Loss: Thêm vào hàm mất mát tổng một thành phần phạt (penalty term) tỷ lệ thuận với tích số giữa xác suất định tuyến và tần suất thực tế mà các chuyên gia được kích hoạt, ép bộ định tuyến phân bổ đồng đều luồng token.

2. Expert Capacity Factor và Drop/Pad: Thiết lập giới hạn dung lượng token tối đa mà mỗi chuyên gia có thể xử lý trong một batch. Các token vượt quá giới hạn này sẽ bị bỏ qua (dropped) hoặc chuyển tiếp qua lớp khác, ngăn chặn tình trạng nghẽn cổ chai tính toán trên một vài chuyên gia hot.

3. Noisy Top-k Gating: Thêm một nhiễu phân phối chuẩn ngẫu nhiên vào điểm số logits trước khi đưa qua hàm softmax, giúp khuyến khích bộ định tuyến thỉnh thoảng thử nghiệm khám phá các chuyên gia ít được sử dụng.

Câu hỏi 3: Kiến trúc lai (Hybrid Transformer-SSM như Jamba) giải quyết bài toán đánh đổi giữa chất lượng biểu diễn và hiệu năng phần cứng như thế nào?

Trả lời: Kiến trúc lai tận dụng nguyên lý "chia để trị" bằng cách đan xen khéo léo các lớp State Space Models (Mamba) và các lớp Self-Attention truyền thống theo một tỷ lệ tối ưu (ví dụ: cứ 7 hoặc 8 lớp Mamba thì có 1 lớp Self-Attention).

• Các lớp Mamba đảm nhận nhiệm vụ xử lý phần lớn chuỗi ngữ cảnh dài với độ phức tạp tuyến tính $O(N)$ và bộ nhớ KV-Cache cực kỳ nhỏ, giúp giảm đáng kể áp lực lên băng thông bộ nhớ HBM.
• Lớp Self-Attention định kỳ xuất hiện đóng vai trò như một cơ chế trích xuất quan hệ tương tác toàn cục phức tạp và định hướng thông tin đa chiều mà SSM thuần túy đôi khi gặp khó khăn trong việc nắm bắt hoàn toàn.

Kết quả thực nghiệm cho thấy mô hình lai đạt được chất lượng biểu diễn ngôn ngữ gần như tương đương Transformer thuần túy nhưng tiết kiệm tới 50-70% dung lượng bộ nhớ KV-Cache và tăng tốc độ suy luận đáng kể ở các ngữ cảnh siêu dài.

Câu hỏi 4: Sự khác biệt cốt lõi về mặt tối ưu hóa hạ tầng phần cứng giữa Dense Model và Sparse MoE là gì?

Trả lời: Sự khác biệt cốt lõi nằm ở bản chất của hoạt động tính toán và lưu lượng truyền thông mạng:

• Dense Models: Toàn bộ tham số của mô hình được kích hoạt cho mọi token đi qua. Thách thức tối ưu hóa tập trung vào việc tận dụng tối đa băng thông bộ nhớ HBM (th thông qua FlashAttention, định lượng trọng số W4A16) và song song hóa theo chiều tensor (Tensor Parallelism) trên các cụm GPU kết nối qua NVLink tốc độ cao.
• Sparse MoE Models: Chỉ một phần nhỏ tham số (Active Parameters) được kích hoạt cho mỗi token, trong khi tổng dung lượng tham số mô hình (Total Parameters) rất lớn. Do đó, nút thắt cổ chai không chỉ nằm ở băng thông bộ nhớ HBM mà dịch chuyển sang Hạ tầng mạng truyền thông phân tán (Inter-node Network Communication). Khi các token được định tuyến đến các chuyên gia nằm trên các node máy chủ khác nhau, hệ thống phải thực hiện các lệnh truyền thông tập thể All-to-All qua cụm mạng InfiniBand dung lượng băng thông cực cao (từ 400Gbps đến 3.2Tbps). Việc tối ưu hóa MoE đòi hỏi các kỹ thuật chồng lấp tính toán và truyền thông (Communication-Computation Overlapping) cực kỳ phức tạp để tránh hiện tượng GPU bị "đói dữ liệu" chờ mạng.