Shader چیست؟

Shader برنامه‌ای کوچک است که روی GPU اجرا می‌شود
و نحوه پردازش بخشی از داده‌های گرافیکی یا محاسباتی
را مشخص می‌کند.

Shader می‌تواند موقعیت یک رأس سه‌بعدی، رنگ یک
پیکسل، نحوه تابش نور، شکل سایه، حرکت ذرات، کیفیت
بافت یا نتیجه یک محاسبه موازی را تعیین کند.

واژه Shader در ابتدا بیشتر با محاسبات نور و سایه
ارتباط داشت؛ اما امروزه Shaderها دامنه بسیار
گسترده‌تری از وظایف را اجرا می‌کنند.

انواع Shader در مسیر رندر

معماری Unified Shader چیست؟

در نسل‌های قدیمی‌تر کارت گرافیک، بعضی واحدها فقط
برای پردازش Vertex و بعضی دیگر فقط برای Pixel
Shader طراحی شده بودند.

در معماری Unified Shader، گروهی از واحدهای
پردازشی عمومی‌تر می‌توانند بسته به نیاز، انواع
مختلف Shader یا محاسبات را اجرا کنند.

این روش استفاده انعطاف‌پذیرتری از منابع GPU فراهم
می‌کند؛ زیرا اگر یک صحنه به پردازش پیکسلی بیشتری
نیاز داشته باشد، منابع بیشتری می‌توانند به همان
وظیفه اختصاص داده شوند.

CUDA Core چیست؟

CUDA Core نام رایج واحدهای محاسباتی اسکالر یا
برداری در بسیاری از GPUهای NVIDIA است.

این واحدها دستورهای ریاضی موردنیاز Shaderها،
پردازش تصویر، فیزیک، رندر، شبیه‌سازی و محاسبات
موازی را اجرا می‌کنند.

CUDA Coreها داخل گروه‌هایی مانند
Streaming Multiprocessor
یا SM سازمان‌دهی می‌شوند و همراه با Scheduler،
Register، حافظه کش و سایر واحدها فعالیت می‌کنند.

CUDA چیست؟

CUDA نام پلتفرم برنامه‌نویسی و اکوسیستم محاسبات
موازی NVIDIA است. CUDA Core نیز نام واحدهای
پردازشی سازگار با این معماری در GPUهای NVIDIA
محسوب می‌شود.

داشتن CUDA Core به این معنی نیست که هر نرم‌افزار
به‌صورت خودکار از GPU استفاده می‌کند. برنامه باید
از CUDA یا رابط سازگار دیگری پشتیبانی کند.

CUDA Core در چه کارهایی استفاده می‌شود؟

• اجرای Shaderهای بازی
• رندر سه‌بعدی
• پردازش تصویر و ویدئو
• شبیه‌سازی علمی
• فیزیک و ذرات
• یادگیری ماشین
• محاسبات مهندسی
• اجرای Compute Shader

آیا CUDA Core بیشتر همیشه بهتر است؟

خیر. تعداد CUDA Core فقط در کنار معماری، فرکانس،
پهنای حافظه، ظرفیت VRAM، توان مصرفی و نوع برنامه
معنا پیدا می‌کند.

برای نمونه، تعداد هسته‌های یک کارت قدیمی را نباید
مستقیماً با کارت جدیدی از معماری متفاوت مقایسه کرد.
هسته‌های نسل جدید ممکن است در هر سیکل کار بیشتری
انجام دهند یا ساختار متفاوتی داشته باشند.

CUDA Core در GeForce و Quadro قدیمی

کارت‌های قدیمی NVIDIA نیز دارای واحدهای پردازشی
سازگار با معماری CUDA بودند؛ اما نسل معماری،
Compute Capability و پشتیبانی نرم‌افزاری آن‌ها
محدودتر است.

Stream Processor چیست؟

Stream Processor نام رایج واحدهای پردازشی در
مشخصات بسیاری از GPUهای AMD است.

این واحدها عملیات ریاضی مربوط به Shader، گرافیک،
پردازش تصویر و Compute را اجرا می‌کنند و در
ساختارهایی مانند Compute Unit یا WGP سازمان‌دهی
می‌شوند.

وظیفه کلی آن‌ها از بعضی جهات به CUDA Core نزدیک
است؛ اما ساختار داخلی، نحوه زمان‌بندی و معماری
دو شرکت متفاوت است.

Stream Processor در GCN

در معماری GCN، واحدهای پردازشی داخل Compute Unit
سازمان‌دهی می‌شدند و گروه‌های کاری با ساختاری
متناسب با Wavefront اجرا می‌شدند.

کارت‌هایی مانند Radeon HD 7000، سری R9،
RX 470، RX 570 و RX 580 از نسل‌های مختلف GCN
استفاده می‌کنند.

Stream Processor در RDNA

معماری RDNA ساختار داخلی و نحوه اجرای دستورها را
نسبت به GCN تغییر داد. به همین دلیل مقایسه صرف
تعداد Stream Processor میان RX 580 و یک کارت
RDNA جدید، تصویر کاملی از عملکرد ارائه نمی‌دهد.

Stream Processor در Radeon Pro

کارت‌های Radeon Pro و FirePro نیز از واحدهای
پردازشی AMD استفاده می‌کنند، اما درایور حرفه‌ای،
ظرفیت حافظه و ویژگی‌های ورک‌استیشن آن‌ها متفاوت
است.

Xe Core چیست؟

Xe Core یکی از بلوک‌های پردازشی اصلی در معماری‌های
جدید گرافیکی Intel است.

هر Xe Core می‌تواند شامل موتورهای برداری،
Registerها، واحدهای بارگذاری و ذخیره داده و در
بعضی نسل‌ها واحدهای ماتریسی XMX باشد.

Xe Core یک واحد ساده و منفرد مانند یک هسته کوچک
نیست؛ بلکه مجموعه‌ای از منابع پردازشی را در خود
جای می‌دهد.

Vector Engine در Intel

موتورهای برداری داخل GPUهای Intel دستورهای
Shader و محاسبات عددی را روی چند داده به‌صورت
هم‌زمان اجرا می‌کنند.

Xe Core در Intel Arc

کارت‌های Intel Arc از Xe Coreها برای اجرای
پردازش‌های گرافیکی، Compute، Ray Tracing و
وظایف مرتبط با تولید محتوا استفاده می‌کنند.

Xe Core در Arc Pro

کارت‌های Arc Pro نیز بر پایه معماری Xe ساخته
می‌شوند، اما برای ورک‌استیشن، نرم‌افزارهای حرفه‌ای
و درایورهای سازمانی هدف‌گذاری شده‌اند.

مقایسه CUDA Core، Stream Processor و Xe Core

نمونه واحدهای پردازشی در کارت‌های قدیمی

بازار لپ‌تاپ و قطعات استوک شامل تعداد زیادی GPU
از معماری‌های قدیمی است. شناخت نسل معماری از تعداد
خام هسته‌ها مهم‌تر است.

واحدهای پردازشی در Quadro، Radeon Pro و Arc Pro

کارت حرفه‌ای الزاماً از نوع کاملاً متفاوتی از
هسته پردازشی استفاده نمی‌کند. بسیاری از کارت‌های
ورک‌استیشن از همان معماری پایه محصولات مصرف‌کننده
همان نسل استفاده می‌کنند.

تفاوت اصلی می‌تواند شامل ظرفیت حافظه، درایور،
پایداری، تأییدیه ISV، توان مصرفی و قابلیت‌های
سازمانی باشد.

نقش واحدهای پردازشی در نرم‌افزارهای مختلف

هنگام خرید چگونه تعداد هسته‌ها را بررسی کنیم؟

1. ابتدا مدل دقیق GPU و معماری آن را مشخص کنید.
2. تعداد هسته‌ها را فقط با مدل‌های هم‌معماری
   مقایسه کنید.
3. ظرفیت و پهنای باند VRAM را بررسی کنید.
4. توان مصرفی و فرکانس واقعی کارت را کنترل کنید.
5. نتایج نرم‌افزار یا بازی موردنظر خود را ببینید.
6. در لپ‌تاپ، توان GPU و کیفیت خنک‌کننده را
   بررسی کنید.
7. برای CAD، گواهی و درایور حرفه‌ای را بررسی کنید.
8. برای AI، سازگاری فریم‌ورک و ظرفیت VRAM را
   در اولویت قرار دهید.

اشتباهات رایج درباره هسته‌های GPU

• برابر دانستن CUDA Core با هسته CPU
• مقایسه مستقیم تعداد هسته‌های NVIDIA و AMD
• مقایسه مستقیم Xe Core با CUDA Core
• توجه نکردن به نسل معماری
• نادیده‌گرفتن پهنای باند حافظه
• فرض اینکه هسته بیشتر همیشه نرخ فریم بیشتری می‌دهد
• نادیده‌گرفتن محدودیت توان در لپ‌تاپ
• انتخاب Quadro فقط بر اساس تعداد CUDA Core
• انتخاب کارت AI بدون بررسی سازگاری نرم‌افزاری

شتاب‌دهنده اختصاصی داخل GPU چیست؟

واحدهای عمومی Shader می‌توانند طیف گسترده‌ای از
محاسبات را اجرا کنند؛ اما اجرای بعضی عملیات روی
سخت‌افزار اختصاصی، سریع‌تر و کم‌مصرف‌تر است.

به همین دلیل، پردازنده‌های گرافیکی جدید ممکن است
واحدهایی ویژه برای محاسبات ماتریسی، رهگیری پرتو،
پردازش ویدئو، نمونه‌برداری بافت یا تولید خروجی
تصویر داشته باشند.

این واحدها جایگزین کامل Shader Coreها نیستند.
معمولاً بخش‌های عمومی و اختصاصی GPU به‌صورت
هم‌زمان با یکدیگر کار می‌کنند.

Tensor Core چیست؟

Tensor Core نام واحدهای اختصاصی محاسبات ماتریسی
در تعدادی از GPUهای NVIDIA است.

این واحدها برای اجرای سریع عملیات ضرب و جمع
ماتریسی طراحی شده‌اند؛ عملیاتی که در آموزش و
اجرای شبکه‌های عصبی، پردازش تصویر، بازسازی تصویر
و بسیاری از محاسبات علمی تکرار می‌شوند.

Tensor Coreها در کنار CUDA Coreها قرار می‌گیرند.
CUDA Core وظایف عمومی‌تر را اجرا می‌کند و Tensor
Core بخش‌های سازگار از محاسبات ماتریسی را شتاب
می‌دهد.

نسل‌های Tensor Core

Tensor Core نخست در محصولات حرفه‌ای و محاسباتی
NVIDIA ظاهر شد و سپس وارد کارت‌های گیمینگ و
ورک‌استیشن RTX شد.

نسل‌های مختلف Tensor Core از نظر قالب‌های عددی،
توان عملیاتی، دقت، قابلیت پراکندگی و ویژگی‌های
مرتبط با هوش مصنوعی تفاوت دارند.

کاربردهای Tensor Core

Tensor Core در Stable Diffusion

نرم‌افزارها و رابط‌های مبتنی بر Stable Diffusion
می‌توانند در پیکربندی سازگار از Tensor Core برای
اجرای بعضی محاسبات با دقت‌های عددی مناسب استفاده
کنند.

سرعت نهایی علاوه بر Tensor Core به ظرفیت VRAM،
معماری GPU، نسخه نرم‌افزار، روش بهینه‌سازی و
اندازه تصویر وابسته است.

Tensor Core در مدل‌های زبانی

اجرای مدل‌های زبانی روی GPU به حجم حافظه، پهنای
باند، قالب عددی، نوع Quantization و پشتیبانی
نرم‌افزار وابسته است.

داشتن Tensor Core مفید است، اما اگر مدل در VRAM
جا نشود یا Backend از GPU پشتیبانی نکند، تعداد
بالای Tensor Core مشکل را حل نمی‌کند.

RT Core چیست؟

RT Core نام واحدهای اختصاصی رهگیری پرتو در GPUهای
RTX شرکت NVIDIA است.

این واحدها بخشی از محاسبات سنگین مربوط به حرکت
پرتو در صحنه، پیمایش ساختارهای فضایی و تشخیص
برخورد پرتو با مثلث‌ها را شتاب می‌دهند.

نتیجه این محاسبات می‌تواند برای تولید بازتاب،
سایه، نور غیرمستقیم، شکست نور یا افکت‌های دیگر
استفاده شود.

RT Core دقیقاً چه کاری انجام می‌دهد؟

• پیمایش ساختار شتاب‌دهنده هندسی
• بررسی برخورد پرتو با محدوده اجسام
• بررسی برخورد پرتو با مثلث‌ها
• کاهش بار این محاسبات از روی Shaderها
• کمک به اجرای Ray Tracing بلادرنگ

نسل‌های RT Core

RT Core در معماری Turing وارد کارت‌های Quadro RTX
و GeForce RTX شد و در نسل‌های بعدی بهبود پیدا کرد.

Ray Accelerator در کارت‌های AMD چیست؟

کارت‌های Radeon مبتنی بر معماری‌های سازگار AMD
از واحدهای اختصاصی رهگیری پرتو استفاده می‌کنند
که معمولاً با عنوان
Ray Accelerator
شناخته می‌شوند.

این واحدها بخشی از محاسبات برخورد پرتو با هندسه
را شتاب می‌دهند و در کنار Compute Unitها،
Shaderها، حافظه و درایور فعالیت می‌کنند.

پشتیبانی سخت‌افزاری گسترده رهگیری پرتو در محصولات
مصرف‌کننده Radeon از خانواده RDNA 2 وارد کارت‌های
RX 6000 شد و در نسل‌های بعدی توسعه یافت.

واحد Ray Tracing در Intel Arc چیست؟

GPUهای مجزای Intel Arc دارای واحدهای سخت‌افزاری
برای شتاب‌دادن به محاسبات Ray Tracing هستند.

این واحدها در کنار Xe Coreها و منابع پردازشی
دیگر برای اجرای افکت‌های رهگیری پرتو در بازی یا
نرم‌افزارهای حرفه‌ای فعالیت می‌کنند.

کارایی نهایی به نسل معماری، تعداد واحدها، درایور،
موتور بازی، وضوح تصویر و استفاده از فناوری‌هایی
مانند XeSS وابسته است.

XMX چیست؟

XMX مخفف
Xe Matrix Extensions
است و به واحدهای ماتریسی موجود در بعضی GPUهای
جدید Intel اشاره دارد.

این واحدها برای شتاب‌دادن به محاسبات هوش مصنوعی،
ضرب ماتریسی، بازسازی تصویر و وظایف مرتبط با
یادگیری ماشین طراحی شده‌اند.

XMX از نظر نقش کلی به واحدهای ماتریسی سایر
شرکت‌ها شباهت دارد؛ اما ساختار، قالب‌های عددی و
اکوسیستم نرم‌افزاری آن متفاوت است.

XMX در XeSS

فناوری XeSS در سخت‌افزارهای سازگار می‌تواند از
XMX برای اجرای شبکه بازسازی تصویر استفاده کند.

XeSS ممکن است در بعضی سخت‌افزارهای دیگر نیز مسیر
اجرایی متفاوتی داشته باشد؛ اما استفاده از واحد
اختصاصی می‌تواند مزیت عملکردی ایجاد کند.

واحدهای AI و Matrix در GPUهای AMD

AMD در نسل‌ها و خانواده‌های مختلف از ساختارهای
متفاوتی برای شتاب‌دادن به محاسبات ماتریسی و
هوش مصنوعی استفاده می‌کند.

این قابلیت‌ها ممکن است در کارت‌های Radeon،
Radeon Pro یا شتاب‌دهنده‌های Instinct با ساختار
و هدف متفاوت ارائه شوند.

محصولات Instinct و معماری‌های محاسباتی CDNA برای
هوش مصنوعی، محاسبات علمی و دیتاسنتر طراحی شده‌اند،
در حالی که Radeon بیشتر بر گرافیک، بازی و تولید
محتوا تمرکز دارد.

مقایسه واحدهای AI و Ray Tracing

Tensor و RT Core در Quadro و RTX Professional

تمام کارت‌های Quadro دارای Tensor Core یا RT Core
نیستند. وجود این واحدها به معماری GPU بستگی دارد.

Quadro K، Quadro M و Quadro P پیش از معرفی گسترده
RTX عرضه شدند و معمولاً فاقد Tensor Core و RT Core
اختصاصی هستند.

خانواده Quadro RTX بر پایه Turing، واحدهای Tensor
و RT را وارد محصولات ورک‌استیشن کرد.

محصولات جدیدتر RTX A Series، RTX Ada و
RTX Professional نیز بر اساس نسل معماری خود از
این شتاب‌دهنده‌ها بهره می‌برند.

آیا کارت‌های GTX و GPUهای قدیمی Tensor یا RT Core دارند؟

بیشتر کارت‌های GTX قدیمی مانند GTX 750 Ti،
GTX 960، GTX 1050 Ti و GTX 1060 فاقد Tensor Core
و RT Core اختصاصی هستند.

سری GTX 16 از معماری Turing استفاده می‌کند، اما
بیشتر مدل‌های آن واحدهای اختصاصی فعال مشابه
GeForce RTX را ندارند.

نبود RT Core مانع اجرای تمام بازی‌ها نمی‌شود.
این کارت‌ها همچنان می‌توانند مسیر Rasterization
و Shaderهای عادی را اجرا کنند.

بعضی محاسبات هوش مصنوعی نیز ممکن است روی CUDA Core
اجرا شوند؛ اما سرعت و بهره‌وری آن‌ها با GPU دارای
Tensor Core یکسان نیست.

کاربرد واحدهای AI و Ray Tracing در نرم‌افزارها

هنگام خرید، Tensor Core و RT Core چقدر اهمیت دارند؟

اشتباهات رایج درباره Tensor و RT Core

• تصور اینکه هر کارت NVIDIA دارای Tensor Core است
• تصور اینکه تمام کارت‌های Quadro دارای RT Core هستند
• برابر دانستن Tensor Core با CUDA Core
• برابر دانستن XMX با Xe Core
• مقایسه عددی واحدهای AI سه شرکت
• انتخاب GPU هوش مصنوعی بدون بررسی VRAM
• انتخاب کارت Ray Tracing بدون بررسی عملکرد Raster
• نادیده‌گرفتن نسل واحدهای اختصاصی
• فرض اینکه RT Core کل فرایند رندر را انجام می‌دهد
• فرض اینکه نرم‌افزار به‌صورت خودکار از AI Core استفاده می‌کند

مسیر کامل تولید تصویر در GPU

تولید یک فریم سه‌بعدی فقط توسط هسته‌های Shader
انجام نمی‌شود. داده‌های صحنه باید از چند مرحله
پردازشی عبور کنند تا در نهایت به تصویری قابل نمایش
روی مانیتور تبدیل شوند.

مسیر دقیق پردازش با توجه به معماری GPU، موتور بازی،
رابط گرافیکی و نوع تکنیک رندر متفاوت است؛ اما
ساختار کلی بیشتر روش‌های Rasterization را می‌توان
به مراحل زیر تقسیم کرد.

Application / Game
        │
        ▼
CPU and Graphics API
        │
        ▼
Command Processor
        │
        ▼
Vertex Processing
        │
        ▼
Geometry and Tessellation
        │
        ▼
Primitive Assembly
        │
        ▼
Raster Engine
        │
        ▼
Fragment / Pixel Shader
        │
        ├───────────────┐
        ▼               ▼
Texture Units        Shader Cores
   (TMU)          CUDA / Stream / Xe
        │               │
        └───────┬───────┘
                ▼
        Depth and Stencil Tests
                │
                ▼
        Blending and ROP
                │
                ▼
           Frame Buffer
                │
                ▼
          Display Engine
                │
                ▼
             Monitor

Primitive در گرافیک سه‌بعدی چیست؟

Primitive به شکل‌های پایه‌ای گفته می‌شود که GPU
برای ساخت مدل‌های گرافیکی پردازش می‌کند. نقطه،
خط و مثلث از رایج‌ترین Primitiveها هستند.

بیشتر مدل‌های سه‌بعدی از تعداد زیادی مثلث تشکیل
شده‌اند؛ زیرا پردازش و تبدیل مثلث‌ها به پیکسل برای
سخت‌افزار گرافیکی ساختاری ساده و قابل پیش‌بینی دارد.

Primitive Assembly چیست؟

پس از پردازش رأس‌ها، GPU باید آن‌ها را بر اساس
دستور رسم به نقطه، خط یا مثلث تبدیل کند. این مرحله
Primitive Assembly نام دارد.

در این مرحله مشخص می‌شود کدام رأس‌ها یک مثلث را
تشکیل می‌دهند و ترتیب آن‌ها چگونه است. سپس
Primitiveهای ساخته‌شده برای ادامه پردازش به بخش
Rasterization فرستاده می‌شوند.

بعضی Primitiveها ممکن است پیش از Rasterization
حذف شوند؛ برای نمونه، اشیایی که خارج از میدان دید
دوربین قرار دارند یا سطح پشتی آن‌ها قابل مشاهده
نیست.

Rasterization چیست؟

Rasterization فرایند تبدیل Primitiveهای هندسی
مانند مثلث به مجموعه‌ای از Fragmentهای قابل پردازش
برای تصویر است.

موتور Raster محاسبه می‌کند که هر مثلث چه بخشی از
صفحه را پوشش می‌دهد و برای کدام نقاط تصویر باید
Fragment ایجاد شود.

Fragment هنوز الزاماً پیکسل نهایی نیست. این داده
باید مراحل دیگری مانند Pixel Shader، نمونه‌برداری
بافت، آزمون عمق و ترکیب رنگ را طی کند.

TMU چیست؟

TMU مخفف عبارت
Texture Mapping Unit
و به معنی «واحد نگاشت یا پردازش بافت» است.

TMU داده‌های Texture را از حافظه یا کش دریافت
می‌کند، مختصات بافت را پردازش می‌کند و نمونه مناسب
را برای Shader فراهم می‌سازد.

زمانی که سطح یک مدل باید ظاهر چوب، فلز، سنگ،
پارچه، پوست یا هر ماده دیگری داشته باشد، اطلاعات
بافت در کنار Shaderها برای ایجاد ظاهر نهایی آن
استفاده می‌شوند.

TMU چه وظایفی دارد؟

Texel چیست؟

Texel مخفف
Texture Element
است و کوچک‌ترین عنصر قابل نمونه‌برداری در یک
Texture محسوب می‌شود.

همان‌طور که Pixel کوچک‌ترین عنصر یک تصویر
نمایش‌داده‌شده است، Texel نیز یکی از عناصر داده‌ای
داخل بافت است.

یک Texel ممکن است فقط اطلاعات رنگ نداشته باشد.
بسته به نوع Texture، می‌تواند شامل داده‌های نرمال،
زبری، عمق، جابه‌جایی یا ماسک نیز باشد.

مختصات UV چیست؟

برای قرارگرفتن درست یک بافت روی مدل، باید مشخص شود
هر قسمت از Texture روی کدام بخش از سطح سه‌بعدی
قرار بگیرد.

این نگاشت معمولاً با مختصات
U
و
V
انجام می‌شود. حروف U و V به‌جای X و Y به کار
می‌روند تا مختصات Texture از مختصات فضایی مدل
جدا باشد.

فرایند بازکردن سطح مدل و قراردادن آن روی فضای
دوبعدی Texture با عنوان
UV Unwrapping
شناخته می‌شود.

حالت‌های Texture Addressing

اگر مختصات Texture از محدوده اصلی آن خارج شود،
GPU باید تعیین کند داده بافت چگونه خوانده شود.
این رفتار با حالت‌های Addressing کنترل می‌شود.

Texture Sampling چیست؟

Texture Sampling فرایند خواندن داده از Texture
بر اساس مختصات مشخص است.

Shader یک مختصات Texture را درخواست می‌کند و
واحدهای بافت یک یا چند Texel نزدیک به آن موقعیت
را می‌خوانند.

نتیجه ممکن است مستقیماً از نزدیک‌ترین Texel گرفته
شود یا از ترکیب چند نمونه مجاور به دست آید.

Texture Cache چیست؟

دسترسی مستقیم و مداوم به VRAM زمان و پهنای باند
زیادی مصرف می‌کند. به همین دلیل GPU از حافظه کش
مخصوص یا مشترک برای نگهداری داده‌های Texture
پراستفاده بهره می‌گیرد.

اگر Texel موردنیاز داخل کش باشد، داده سریع‌تر در
اختیار واحد پردازش قرار می‌گیرد. اگر داده در کش
موجود نباشد، باید از سطح پایین‌تر حافظه یا VRAM
خوانده شود.

الگوی دسترسی منظم و نزدیک‌بودن نمونه‌ها به یکدیگر
می‌تواند استفاده مؤثرتری از Texture Cache ایجاد
کند.

Texture Filtering چیست؟

Texture Filtering روشی برای محاسبه مقدار مناسب
میان Texelهای موجود است تا بافت در زمان بزرگ‌شدن،
کوچک‌شدن یا مشاهده از زاویه‌های مختلف کیفیت بهتری
داشته باشد.

بدون فیلتر مناسب، بافت ممکن است پیکسلی، لرزان،
محو یا دارای الگوهای ناخواسته دیده شود.

Nearest-Neighbor Filtering

در روش Nearest، نزدیک‌ترین Texel به مختصات
درخواستی انتخاب می‌شود و مقدار آن بدون ترکیب با
نمونه‌های دیگر بازگردانده می‌شود.

این روش بسیار سریع است، اما هنگام بزرگ‌نمایی
Texture حالت بلوکی و پیکسلی ایجاد می‌کند.

Nearest Filtering در بازی‌های Pixel Art یا زمانی
که حفظ لبه‌های سخت و پیکسل‌های اصلی مطلوب است،
می‌تواند انتخاب مناسبی باشد.

Bilinear Filtering

Bilinear Filtering معمولاً چند Texel مجاور در
یک سطح Texture را نمونه‌برداری و با توجه به فاصله
آن‌ها ترکیب می‌کند.

این روش ظاهر پیکسلی را کاهش می‌دهد و نتیجه نرم‌تری
نسبت به Nearest ایجاد می‌کند.

بااین‌حال هنگام جابه‌جایی میان سطوح مختلف Mipmap
ممکن است مرز یا تغییر محسوسی دیده شود.

Trilinear Filtering

Trilinear Filtering نتیجه Bilinear Filtering را
میان دو سطح مجاور Mipmap نیز ترکیب می‌کند.

این کار تغییر ناگهانی کیفیت میان Mipmapها را کاهش
می‌دهد و حرکت دوربین روی سطوح را نرم‌تر نشان
می‌دهد.

هزینه آن از Bilinear بیشتر است، اما در GPUهای
جدید معمولاً فشار غیرعادی و بسیار سنگینی ایجاد
نمی‌کند.

Mipmap چیست؟

Mipmap مجموعه‌ای از نسخه‌های کوچک‌تر یک Texture
است که از قبل تولید و ذخیره می‌شوند.

زمانی که جسم از دور دیده می‌شود، استفاده از نسخه
کامل و بزرگ Texture ضروری نیست. GPU می‌تواند سطح
کوچک‌تری را انتخاب کند که با اندازه جسم روی صفحه
تناسب بیشتری دارد.

Base Texture       1024 × 1024
        │
        ▼
Mipmap Level 1      512 × 512
        │
        ▼
Mipmap Level 2      256 × 256
        │
        ▼
Mipmap Level 3      128 × 128
        │
        ▼
Mipmap Level 4       64 × 64
        │
        ▼
       ...

مزایای Mipmap

• کاهش لرزش و Aliasing در بافت‌های دور
• کاهش پهنای باند موردنیاز
• بهبود استفاده از Texture Cache
• افزایش ثبات کیفیت هنگام حرکت دوربین
• کاهش نمونه‌برداری غیرضروری از Texture بزرگ

Anisotropic Filtering چیست؟

زمانی که یک سطح با زاویه تند نسبت به دوربین دیده
می‌شود، نمونه‌برداری معمولی می‌تواند باعث محوشدن
سریع Texture شود.

Anisotropic Filtering الگوی نمونه‌برداری را با
جهت و زاویه سطح تطبیق می‌دهد تا جزئیات بافت در
فاصله و زاویه بیشتر حفظ شود.

این قابلیت به‌ویژه روی جاده‌ها، کف زمین، دیوارهای
طولانی و سطوحی که به سمت افق امتداد دارند، تأثیر
محسوسی دارد.

فشرده‌سازی Texture چیست؟

Textureهای باوضوح بالا می‌توانند مقدار زیادی
حافظه و پهنای باند مصرف کنند. قالب‌های فشرده‌سازی
بافت برای کاهش حجم داده و انتقال مؤثرتر آن طراحی
شده‌اند.

GPU می‌تواند قالب‌های فشرده سازگار را مستقیماً
بخواند و هنگام نمونه‌برداری، داده موردنیاز را
بازگشایی کند.

میزان کیفیت، نرخ فشرده‌سازی و پشتیبانی سخت‌افزاری
به قالب Texture و API مورد استفاده بستگی دارد.

تعداد TMU چه تأثیری بر عملکرد دارد؟

تعداد TMU می‌تواند بر تعداد نمونه‌های بافتی که GPU
در هر سیکل پردازش می‌کند اثر بگذارد؛ اما این عدد
به‌تنهایی قدرت واقعی کارت را مشخص نمی‌کند.

فرکانس GPU، معماری، کش، پهنای باند حافظه، تعداد
Shaderها، نوع Texture و موتور بازی نیز بر عملکرد
بافت‌گذاری اثر دارند.

دو کارت با تعداد TMU مشابه ممکن است به دلیل تفاوت
معماری یا حافظه، عملکرد کاملاً متفاوتی داشته باشند.

اهمیت TMU در کارت‌های قدیمی و ورک‌استیشن

کارت‌های قدیمی مانند GTX 960M، GTX 1050 Ti،
Quadro K2100M، Quadro M2000M، Quadro P2000،
Radeon RX 570 و RX 580 نیز دارای واحدهای پردازش
بافت هستند.

عملکرد این کارت‌ها در Viewport و بازی فقط به تعداد
TMU وابسته نیست. معماری، VRAM، پهنای باند حافظه،
درایور و توان مصرفی نیز باید بررسی شوند.

کارت‌های Quadro و RTX Professional ممکن است در
نرم‌افزارهای مهندسی به دلیل درایور حرفه‌ای و
بهینه‌سازی Viewport عملکرد پایدارتر یا قابل
پیش‌بینی‌تری ارائه کنند؛ حتی اگر مشخصات خام آن‌ها
از یک کارت گیمینگ بسیار بالاتر نباشد.

ROP چیست؟

ROP مخفف
Raster Operations Pipeline
یا
Render Output Unit
است و یکی از بخش‌های پایانی مسیر تولید تصویر در GPU
محسوب می‌شود.

پس از آنکه Pixel Shader یا Fragment Shader رنگ،
نور، بافت و سایر ویژگی‌های یک Fragment را محاسبه
کرد، نتیجه باید آزمون‌های نهایی را پشت سر بگذارد
و در حافظه Frame Buffer نوشته شود.

ROPها در عملیاتی مانند آزمون عمق، آزمون Stencil،
ترکیب رنگ، نوشتن پیکسل و بعضی روش‌های
Anti-Aliasing نقش دارند.

مهم‌ترین وظایف ROP

تفاوت Raster Engine و ROP

Depth Buffer چیست؟

Depth Buffer حافظه‌ای است که فاصله تقریبی هر
پیکسل یا نمونه را نسبت به دوربین ذخیره می‌کند.

این اطلاعات کمک می‌کند GPU تشخیص دهد کدام سطح
در جلوی سطح دیگر قرار دارد و باید دیده شود.

Depth Buffer معمولاً با نام
Z-Buffer
نیز شناخته می‌شود؛ زیرا در بسیاری از سیستم‌های
مختصات، محور Z با عمق صحنه ارتباط دارد.

Depth Test چگونه کار می‌کند؟

Early-Z چیست؟

اگر GPU بتواند پیش از اجرای کامل Pixel Shader
تشخیص دهد که یک Fragment پشت سطح دیگری پنهان است،
می‌تواند آن را زودتر حذف کند.

این تکنیک با عنوان
Early-Z
شناخته می‌شود و از اجرای محاسبات غیرضروری Shader
جلوگیری می‌کند.

Early-Z به‌ویژه در صحنه‌هایی که تعداد زیادی سطح
روی یکدیگر قرار گرفته‌اند، می‌تواند باعث کاهش بار
پردازشی شود.

Z-Fighting چیست؟

اگر دو سطح فاصله بسیار کمی از یکدیگر داشته باشند،
دقت محدود Depth Buffer ممکن است باعث شود GPU
نتواند به‌صورت پایدار تشخیص دهد کدام سطح جلوتر است.

نتیجه می‌تواند به‌شکل لرزش، چشمک‌زدن یا جابه‌جایی
متناوب میان دو سطح دیده شود. این مشکل
Z-Fighting
نام دارد.

افزایش دقت Depth Buffer، اصلاح Near و Far Plane،
ایجاد فاصله میان سطوح یا استفاده از Depth Bias
می‌تواند این مشکل را کاهش دهد.

Stencil Buffer چیست؟

Stencil Buffer حافظه‌ای برای ذخیره مقادیر کوچک
کنترلی در هر پیکسل یا نمونه است.

این مقادیر به GPU اجازه می‌دهند بخش‌هایی از تصویر
را علامت‌گذاری کند و در مراحل بعدی فقط در نواحی
مشخص عملیات انجام دهد.

Stencil Buffer برای ساخت ماسک‌های گرافیکی،
سایه‌ها، آینه‌ها، Portalها، Outline و افکت‌های
ترکیبی کاربرد دارد.

Stencil Test چگونه کار می‌کند؟

GPU مقدار Stencil ذخیره‌شده را با یک مقدار مرجع
مقایسه می‌کند.

بر اساس تابع مقایسه، Fragment می‌تواند پذیرفته یا
رد شود. همچنین ممکن است مقدار Stencil بعد از
عبور یا شکست آزمون تغییر کند.

Color Buffer چیست؟

Color Buffer بخشی از حافظه است که مقادیر رنگی
تصویر رندرشده در آن نگهداری می‌شوند.

هر پیکسل می‌تواند شامل کانال‌های قرمز، سبز، آبی
و در صورت نیاز Alpha باشد.

قالب Color Buffer تعیین می‌کند هر کانال چه میزان
دقت داشته باشد؛ برای نمونه ۸، ۱۰، ۱۶ یا ۳۲ بیت
برای هر کانال.

در رندر HDR یا محاسبات حرفه‌ای ممکن است از قالب‌های
دقیق‌تر و اعشاری استفاده شود.

Alpha Channel چیست؟

Alpha Channel معمولاً اطلاعات شفافیت یا وزن ترکیب
رنگ را ذخیره می‌کند.

مقدار Alpha می‌تواند مشخص کند رنگ جدید با چه
شدتی روی رنگ قبلی اعمال شود.

کاربرد دقیق Alpha به موتور رندر و Shader بستگی
دارد و همیشه فقط به معنی شفافیت ساده نیست.

Color Blending چیست؟

Blending فرایند ترکیب رنگ Fragment جدید با رنگی
است که از قبل در Render Target ذخیره شده است.

این عملیات برای نمایش شیشه، دود، ذرات، نورهای
درخشان، رابط‌های نیمه‌شفاف و بسیاری از افکت‌های
دیگر استفاده می‌شود.

New Fragment Color
        │
        ├── Source Factor
        │
        ▼
     Blending
        ▲
        │
        ├── Destination Factor
        │
Existing Frame Buffer Color
        │
        ▼
Final Output Color

Frame Buffer چیست؟

Frame Buffer بخشی از حافظه گرافیکی است که تصویر
آماده یا داده‌های مرتبط با رندر در آن ذخیره می‌شوند.

پس از پایان عملیات Shader، Depth، Stencil و
Blending، نتیجه نهایی هر پیکسل در یکی از Render
Targetها نوشته می‌شود.

Display Engine می‌تواند تصویر نهایی را از Buffer
مناسب بخواند و برای نمایشگر ارسال کند.

Render Target چیست؟

Render Target مقصدی در حافظه است که GPU نتیجه
یک مرحله رندر را در آن می‌نویسد.

یک Render Target می‌تواند تصویر نهایی صفحه باشد
یا داده‌ای میانی که در مراحل بعدی دوباره خوانده
می‌شود.

موتورهای رندر مدرن معمولاً چند Render Target را
هم‌زمان استفاده می‌کنند.

Multiple Render Targets چیست؟

در فناوری
Multiple Render Targets
یا MRT، یک مرحله Shader می‌تواند چند خروجی متفاوت
را هم‌زمان در Bufferهای جدا ذخیره کند.

این قابلیت در روش‌هایی مانند Deferred Rendering
کاربرد دارد؛ جایی که رنگ، نرمال، عمق و خصوصیات
متریال جداگانه ذخیره و بعداً برای محاسبه نور
استفاده می‌شوند.

Double Buffering و Triple Buffering

برای جلوگیری از نمایش تصویر ناقص، معمولاً یک Buffer
در حال نمایش و Buffer دیگری در حال رندر است.

در Double Buffering دو Buffer و در Triple Buffering
سه Buffer برای مدیریت فریم‌ها استفاده می‌شوند.

Screen Tearing چیست؟

اگر نمایشگر هنگام دریافت تصویر جدید هنوز در حال
نمایش فریم قبلی باشد، ممکن است بخش‌های مختلف دو
فریم به‌صورت هم‌زمان روی صفحه دیده شوند.

این پدیده
Screen Tearing
نام دارد و معمولاً به‌شکل یک یا چند خط شکست افقی
در تصویر دیده می‌شود.

فناوری‌هایی مانند V-Sync، Adaptive Sync،
FreeSync و G-SYNC برای هماهنگ‌کردن تولید فریم و
نرخ نوسازی نمایشگر استفاده می‌شوند.

تعداد ROP چه تأثیری بر عملکرد دارد؟

تعداد ROP می‌تواند بر نرخ نوشتن پیکسل‌ها، عملیات
Blending، آزمون‌های عمق و عملکرد در وضوح‌های بالا
اثر بگذارد.

بااین‌حال تعداد ROP به‌تنهایی معیار کامل قدرت کارت
نیست. فرکانس، معماری، پهنای باند حافظه، فشرده‌سازی،
کش و نوع بار پردازشی نیز اهمیت دارند.

در بعضی بازی‌ها محدودیت Shader یا حافظه زودتر از
ROP ظاهر می‌شود و افزایش تعداد ROP تأثیر زیادی
ایجاد نمی‌کند.

ROP در کارت‌های قدیمی، Quadro و ورک‌استیشن

کارت‌هایی مانند GTX 960M، GTX 1050 Ti، GTX 1060،
Quadro K2100M، Quadro M2000M، Quadro P2000،
Quadro RTX 4000، Radeon RX 580 و Intel Arc نیز
از واحدهای خروجی رندر استفاده می‌کنند.

در نرم‌افزارهای CAD، تعداد ROP به‌تنهایی معیار
اصلی انتخاب نیست و درایور حرفه‌ای، توان Viewport،
ظرفیت VRAM و سازگاری نرم‌افزار اهمیت بیشتری دارند.

در بازی، وضوح بالا، Anti-Aliasing و افکت‌های
شفافیت می‌توانند فشار بیشتری روی مراحل پایانی
رندر ایجاد کنند.

اشتباهات رایج درباره TMU، ROP و Frame Buffer

• تصور اینکه تعداد TMU به‌تنهایی قدرت کارت را
  مشخص می‌کند.
• مقایسه مستقیم تعداد ROP میان معماری‌های
  متفاوت.
• یکی‌دانستن Raster Engine با ROP.
• یکی‌دانستن Texel با Pixel.
• تصور اینکه Frame Buffer فقط همان حافظه VRAM
  است.
• نادیده‌گرفتن پهنای باند حافظه در کنار TMU و
  ROP.
• تصور اینکه Anisotropic Filtering روی همه
  کارت‌های قدیمی بدون افت عملکرد اجرا می‌شود.
• انتخاب کارت ورک‌استیشن فقط بر اساس تعداد TMU
  یا ROP.
• تصور اینکه ROP تمام مراحل تولید تصویر را انجام
  می‌دهد.
• یکی‌دانستن Depth Buffer، Stencil Buffer و
  Color Buffer.

سلسله‌مراتب حافظه GPU چیست؟

همه حافظه‌های GPU سرعت و ظرفیت یکسانی ندارند.
حافظه‌های بسیار نزدیک به واحدهای پردازشی سریع‌ترند،
اما ظرفیت کمتری دارند. حافظه‌های دورتر ظرفیت بیشتری
ارائه می‌کنند، اما دسترسی به آن‌ها زمان بیشتری
نیاز دارد.

GPU برای کاهش تأخیر و جلوگیری از مراجعه مداوم به
VRAM، داده‌های پراستفاده را در Registerها و
حافظه‌های کش نگهداری می‌کند.

Fastest / Smallest
        │
        ▼
    Registers
        │
        ▼
Shared / Local Data Store
        │
        ▼
   L0 / Instruction Cache
        │
        ▼
      L1 Cache
        │
        ▼
      L2 Cache
        │
        ▼
 Last-Level / Large Cache
        │
        ▼
        VRAM
        │
        ▼
    System RAM
        │
        ▼
Storage / SSD
        │
        ▼
Slowest / Largest

مقایسه سطوح مختلف حافظه GPU

Register در GPU چیست؟

Register سریع‌ترین نوع حافظه‌ای است که واحدهای
پردازشی GPU برای نگهداری داده‌های فعال استفاده
می‌کنند.

متغیرهای موقت، نتیجه محاسبات میانی، مختصات، اندیس‌ها
و داده‌هایی که هر Thread به‌طور مداوم نیاز دارد،
می‌توانند داخل Register قرار بگیرند.

Registerها داخل یا بسیار نزدیک به بلوک‌های پردازشی
مانند SM، Compute Unit یا Xe Core قرار دارند.

Register File چیست؟

Register File مجموعه بزرگی از Registerهای فیزیکی
داخل یک بلوک پردازشی GPU است.

زمانی که یک گروه Thread روی یک SM یا Compute Unit
اجرا می‌شود، بخشی از Register File به آن‌ها اختصاص
پیدا می‌کند.

ظرفیت Register File می‌تواند روی تعداد Threadها یا
گروه‌های کاری هم‌زمان اثر بگذارد.

Register Pressure چیست؟

اگر یک Shader یا Kernel برای هر Thread به تعداد
زیادی Register نیاز داشته باشد، فشار مصرف Register
افزایش پیدا می‌کند.

از آنجا که ظرفیت Register File محدود است، مصرف زیاد
Register می‌تواند تعداد گروه‌های کاری هم‌زمان روی
هر واحد پردازشی را کاهش دهد.

این وضعیت ممکن است Occupancy را کاهش دهد و توانایی
GPU برای پنهان‌کردن تأخیر حافظه را محدود کند.

Register Spilling چیست؟

اگر کامپایلر نتواند تمام داده‌های موردنیاز یک Thread
را در Registerهای موجود نگهداری کند، ممکن است بخشی
از آن‌ها را به حافظه کندتری منتقل کند.

این فرایند Register Spilling نام دارد و می‌تواند
باعث افزایش دسترسی به حافظه و کاهش عملکرد شود.

حافظه‌ای که برای Spill استفاده می‌شود ممکن است در
مستندات برنامه‌نویسی با عنوان Local Memory دیده
شود؛ اما از نظر فیزیکی معمولاً داخل VRAM یا مسیر
حافظه عمومی GPU قرار دارد.

Shared Memory در GPU چیست؟

Shared Memory حافظه‌ای سریع و قابل مدیریت است که
گروهی از Threadهای یک بلوک کاری می‌توانند به‌صورت
مشترک از آن استفاده کنند.

این حافظه برای تبادل داده میان Threadها، ذخیره
نتایج میانی و کاهش مراجعه مکرر به VRAM کاربرد دارد.

در NVIDIA معمولاً اصطلاح Shared Memory رایج است.
AMD از اصطلاحاتی مانند Local Data Share و Intel
از نام‌های متناسب با معماری خود استفاده می‌کند.

کاربردهای Shared Memory

Bank Conflict چیست؟

Shared Memory معمولاً به چند Bank تقسیم می‌شود تا
دسترسی هم‌زمان Threadها امکان‌پذیر باشد.

اگر چند Thread به‌گونه‌ای به داده‌ها دسترسی پیدا
کنند که درخواست‌های آن‌ها روی یک Bank تداخل ایجاد
کند، ممکن است دسترسی‌ها به‌صورت ترتیبی انجام شوند.

این وضعیت Bank Conflict نام دارد و می‌تواند کارایی
Shared Memory را کاهش دهد.

Local Memory چیست؟

اصطلاح Local Memory در پلتفرم‌ها و APIهای مختلف
ممکن است معنی متفاوتی داشته باشد.

در بعضی مستندات CUDA، Local Memory به حافظه‌ای
خصوصی برای هر Thread گفته می‌شود که از نظر فیزیکی
ممکن است در VRAM قرار داشته باشد و از Register
بسیار کندتر باشد.

در بعضی استانداردها، واژه Local به حافظه مشترک
میان اعضای یک Workgroup اشاره می‌کند. بنابراین
باید تعریف همان API یا معماری بررسی شود.

کش L0 در GPU چیست؟

بعضی معماری‌های GPU از سطحی بسیار نزدیک به واحدهای
اجرایی با عنوان L0 Cache استفاده می‌کنند.

L0 ممکن است برای دستورها، داده‌ها یا مسیرهای خاص
داخل یک زیرمجموعه پردازشی طراحی شده باشد.

وجود، اندازه و وظیفه دقیق L0 میان معماری‌های
NVIDIA، AMD و Intel یکسان نیست.

Instruction Cache چیست؟

Instruction Cache دستورهای برنامه یا Shader را
نزدیک به واحدهای اجرایی نگهداری می‌کند.

اگر گروه‌های زیادی از Threadها دستورهای یکسانی را
اجرا کنند، نگهداری این دستورها در Cache باعث کاهش
دسترسی‌های تکراری به حافظه دورتر می‌شود.

Shaderهای بسیار بزرگ یا دارای مسیرهای پیچیده ممکن
است فشار بیشتری روی Instruction Cache وارد کنند.

کش L1 در GPU چیست؟

L1 Cache حافظه‌ای سریع و نزدیک به بلوک‌های پردازشی
است که داده‌های پراستفاده را نگهداری می‌کند.

در بعضی معماری‌ها، L1 Cache و Shared Memory از
بخشی از منابع فیزیکی مشترک استفاده می‌کنند و
ظرفیت میان آن‌ها قابل تنظیم است.

نوع داده‌ای که در L1 نگهداری می‌شود به معماری و
مسیر دسترسی بستگی دارد و ممکن است شامل داده عمومی،
Texture یا اطلاعات Read-Only باشد.

Cache Hit و Cache Miss چیست؟

نرخ بالاتر Cache Hit معمولاً باعث کاهش تأخیر و
مصرف پهنای باند حافظه می‌شود.

کش L2 در GPU چیست؟

L2 Cache معمولاً از L1 بزرگ‌تر است و میان تعداد
بیشتری از بلوک‌های پردازشی GPU مشترک است.

بسیاری از درخواست‌های حافظه پیش از رسیدن به VRAM
از L2 عبور می‌کنند.

L2 می‌تواند داده‌های Shader، Texture، Buffer و
بعضی اطلاعات محاسباتی را نگهداری کند.

افزایش ظرفیت یا بهره‌وری L2 می‌تواند وابستگی GPU
به پهنای باند خارجی VRAM را کاهش دهد.

Cache Coherency چیست؟

زمانی که چند واحد پردازشی نسخه‌هایی از یک داده را
داخل Cacheهای مختلف نگهداری می‌کنند، باید مشخص شود
تغییرات چگونه میان آن‌ها هماهنگ شود.

Cache Coherency به سازوکارهایی گفته می‌شود که
سازگاری نسخه‌های مختلف داده را مدیریت می‌کنند.

GPUها ممکن است برای انواع مختلف حافظه و عملیات،
قوانین Coherency متفاوتی داشته باشند و برنامه‌نویس
در بعضی موارد باید از Barrier یا عملیات همگام‌سازی
استفاده کند.

Last-Level Cache چیست؟

Last-Level Cache آخرین سطح Cache پیش از مراجعه به
حافظه خارجی GPU است.

در بعضی معماری‌ها همان L2 نقش آخرین سطح را دارد و
در بعضی طراحی‌ها کش‌های بزرگ‌تری برای کاهش فشار روی
VRAM اضافه شده‌اند.

نام، ظرفیت و ساختار این Cache میان شرکت‌ها و نسل‌ها
متفاوت است.

AMD Infinity Cache چیست؟

Infinity Cache نام کش بزرگ روی تراشه در بعضی
معماری‌های Radeon است.

هدف آن کاهش مراجعه مداوم به حافظه GDDR و افزایش
پهنای باند مؤثر برای داده‌هایی است که قابلیت
استفاده مجدد دارند.

ظرفیت Infinity Cache در همه مدل‌ها یکسان نیست و
نتیجه آن به وضوح تصویر، نوع بازی، الگوی دسترسی و
معماری GPU بستگی دارد.

فشرده‌سازی داده در مسیر حافظه GPU

GPUهای مدرن می‌توانند بعضی داده‌های رنگ، عمق یا
Texture را بدون افت قابل مشاهده فشرده کنند.

این کار مقدار داده‌ای را که باید میان Cache و
VRAM جابه‌جا شود کاهش می‌دهد و پهنای باند مؤثر را
افزایش می‌دهد.

نسبت فشرده‌سازی به نوع داده بستگی دارد و همه
اطلاعات با نرخ یکسان فشرده نمی‌شوند.

Memory Controller چیست؟

Memory Controller ارتباط میان GPU، Cache و
تراشه‌های VRAM را مدیریت می‌کند.

این بخش درخواست‌های خواندن و نوشتن را زمان‌بندی،
اولویت‌بندی و میان کانال‌های حافظه توزیع می‌کند.

تعداد کنترل‌کننده‌ها و عرض هر کانال در شکل‌گیری
Bus Width نهایی کارت نقش دارد.

Shader and Compute Units
          │
          ▼
        L2 Cache
          │
          ▼
 Internal Interconnect
          │
    ┌─────┼─────┐
    ▼     ▼     ▼
Memory  Memory  Memory
Ctrl 0  Ctrl 1  Ctrl 2
    │     │     │
    ▼     ▼     ▼
  VRAM  VRAM  VRAM

کانال حافظه در کارت گرافیک چیست؟

رابط حافظه GPU معمولاً از چند کانال مستقل تشکیل
می‌شود.

هر کانال بخشی از Bus Width را تأمین می‌کند و به
یک یا چند تراشه حافظه متصل می‌شود.

ترکیب چند کانال می‌تواند رابط‌هایی مانند ۶۴،
۱۲۸، ۱۹۲، ۲۵۶ یا ۳۸۴ بیت ایجاد کند.

Memory Bus و Bus Width چیست؟

Memory Bus مسیر انتقال داده میان GPU و VRAM است.
Bus Width نشان می‌دهد در هر انتقال چه تعداد بیت
می‌تواند میان آن‌ها جابه‌جا شود.

عرض باس بیشتر می‌تواند پهنای باند را افزایش دهد،
اما نوع حافظه و سرعت انتقال نیز اهمیت دارند.

Memory Clock و Effective Clock چیست؟

Memory Clock به فرکانس کاری حافظه اشاره دارد؛ اما
مقدار نمایش‌داده‌شده در ابزارهای مختلف ممکن است
Clock پایه، Clock واقعی یا نرخ مؤثر انتقال باشد.

حافظه‌های GDDR می‌توانند در هر سیکل چند انتقال
انجام دهند؛ به همین دلیل نرخ مؤثر آن‌ها از Clock
پایه بیشتر است.

هنگام مقایسه باید مشخص شود عدد اعلام‌شده بر حسب
MHz، Gbps یا نرخ مؤثر انتقال است.

پهنای باند حافظه چیست؟

Memory Bandwidth مقدار داده‌ای است که در مدت‌زمان
مشخص میان GPU و VRAM منتقل می‌شود.

پهنای باند معمولاً با واحد گیگابایت بر ثانیه
نمایش داده می‌شود و به سرعت حافظه و عرض باس وابسته
است.

Cache، فشرده‌سازی و الگوی دسترسی می‌توانند پهنای
باند مؤثر را نسبت به مقدار خام تغییر دهند.

تأخیر حافظه یا Memory Latency چیست؟

Latency مدت‌زمانی است که از ارسال درخواست حافظه
تا دریافت داده طول می‌کشد.

پهنای باند بالا لزوماً به معنی تأخیر پایین نیست.
یک مسیر حافظه می‌تواند حجم زیادی داده منتقل کند،
اما پاسخ هر درخواست همچنان زمان‌بر باشد.

GPU با اجرای Threadهای متعدد و جابه‌جایی میان آن‌ها
تلاش می‌کند تأخیر حافظه را پنهان کند.

ظرفیت VRAM چه تأثیری دارد؟

VRAM داده‌های بزرگ مانند Textureها، مدل‌ها،
Frame Bufferها، داده‌های رندر و مدل‌های هوش مصنوعی
را نگهداری می‌کند.

اگر ظرفیت کافی باشد، داده‌ها می‌توانند داخل حافظه
سریع کارت باقی بمانند. اگر ظرفیت کافی نباشد، بخشی
از داده‌ها ممکن است به RAM سیستم منتقل شوند یا
نرم‌افزار مجبور به کاهش کیفیت و اندازه پروژه شود.

چه داده‌هایی داخل VRAM ذخیره می‌شوند؟

خطای Out of Memory در GPU چیست؟

اگر نرم‌افزار نتواند فضای کافی داخل VRAM برای
داده‌های موردنیاز اختصاص دهد، ممکن است خطای
Out of Memory نمایش داده شود.

این مشکل در رندرهای سنگین، مدل‌های هوش مصنوعی،
بازی‌های با Texture بسیار بزرگ و پروژه‌های تدوین
وضوح‌بالا دیده می‌شود.

• کاهش وضوح Texture
• کاهش اندازه Batch
• استفاده از مدل Quantized
• کاهش اندازه تصویر یا Render Tile
• بستن برنامه‌های مصرف‌کننده GPU
• استفاده از کارت با VRAM بیشتر

Shared GPU Memory در ویندوز چیست؟

ویندوز ممکن است بخشی از RAM سیستم را به‌عنوان
Shared GPU Memory نمایش دهد.

این مقدار به معنی وجود همان ظرفیت حافظه پرسرعت روی
کارت گرافیک نیست.

کارت مجزا در صورت نیاز می‌تواند بخشی از RAM سیستم
را استفاده کند، اما این مسیر معمولاً از VRAM
اختصاصی کندتر است.

حافظه گرافیک مجتمع چگونه کار می‌کند؟

گرافیک‌های مجتمع معمولاً VRAM مستقل ندارند و از
RAM سیستم استفاده می‌کنند.

سرعت RAM، تعداد کانال‌ها، تأخیر حافظه و محدودیت
توان پردازنده بر عملکرد گرافیک مجتمع اثر می‌گذارد.

استفاده از حافظه دوکاناله می‌تواند پهنای باند بیشتری
برای Intel HD، UHD، Iris Xe و گرافیک‌های مجتمع AMD
فراهم کند.

حافظه در Quadro، RTX Professional و Radeon Pro

کارت‌های حرفه‌ای ممکن است ظرفیت VRAM بیشتر،
پشتیبانی ECC، درایورهای تخصصی و مدیریت حافظه مناسب
پروژه‌های بزرگ داشته باشند.

Quadro K، M و P معمولاً از حافظه‌های نسل قدیمی‌تر
مانند GDDR5 استفاده می‌کنند. Quadro RTX،
RTX A Series و RTX Professional جدیدتر بیشتر از
GDDR6 و ظرفیت‌های بالاتر بهره می‌برند.

Radeon Pro و Arc Pro نیز بر اساس نسل و مدل، ظرفیت
حافظه و قابلیت‌های متفاوتی ارائه می‌کنند.

حافظه در کارت‌ها و لپ‌تاپ‌های قدیمی

گلوگاه حافظه GPU چیست؟

گلوگاه حافظه زمانی ایجاد می‌شود که واحدهای پردازشی
GPU سریع‌تر از توان سیستم حافظه به داده نیاز داشته
باشند.

در این وضعیت، Shader Coreها، CUDA Coreها،
Stream Processorها یا Xe Coreها بخشی از زمان خود
را منتظر رسیدن داده می‌مانند.

الگوی دسترسی به حافظه چرا مهم است؟

عملکرد حافظه فقط به مشخصات سخت‌افزاری وابسته نیست.
نحوه دسترسی برنامه به داده‌ها نیز اهمیت زیادی دارد.

اگر Threadهای مجاور به آدرس‌های نزدیک و منظم
دسترسی داشته باشند، GPU می‌تواند درخواست‌ها را
مؤثرتر ترکیب کند.

دسترسی‌های پراکنده، نامنظم یا تکراری می‌توانند
پهنای باند بیشتری مصرف کنند و Cache را با داده‌های
کم‌استفاده پر کنند.

Memory Coalescing چیست؟

Memory Coalescing به ترکیب چند درخواست حافظه
Threadهای یک گروه در تعداد کمتری تراکنش بزرگ‌تر
گفته می‌شود.

اگر Threadهای مجاور داده‌های پشت‌سرهم را بخوانند،
کنترل‌کننده حافظه می‌تواند انتقال را با بهره‌وری
بالاتری انجام دهد.

دسترسی‌های پراکنده ممکن است به چندین تراکنش جدا
تبدیل شوند و پهنای باند مؤثر را کاهش دهند.

Prefetching چیست؟

Prefetching یعنی داده پیش از لحظه استفاده احتمالی
از حافظه دورتر خوانده و به Cache نزدیک‌تر منتقل شود.

اگر پیش‌بینی صحیح باشد، واحد پردازشی هنگام نیاز
داده را سریع‌تر دریافت می‌کند.

Prefetch نامناسب ممکن است پهنای باند و فضای Cache
را با داده‌هایی مصرف کند که هرگز استفاده نمی‌شوند.

Paging و جابه‌جایی داده میان VRAM و RAM

اگر داده‌های موردنیاز از ظرفیت VRAM بیشتر شوند،
سیستم‌عامل و درایور ممکن است بخشی از آن‌ها را میان
VRAM و RAM سیستم جابه‌جا کنند.

این انتقال از طریق PCI Express انجام می‌شود و
معمولاً بسیار کندتر از دسترسی مستقیم GPU به VRAM
است.

نتیجه ممکن است افت نرخ فریم، مکث، کندشدن Viewport،
افزایش زمان رندر یا خطای حافظه باشد.

نقش PCI Express در انتقال داده‌های GPU

PCI Express مسیر اصلی ارتباط کارت گرافیک مجزا با
CPU و RAM سیستم است.

زمانی که داده داخل VRAM وجود ندارد، ممکن است از
RAM سیستم از طریق PCIe منتقل شود.

نسل PCIe و تعداد Laneها روی پهنای باند این ارتباط
اثر می‌گذارند، اما همچنان ارتباط داخلی GPU با
VRAM معمولاً بسیار سریع‌تر است.

Resizable BAR چه ارتباطی با حافظه GPU دارد؟

Resizable BAR به CPU اجازه می‌دهد بخش بزرگ‌تری از
VRAM کارت گرافیک را به‌صورت مستقیم در فضای آدرس
خود مشاهده کند.

بدون این قابلیت، دسترسی ممکن است در پنجره‌های
کوچک‌تر انجام شود.

تأثیر عملکرد به بازی، درایور، معماری GPU،
مادربرد و پردازنده بستگی دارد و همیشه یکسان نیست.

حافظه ECC در کارت گرافیک چیست؟

ECC مخفف
Error-Correcting Code
است و برای شناسایی و اصلاح بعضی خطاهای حافظه
استفاده می‌شود.

این قابلیت در محاسبات علمی، سرور، شبیه‌سازی،
پزشکی، مهندسی و پروژه‌هایی که صحت داده اهمیت
بالایی دارد، مفید است.

بعضی کارت‌های حرفه‌ای Quadro، RTX Professional،
Radeon Pro و شتاب‌دهنده‌های دیتاسنتر از ECC
پشتیبانی می‌کنند.

خرابی حافظه گرافیکی چه نشانه‌هایی دارد؟

• نمایش نقاط یا خطوط رنگی
• ایجاد مربع‌ها و الگوهای غیرعادی
• خراب‌شدن Textureها
• بسته‌شدن بازی یا نرم‌افزار
• خطای Driver Timeout
• صفحه سیاه زیر بار
• خطا در تست حافظه GPU
• ناپایداری در فرکانس حافظه

این نشانه‌ها همیشه به معنی خرابی قطعی VRAM نیستند
و ممکن است از درایور، اورکلاک، گرما، پاور یا GPU
نیز ناشی شوند.

دمای حافظه گرافیکی

تراشه‌های VRAM در زمان بازی، رندر یا استخراج
می‌توانند گرمای قابل‌توجهی تولید کنند.

تماس مناسب Thermal Pad با هیت‌سینک، جریان هوا و
طراحی خنک‌کننده روی دمای حافظه اثر دارند.

دمای بیش‌ازحد می‌تواند باعث کاهش فرکانس، خطا،
ناپایداری یا کاهش عمر قطعات شود.

VRAM مناسب برای بازی

میزان حافظه موردنیاز بازی به وضوح، کیفیت Texture،
Ray Tracing، بسته‌های گرافیکی و طراحی موتور بازی
بستگی دارد.

وقتی مصرف حافظه به سقف VRAM نزدیک شود، ممکن است
Textureها دیر بارگذاری شوند یا مکث ایجاد شود.

عدد مناسب ثابت نیست و باید با بازی‌ها و تنظیمات
موردنظر کاربر سنجیده شود.

VRAM برای AutoCAD و SolidWorks

پروژه‌های دوبعدی سبک معمولاً حافظه گرافیکی زیادی
نیاز ندارند.

در مدل‌سازی سه‌بعدی، Assemblyهای بزرگ، نمایشگرهای
متعدد و Viewportهای باکیفیت، مصرف VRAM افزایش
پیدا می‌کند.

در SolidWorks و نرم‌افزارهای حرفه‌ای، درایور و
گواهی سازگاری نیز در کنار ظرفیت حافظه اهمیت دارند.

VRAM برای Blender و رندر سه‌بعدی

در رندر GPU، مدل‌ها، Textureها، نورها و داده‌های
صحنه باید در حافظه کارت قرار بگیرند.

اگر صحنه داخل VRAM جا نشود، موتور رندر ممکن است
خطا دهد، به CPU منتقل شود یا با سرعت بسیار کمتر
از حافظه سیستم استفاده کند.

صحنه‌های دارای Textureهای 4K و 8K، Geometry زیاد
و چندین Asset به VRAM بیشتری نیاز دارند.

VRAM برای هوش مصنوعی

در هوش مصنوعی، وزن‌های مدل، Activationها،
Gradientها و داده‌های ورودی داخل حافظه GPU قرار
می‌گیرند.

آموزش مدل معمولاً حافظه بیشتری از اجرای مدل نیاز
دارد.

Quantization، کاهش Batch Size، Offloading و
Gradient Checkpointing از روش‌های کاهش مصرف حافظه
هستند.

اشتباهات رایج درباره حافظه GPU

• جمع‌کردن Dedicated VRAM و Shared Memory
• مقایسه کارت‌ها فقط بر اساس ظرفیت حافظه
• تصور اینکه باس عریض‌تر همیشه سریع‌تر است
• نادیده‌گرفتن نوع حافظه
• نادیده‌گرفتن Cache و فشرده‌سازی
• یکی‌دانستن Memory Clock و نرخ مؤثر انتقال
• تصور اینکه ECC در تمام Quadroها وجود دارد
• تصور اینکه حافظه بیشتر نرخ فریم را همیشه افزایش می‌دهد
• نادیده‌گرفتن دمای VRAM در کارت دست‌دوم
• مقایسه مستقیم پهنای باند نسل‌های مختلف بدون
  توجه به معماری

نمای کلی اجرای موازی در GPU

مهم‌ترین تفاوت پردازنده گرافیکی با پردازنده مرکزی
در نحوه اجرای دستورها است. CPU معمولاً تعداد کمی
Thread بسیار قدرتمند را اجرا می‌کند، در حالی که GPU
برای اجرای هم‌زمان هزاران Thread طراحی شده است.

این معماری باعث می‌شود پردازنده گرافیکی بتواند
میلیون‌ها پیکسل، رأس، نمونه، پرتو یا عملیات
هوش مصنوعی را به صورت هم‌زمان پردازش کند.

البته GPU تمام Threadها را به صورت کاملاً مستقل
اجرا نمی‌کند؛ بلکه آن‌ها را در قالب گروه‌هایی
سازمان‌دهی می‌کند تا سخت‌افزار بتواند با کمترین
هزینه، بیشترین میزان پردازش موازی را انجام دهد.

Application
      │
      ▼
Dispatch
      │
      ▼
Grid
      │
      ▼
Blocks / Workgroups
      │
      ▼
Warps / Wavefronts
      │
      ▼
Threads
      │
      ▼
CUDA Core / Stream Processor / Xe Core

چرا GPU هزاران Thread را هم‌زمان اجرا می‌کند؟

حافظه گرافیکی نسبت به واحدهای محاسباتی تأخیر
بیشتری دارد. اگر GPU فقط چند Thread اجرا کند،
هنگام انتظار برای دریافت داده بخش زیادی از
سخت‌افزار بیکار خواهد ماند.

به همین دلیل GPU هزاران Thread آماده اجرا نگه
می‌دارد تا هر زمان گروهی منتظر حافظه شد،
گروه دیگری فوراً جایگزین آن شود.

این روش یکی از مهم‌ترین دلایل توان پردازشی بسیار
بالای GPU در بازی، رندر سه‌بعدی و هوش مصنوعی است.

تفاوت مدل اجرای CPU و GPU

Thread در GPU چیست؟

کوچک‌ترین واحد اجرایی در پردازنده گرافیکی
Thread است.

هر Thread مجموعه مشخصی از دستورها را اجرا می‌کند،
Registerهای مخصوص خود را دارد و روی داده‌ای مشخص
کار می‌کند.

برای مثال اگر قرار باشد یک تصویر چهار میلیون
پیکسلی پردازش شود، ممکن است میلیون‌ها Thread ایجاد
شوند و هر Thread مسئول پردازش یک یا چند پیکسل باشد.

تفاوت Thread در CPU و GPU

واژه Thread هم در CPU و هم در GPU استفاده می‌شود،
اما مفهوم و هدف طراحی آن‌ها کاملاً یکسان نیست.

در CPU هر Thread تقریباً یک واحد پردازشی قدرتمند
محسوب می‌شود که می‌تواند وظایف پیچیده، شاخه‌های
شرطی متعدد و دسترسی‌های نامنظم به حافظه را مدیریت
کند.

در مقابل، Threadهای GPU بسیار سبک هستند و برای
اجرای تعداد بسیار زیادی عملیات مشابه طراحی شده‌اند.

Thread ID و Thread Index چیست؟

هر Thread دارای شناسه‌ای است که محل آن را در میان
سایر Threadها مشخص می‌کند.

این شناسه برای تعیین داده‌ای که باید پردازش شود
استفاده می‌شود.

برای مثال اگر یک تصویر شامل یک میلیون پیکسل باشد،
هر Thread می‌تواند بر اساس شناسه خود فقط یک پیکسل
مشخص را پردازش کند.

Thread Group چیست؟

مدیریت میلیون‌ها Thread به صورت مستقل امکان‌پذیر
نیست؛ بنابراین GPU آن‌ها را در قالب گروه‌هایی
سازمان‌دهی می‌کند.

هر گروه می‌تواند حافظه مشترک داشته باشد، بین اعضای
خود همگام‌سازی انجام دهد و به صورت مستقل روی یکی
از واحدهای پردازشی اجرا شود.

نام این گروه‌ها در APIهای مختلف متفاوت است؛ برای
مثال در CUDA از Block و در OpenCL از Workgroup
استفاده می‌شود.

Thread Block در CUDA چیست؟

در CUDA مجموعه‌ای از Threadها که روی یک
Streaming Multiprocessor اجرا می‌شوند،
Thread Block نام دارند.

تمام Threadهای یک Block می‌توانند از Shared Memory
مشترک استفاده کنند و با دستورهای همگام‌سازی
یکدیگر را هماهنگ کنند.

اندازه Block هنگام طراحی برنامه انتخاب می‌شود و
روی کارایی GPU تأثیر مستقیم دارد.

Workgroup چیست؟

در OpenCL، Vulkan Compute و بسیاری از APIهای
مدرن، به مجموعه‌ای از Threadها که با هم اجرا
می‌شوند Workgroup گفته می‌شود.

مفهوم Workgroup بسیار شبیه Thread Block در CUDA
است، هرچند جزئیات پیاده‌سازی آن به API و معماری
بستگی دارد.

اعضای یک Workgroup می‌توانند از حافظه مشترک،
Barrier و عملیات هماهنگ‌سازی استفاده کنند.

Grid در پردازش GPU چیست؟

Grid مجموعه کامل Thread Blockها یا Workgroupهایی
است که برای اجرای یک Kernel یا Compute Shader
ایجاد می‌شوند.

هر Grid می‌تواند یک‌بعدی، دوبعدی یا سه‌بعدی باشد.
این ساختار کمک می‌کند داده‌هایی مانند آرایه،
تصویر، ویدئو یا حجم سه‌بعدی به‌شکل منظم میان
Threadها تقسیم شوند.

Grid
│
├── Block 0
│   ├── Thread 0
│   ├── Thread 1
│   ├── Thread 2
│   └── ...
│
├── Block 1
│   ├── Thread 0
│   ├── Thread 1
│   ├── Thread 2
│   └── ...
│
└── Block N
    ├── Thread 0
    ├── Thread 1
    └── ...

Dispatch و Compute Dispatch چیست؟

Dispatch دستوری است که اجرای مجموعه‌ای از
Workgroupها یا Threadها را روی GPU آغاز می‌کند.

برنامه تعداد گروه‌ها و ابعاد آن‌ها را مشخص می‌کند
و درایور و سخت‌افزار وظیفه توزیع آن‌ها میان
واحدهای پردازشی را بر عهده می‌گیرند.

در DirectCompute، Vulkan، OpenCL و سایر رابط‌های
محاسباتی، نام و شیوه تعریف Dispatch متفاوت است؛
اما مفهوم اصلی یکسان باقی می‌ماند.

تفاوت SIMD و SIMT چیست؟

SIMD مخفف
Single Instruction, Multiple Data
است؛ یعنی یک دستور روی چند داده اجرا می‌شود.

SIMT مخفف
Single Instruction, Multiple Threads
است و مدل برنامه‌نویسی رایج در GPUهای NVIDIA را
توصیف می‌کند.

در SIMT برنامه‌نویس با Threadهای مستقل کار می‌کند،
اما سخت‌افزار بسیاری از آن‌ها را به‌صورت گروهی
و با دستور مشترک اجرا می‌کند.

Warp در NVIDIA چیست؟

Warp گروه پایه زمان‌بندی و اجرای Threadها در
بسیاری از GPUهای NVIDIA است.

یک Warp معمولاً شامل ۳۲ Thread است. این Threadها
در حالت عادی دستور مشترکی را اجرا می‌کنند، اما هر
Thread روی داده و Registerهای مخصوص خود کار می‌کند.

Thread Block پیش از اجرا به چند Warp تقسیم می‌شود.
برای نمونه، یک Block دارای ۲۵۶ Thread به هشت Warp
۳۲تایی تقسیم خواهد شد.

Wavefront در AMD چیست؟

Wavefront گروهی از Work-Itemها است که در GPUهای
AMD با یکدیگر زمان‌بندی و اجرا می‌شوند.

در بسیاری از معماری‌های قدیمی GCN، اندازه رایج
Wavefront برابر ۶۴ Thread یا Work-Item بود.

معماری‌های جدیدتر RDNA می‌توانند از حالت‌های
Wave32 یا Wave64 استفاده کنند. انتخاب اندازه
Wave به Shader، API، کامپایلر و معماری بستگی دارد.

اجرای Thread در GPUهای Intel

GPUهای Intel نیز Threadها را در گروه‌های SIMD یا
Subgroup سازمان‌دهی می‌کنند.

عرض اجرای SIMD می‌تواند بر اساس معماری، نوع
Shader، کامپایلر و دستورهای برنامه متفاوت باشد.

در APIهایی مانند OpenCL، SYCL و Vulkan، اصطلاح
Subgroup برای مجموعه‌ای از Invocationها استفاده
می‌شود که می‌توانند عملیات گروهی و ارتباط مستقیم
انجام دهند.

مقایسه Warp، Wavefront و Subgroup

Warp Scheduler چیست؟

Warp Scheduler بخشی از GPU است که Warpهای آماده
اجرا را انتخاب می‌کند و دستور بعدی آن‌ها را برای
واحدهای اجرایی می‌فرستد.

یک SM می‌تواند چندین Warp فعال داشته باشد، اما
همه آن‌ها در یک لحظه دستور صادر نمی‌کنند.
Scheduler بررسی می‌کند کدام Warp آماده است و
منابع موردنیاز آن در دسترس قرار دارند.

اگر یک Warp منتظر داده از حافظه باشد، Scheduler
می‌تواند Warp دیگری را انتخاب کند تا واحدهای
پردازشی بیکار نمانند.

Resident Warps
│
├── Warp 0 ── Ready
├── Warp 1 ── Waiting for Memory
├── Warp 2 ── Ready
├── Warp 3 ── Waiting for Dependency
└── Warp 4 ── Ready
        │
        ▼
   Warp Scheduler
        │
        ▼
Selects a Ready Warp
        │
        ▼
Execution Units

Instruction Scheduler چیست؟

Instruction Scheduler مشخص می‌کند کدام دستور،
در چه زمان و روی کدام واحد اجرایی اجرا شود.

دستورها ممکن است مربوط به محاسبات عددی، بارگذاری
حافظه، ذخیره داده، Texture Sampling، عملیات
ماتریسی یا Branch باشند.

Scheduler باید وابستگی میان دستورها را نیز در نظر
بگیرد. اگر نتیجه یک دستور هنوز آماده نشده باشد،
دستور وابسته به آن نمی‌تواند اجرا شود.

Warp آماده و Warp متوقف‌شده چیست؟

Latency Hiding چگونه انجام می‌شود؟

GPU به‌جای تلاش برای کاهش کامل تأخیر حافظه،
معمولاً آن را با اجرای Warpهای دیگر پنهان می‌کند.

وقتی یک Warp منتظر داده است، Scheduler می‌تواند
دستور Warp آماده دیگری را صادر کند.

اگر تعداد Warpهای فعال کافی باشد، واحدهای اجرایی
می‌توانند در بخش بیشتری از زمان مشغول بمانند.

جابه‌جایی میان گروه‌های Thread در GPU

GPU می‌تواند میان Warpها یا Wavefrontهای فعال
بسیار سریع جابه‌جا شود؛ زیرا وضعیت اجرایی آن‌ها
مانند Registerها از قبل روی تراشه نگهداری می‌شود.

این جابه‌جایی با Context Switch سنگین میان
Threadهای CPU یکسان نیست و معمولاً هزینه بسیار
کمتری دارد.

هدف اصلی این سازوکار، پنهان‌کردن تأخیر و استفاده
مداوم از واحدهای اجرایی است.

Branch Divergence چیست؟

Branch Divergence زمانی رخ می‌دهد که Threadهای
یک Warp یا Wavefront در یک شرط، مسیرهای متفاوتی
انتخاب کنند.

از آنجا که اعضای گروه معمولاً دستور مشترکی را
اجرا می‌کنند، سخت‌افزار ممکن است هر مسیر را
جداگانه اجرا و Threadهای مسیر دیگر را موقتاً
غیرفعال کند.

Warp with 8 Example Threads

T0 T1 T2 T3 T4 T5 T6 T7
│  │  │  │  │  │  │  │
└──────── if condition ────────┘
   │                    │
   ▼                    ▼
Path A               Path B
T0 T1 T2 T3          T4 T5 T6 T7
   │                    │
   ▼                    ▼
Execute A            Execute B
Other lanes off      Other lanes off
   │                    │
   └────────┬───────────┘
            ▼
       Reconvergence

Warp Serialization چیست؟

Warp Serialization به حالتی گفته می‌شود که
عملیات اعضای یک Warp به‌جای اجرای هم‌زمان، در
چند مرحله جدا انجام شوند.

Branch Divergence، بعضی دسترسی‌های حافظه،
Atomic Operationهای پرتداخل و Bank Conflict
می‌توانند باعث نوعی Serialization شوند.

نتیجه معمولاً کاهش بهره‌وری و طولانی‌ترشدن زمان
اجرای Warp است.

Reconvergence چیست؟

پس از پایان مسیرهای متفاوت یک Branch، Threadهای
گروه دوباره در نقطه مشترکی به یکدیگر می‌رسند.

این فرایند Reconvergence نام دارد و پس از آن
اعضای گروه می‌توانند اجرای دستور مشترک را ادامه
دهند.

سخت‌افزار و کامپایلر مسیرهای واگرا و نقطه بازگشت
آن‌ها را مدیریت می‌کنند.

مقایسه مفهومی زمان‌بندی در NVIDIA، AMD و Intel

Occupancy در GPU چیست؟

Occupancy نسبت تعداد Warpها، Wavefrontها یا
Threadهای فعال به حداکثر تعداد قابل پشتیبانی در
هر واحد پردازشی GPU است.

این معیار نشان می‌دهد چه مقدار از ظرفیت اجرایی
SM، Compute Unit یا بلوک مشابه توسط گروه‌های
فعال اشغال شده است.

Occupancy بالاتر معمولاً Warpهای آماده بیشتری در
اختیار Scheduler قرار می‌دهد و می‌تواند به
پنهان‌کردن تأخیر حافظه کمک کند.

آیا Occupancy بیشتر همیشه به معنی عملکرد بهتر است؟

خیر. Occupancy بالا فقط یکی از عوامل عملکرد است و
به‌تنهایی سرعت بیشتر را تضمین نمی‌کند.

یک Kernel ممکن است با Occupancy متوسط، استفاده
بسیار خوبی از واحدهای محاسباتی داشته باشد و سریع‌تر
از Kernel دیگری با Occupancy بالا اجرا شود.

اگر برنامه به حافظه وابستگی کمی داشته باشد یا
محاسبات سنگین و مستقل اجرا کند، افزایش Occupancy
ممکن است سود محدودی ایجاد کند.