מ-10 קילוואט למסד לעולם של 100 קילוואט ויותר
כניסתם המואצת של יישומי בינה מלאכותית למרכזי הנתונים אינה מסתכמת בהוספת שרתים חזקים יותר. היא משנה מן היסוד את הדרך שבה מתכננים את הרצפה הלבנה, את תשתיות החשמל, את מערכי הכבילה ואת מערכות הקירור.
בעוד שבמרכזי נתונים מסורתיים היה מקובל לתכנן מסדים בהספקים של קילוואטים בודדים עד עשרות קילוואטים, אשכולות AI המבוססים על GPU כבר עוברים את רף ה-100kW למסד. Schneider Electric מציינת כי מרכזי נתונים מוכווני AI כבר מתמודדים עם צפיפויות של מעל 100kW למסד, ובארכיטקטורות עתידיות מדברים גם על מאות קילוואטים למסד.
מבחינת DCE, המשמעות היא ברורה: אי אפשר לתכנן מרכז נתונים של AI באמצעות הגדלה ליניארית של התכנון המסורתי. נדרשת חשיבה מחדש על המערכת כולה.
הרצפה הלבנה כבר אינה נמדדת רק במ"ר
לדברי אמיתי רוט, מנכ"ל ומייסד החברה, אחת הטעויות בתכנון היא להמשיך להתייחס לשטח הרצפה הלבנה כפרמטר המרכזי לקיבולת.
בעידן ה-AI השאלה כבר אינה כמה Racks ניתן להכניס לחדר. השאלה היא כמה הספק וכמה חום אנחנו מסוגלים לנהל בכל נקודה בחדר, תוך שמירה על יתירות, זמינות וגמישות להתרחבות.
כאשר מסד בודד יכול להגיע ל-100kW ויותר, עשרה מסדים עשויים לייצר עומס IT של מגה-וואט בשטח קטן יחסית. לכן תכנון הרצפה חייב לקחת בחשבון לא רק את מיקום המסדים אלא גם את נתיבי אספקת החשמל, תעלות ו-Busway, מערכות קירור נוזלי, CDUs, צנרת, משקל, גישה לתחזוקה ואפשרות להרחבה.
הצפיפות הפיזית והצפיפות החשמלית הפכו לשני פרמטרים שונים לחלוטין.
שרתי AI משנים גם את אופי העומס
GPU clusters אינם רק צרכנים גדולים של חשמל. הם יכולים להציג פרופילי עומס שונים מהותית מסביבות IT מסורתיות, ולכן התכנון צריך להביא בחשבון גם שינויים מהירים בעומס ולא רק את ההספק הנומינלי.
Schneider Electric מתארת מעבר מתשתיות מסורתיות לעבר ארכיטקטורות Power Train ייעודיות ל-AI, שנועדו להתמודד עם צפיפויות גבוהות ועם פרופילי עומס של מערכות GPU.
יעקב אביטן, מהנדס החברה ומנהל מערך השירות ב-DCE, מדגיש כי כאן בדיוק הופך החיבור בין התכנון לתפעול לקריטי:
מערכת חשמל לא מתכננים רק לפי מספר הקילוואטים שמופיע בטבלה. צריך להבין איך העומס מתנהג, מה קורה בזמן מעבר, כיצד ה-UPS מגיב, מה קורה בשרשרת ההזנה ומה תהיה המשמעות במקרה של תקלה או טיפול במערכת.
מכאן נגזרת חשיבותם של UPS המתאים לעומסי AI, מערכות חלוקה בעלות קיבולת גבוהה, ניטור ברמת הענף והמסד, ותכנון Selectivity ויתירות המתאים לתרחישי העבודה האמיתיים.
הכבלים הופכים לחלק מהבעיה
ככל שההספק עולה, עולה גם הזרם, ובמתחים מסורתיים הדבר מוביל במהירות לכמויות גדולות של כבלי כוח, מחברים, תעלות וציוד חלוקה.
זו אינה רק בעיית מקום. יותר כבלים משמעותם מורכבות גדולה יותר בהתקנה ובתחזוקה, מגבלות פיזיות על נתיבי הכבילה ואובדני אנרגיה שיש להביא בחשבון.
לכן פתרונות Busway, חלוקה מודולרית וארכיטקטורות מתח חדשות מקבלים חשיבות הולכת וגוברת. Schneider Electric אף מצביעה על מעבר עתידי לכיוון 800VDC כאחת הדרכים להתמודד עם צפיפויות AI גבוהות במיוחד ולהפחית את מגבלות החלוקה במתח נמוך.
כל קילוואט חשמלי הופך בסופו של דבר לחום
המשוואה פשוטה: העלייה בצפיפות המחשוב מייצרת גם עלייה דרמטית בצפיפות התרמית.
במסד AI של 100kW אנחנו צריכים לפנות בקירוב סדר גודל דומה של חום. במסדים של מאות קילוואטים, מערכות מיזוג אוויר מסורתיות מתקשות לתת מענה לבדן.
Schneider Electric מציינת כי אשכולות AI מתקדמים כבר עוברים 100kW למסד, ומצביעה על CDU וקירור נוזלי כחלק מרכזי בהתמודדות עם צפיפות זו.
לכן החשמל והקירור אינם יכולים עוד להיות מתוכננים כשתי דיסציפלינות נפרדות.
התכנון חייב להתחיל מה-Rack ולחזור לאחור
אהרון רוט, מנכ"ל משותף ב-DCE, מתאר את השינוי גם כאתגר עסקי:
ההשקעה בשרתי AI יכולה להיות עצומה. מצב שבו השרתים כבר באתר אבל תשתית החשמל או הקירור אינה מסוגלת לתמוך בהם הוא תרחיש שחייבים למנוע. לכן התכנון צריך להתחיל מהעומס העתידי ומה-Rack, ומשם לחזור אחורה עד למקור החשמל ומערכת הקירור.
זו למעשה תפיסת Grid-to-Chip ו-Chip-to-Chiller: הסתכלות על כל שרשרת האנרגיה והחום כמערכת אחת.
הפתרון לצפיפות הספק גבוהה אינו מוצר יחיד. הוא שילוב של תכנון הרצפה, UPS, חלוקת חשמל, Busway, ניטור, כבילה, Rack, CDU, קירור נוזלי, תוכנה ושירות.
בעידן ה-AI, צפיפות ההספק אינה עוד נתון טכני. היא אחד הפרמטרים שמכתיבים את הארכיטקטורה כולה.
