המזכירות בנויה מחמישה אגפים של תחומי הדעת:
אגף אמנויות, אגף חברה ורוח, אגף מורשת , אגף מדעים, ואגף שפות.
בכל אחד מהאגפים פועלים: מנהלי תחומי דעת (מפמ"רים), ממונים על תכניות לימודים וממונים על חומרי לימוד של תחומי הדעת הרלוונטיים. כל תחום דעת מלווה על ידי ועדת מקצוע שתפקידה לייעץ ליושב ראש המזכירות הפדגוגית בהתוויית מדיניות הוראת תחומי הדעת השונים במערכת החינוך, את הועדה מרכז מפמ"ר התחום.
במקביל, פועלים במזכירות הפדגוגית אגפי רוחב:
- אגף לתכניות לאומיות המוביל את התכניות במקצועות המתמטיקה והמדעים, האנגלית ושפות האם.
- אגף א' לפיתוח פדגוגי
- אגף א' תקציב ומינהל
- אגף ספרי לימוד
המזכירות הפדגוגית אחראית על שלושת המגזרים הלא יהודיים: המגזר הערבי, המגזר הדרוזי והצ'רקסי והמגזר הבדואי, וכן שני גופי מטה: המטה לחינוך אזרחי ולחיים משותפים.
בראש המזכירות עומדת יושבת ראש במינוי שר החינוך, ולה שני סגנים במינוי קבוע.
תפקיד יושב ראש המזכירות הפדגוגית הוא לקבוע ולעצב את מדיניות ההוראה, הלמידה וההערכה במערכת החינוך, על פי מדיניות השר המכהן.
החל משנת 2018 מכהנת בתפקיד ד"ר מירי שליסל