Uhm, nein, wird nicht. Es läuft der X-Server (im Regelfall xorg), der die komplette Verwaltung Grafik raus Eingabe rein übernimmt. Ob/Wie dann weitere Sachen geladen werden, hängt von anderen Stellen ab. Typische Initskripte starten z.b. einen X Display Manager (xdm, gdm, kdm), der stellt dir dann die Loginmaske zur Verfügung (und startet bei erfolgreichem Login dann die Startskripte für diverse Desktopumgebungen).
Grafikmodi setzen, machst du (im Regelfall) via X-Server. Wobei man da beachten muss, das das am besten beim Start funktioniert, im laufenden Betrieb Auflösung wechseln kann (je nach Treiber, Weiteren Einstellungen wie z.b. nem zweiten Monitor) garnicht via X machbar sein, sondern muss z.b. über Setupdialoge der Treiberhersteller gemacht werden (z.b. bei nVidia-Karten mit nvidia-treiber, bei twinview/Mehr-Monitor-Setup).
Ausnahme: Man kann ohne den X-Server arbeiten. Die zwei Variante die mir da einfallen wäre DirectFB (
http://www.directfb.org/), oder direkter Zugriff auf KMS (Kernel Mode Setting, da sind Teile der Grafiktreiber, nämlich eben das Setzen des Modus, in den Kernel ausgelagert). DirectFB kommt (afaik) ohne Hardwarebeschleunigung, KMS erfordert vollständige Grafiktreiber. Also beides nicht unbedingt _die_ Optionen.
Für nen Einstieg in Programmierung direkt am X-Server siehe z.b.
http://www.pronix.de/pronix-28.html . Aber ganz ehrlich, im Regelfall willst du das nicht. Für Spiele / Alles was ernsthaft schnelle Grafik benötigt, solltest du normal zu OpenGL greifen, als Schicht zum Initialisieren bietet sich SDL an. Für normale Anwendungen das Framework der Präferenz - gtk (Gnome) oder Qt (KDE).