Der Assembler macht damit gar nichts, sondern nimmt es einfach so, wie es da im Code steht (und somit, wie es im Editor gespeichert wurde). Solange man sich auf ASCII (also 7 Bit) beschränkt, dürfte es sowieso keine Probleme geben, aber da sind dummerweise keine Umlaute enthalten.
Ich bin mir nicht sicher, ob standardmäßig ein Zeichensatz benutzt wird, in dem es Umlaute gibt, da müßtest du einfach mal alle Zeichen ausgeben lassen und durchschauen. Wenn ja, Glückwunsch, du mußt einfach den entsprechenden Wert nehmen.
Wenn es dort keinen Umlaut gibt, dürfte dein Problem im wesentlichen darin bestehen, der Grafikkarte Bitmaps für einen anderen Zeichensatz unterzujubeln. Wie man das genau macht, überlasse ich dann aber wieder dir, denn das weiß ich momentan selbst auch nicht.