Du solltest einen bestehenden Kernel nehmen. Es sei denn du bist so gut, dass du nicht nur einen Kernel, sondern auch die nötigen Tools, um ein X11 (Anforderung von Qt) zum Laufen zu bringen, coden kannst.
Besser ist ein komplettes System. Such dir einfach eine schlanke Linux- (oder *BSD-)Distro aus.