Naja, ein "proprietäres Linux" gibt es so erstmal nicht; das ist kein HP-UX, was da auf der Kiste läuft. Was da für ein Bootloader drauf läuft, ist fraglich (neben UBoot gibt es noch viele andere, einschließlich Inhouse-Entwicklungen), manche verraten einem aber recht viel über die Hardware.
Die Reihenfolge beim reverse-engineering wäre z.B. erstmal so:
(a) Root-Zugriff erlangen
(b) ROM dumpen
(c) Hardware zusammensuchen (/proc/cpuinfo, ...)
(d) Datenblätter suchen und möglichst finden
(e) mit /dev/mem und anderen Ideen die Verschaltung rauskriegen
(f) den Bootvorgang analysieren
Erst dann geht man an die Hardware selbst ran, also JTAG-Schnittstelle suchen, finden, ROM dumpen und den Dump mit dem aus (b) gewonnenen vergleichen (bei Unstimmigkeiten diese erst rausfinden). Dann untersucht man, ob eine Verschlüsselung/Signatur existiert; die muss man im Zweifelsfall knacken oder wegignorieren. Wenn man JTAG-Zugang zum Flash (und eine serielle Schnittstelle zum Debuggen) hat, kann man sich dann um einen eigenen Bootloader kümmern (oder den vorhandenen verstehen) und einen eigenen Kernel flashen.
In jedem Fall gehen da mal locker ein paar Mannjahre ins Land. Wieviel davon für den Palm Pre schon in Erfahrung gebracht wurde, weiß ich nicht. Wenn Android drauf laufen kann, dürfte der Bootvorgang einigermaßen verstanden sein.
Gruß,
Svenska