Thema: Nightly Builds

[LittleFox]

Wollt ihr wieder nightlys haben? Mein Server dreht immernoch Däumchen^^

[kevin]

Ich glaube, da hätte niemand was dagegen, wenn du Nightlies bauen und zur Verfügung stellen willst. Sag Bescheid, wenn du Unterstützung brauchst, aber eigentlich sollte es ja offensichtlich sein, was man tun muss.

[LittleFox]

OK, dann werde ich das mal in Angriff nehmen^^
Ich melde mich wenn es läuft

Na, doch noch nicht ganz IPv6 tauglich?
git.tyndur.org[0: 2001:470:1f0b:dbe::10]: errno=Connection timed out
Der scheint das über IPv4 gemacht zu haben

[LittleFox]

Natürlich gibt es doch Probleme ...
Ich kann keine Images bauen weil der vServer keine Loop-Devices hat
Gibt es da evt. einen anderen Weg?

[kevin]

Eventuell kann man was mit debugfs basteln, aber das könnte etwas unschön werden...

[LittleFox]

Kannst du mir da noch einen Tipp mehr geben?
Ansonsten kann ich versuchen auf meinem Raspberry bauen zu lassen - dann ist eine Version aber wahrscheinlich erst nach einer Stunde fertig^^

Btw.: kannst du das evt. in einen neuen Thread verschieben? Passt hier ja eig. nicht so gut rein ...

[LittleFox]

Ich glaub ich werde einfach mal schnell ein Programm zusammenhacken um ein FAT Dateisystem wie eine tar Datei anzusprechen^^
FAT ist ja simpel und würde für diesen Zweck ja ausreichen

[kevin]

Normales FAT ohne lange Dateinamen dürfte nicht ausreichen. Mal ganz abgesehen davon, dass der tyndur-FAT-Treiber wesentlich instabiler als der ext2-Treiber ist.

[LittleFox]

wenn das so ist werce ich mich morgen - pardon, nachher etwas mit debugfs beschäftigen^^
oder einen x86 cross compiler für arm suchen

[Svenska]

Es gibt sowas wie die mtools auch für ext2, heißt dann e2tools. Damit kannst du direkt auf den Image-Dateien arbeiten.

Gruß,
Svenska

[LittleFox]

Nightlies gibts jetzt hier:
http://build.lf-net.org/tyndur/

Ich hab das lpt-Repository in setup reingepatcht, kann also einfach ausgewählt werden. Werde auch noch weitere lbuilds bauen und da veröffentlichen

[LittleFox]

Ich verwende mal das Thema hier wieder, passt ja.

Nightly-Builds werden jetzt über meine Jenkins-Instanz erzeugt:
https://praios.lf-net.org/jenkins/job/T%C3%BDndur/

Ich werde auch versuchen dort noch lpt mit rein zu nehmen, kann aber noch nicht sagen wann ich das mache ... ^^
Das ist aktuell vanilla-Code ohne irgendwelche Patches oder so.

[kevin]

Sehr cool. Jetzt müssen wir nur noch schauen, dass sich der Code auch ab und zu ändert.

In Bezug auf lpt sollten wir uns bei Gelegenheit übrigens mal was einfallen lassen, wie wir automatisch Pakete auf Images vorinstallieren können.

[LittleFox]

Am coolsten wäre ja die lpt-Pakete alle als eigene Jobs im Jenkins einzutragen, dann werden die getrennt als OK/FAIL angezeigt und können einzeln aktualisiert werden.
Dafür wäre es am coolsten wenn jedes ein eigenes Git-Repo hätte ... Kann man ja per Submodul in das große Repo mit einbinden.

Dann noch ein Script um das automatisch in ein lpt-Repo zu pushen und das Repo im Image mit drin wäre schonmal ne richtige Distri^^
Und zum Schluss noch eine Standardauswahl an Paketen als Config-Datei mit ins Týndur-Repo und beim Image bauen die lpt-Pakete in das rootfs rein entpacken

Zum Schluss noch automatisch bauen wenn jemand pusht und fertig ist das coole automagische Buildsystem

*träumt vor sich hin

Btw.: möchte jemand einen Jenkins-Zugang für Týndur? Würde für Vertrauenswürdige Personen einen einrichten.

[kevin]

Am coolsten wäre ja die lpt-Pakete alle als eigene Jobs im Jenkins einzutragen, dann werden die getrennt als OK/FAIL angezeigt und können einzeln aktualisiert werden.
Dafür wäre es am coolsten wenn jedes ein eigenes Git-Repo hätte ... Kann man ja per Submodul in das große Repo mit einbinden.

Hm, braucht es das? Kann man nicht mehrere Jobs pro Repository definieren?

Dann noch ein Script um das automatisch in ein lpt-Repo zu pushen und das Repo im Image mit drin wäre schonmal ne richtige Distri^^

Dieser Teil sollte eigentlich kein großer Aufwand sein. Lokal bei mir habe ich ja auch schon ein Skript, das lpt-Pakete einsammelt, ins lpt-Repo und eine packages.i386 erstellt. Mein Skript nimmt allerdings nur den Dateinamen auseinander und hat keine Paketbeschreibungen und so. Das sollte man richtig machen und die Paketinformationen aus dem Tarball nehmen. Aber das ist alles kein Hexenwerk.

Und zum Schluss noch eine Standardauswahl an Paketen als Config-Datei mit ins Týndur-Repo und beim Image bauen die lpt-Pakete in das rootfs rein entpacken

Dieser Teil ist ein bisschen tricky weil die Pakete Postinstall-Skripte haben, die natürlich unter tyndur laufen müssen und nicht unter dem Hostsystem. Das heißt, da müsste man einen qemu starten mit einem vollständig automatisiert laufenden tyndur, das die Skripte abarbeitet und dann herunterfährt.

Zum Schluss noch automatisch bauen wenn jemand pusht und fertig ist das coole automagische Buildsystem

Was brauchst du für sowas? Die entsprechenden git-Hooks gibt es ja, wenn ich da irgendeinen HTTP-Request abschicken muss oder so, ist das machbar.

[LittleFox]

Am coolsten wäre ja die lpt-Pakete alle als eigene Jobs im Jenkins einzutragen, dann werden die getrennt als OK/FAIL angezeigt und können einzeln aktualisiert werden.
Dafür wäre es am coolsten wenn jedes ein eigenes Git-Repo hätte ... Kann man ja per Submodul in das große Repo mit einbinden.

Hm, braucht es das? Kann man nicht mehrere Jobs pro Repository definieren?

klar geht das, aber ich sag halt pro Job ein Repository und jeder Job wird in seinem eigenen Workspace ausgeführt. Schritt 1 ist halt git clone/pull. Mir erscheint es etwas bloated für jedes kleine Programm das komplette lpt-Repo zu haben^^

Dann noch ein Script um das automatisch in ein lpt-Repo zu pushen und das Repo im Image mit drin wäre schonmal ne richtige Distri^^

Dieser Teil sollte eigentlich kein großer Aufwand sein. Lokal bei mir habe ich ja auch schon ein Skript, das lpt-Pakete einsammelt, ins lpt-Repo und eine packages.i386 erstellt. Mein Skript nimmt allerdings nur den Dateinamen auseinander und hat keine Paketbeschreibungen und so. Das sollte man richtig machen und die Paketinformationen aus dem Tarball nehmen. Aber das ist alles kein Hexenwerk.

cool

Und zum Schluss noch eine Standardauswahl an Paketen als Config-Datei mit ins Týndur-Repo und beim Image bauen die lpt-Pakete in das rootfs rein entpacken

Dieser Teil ist ein bisschen tricky weil die Pakete Postinstall-Skripte haben, die natürlich unter tyndur laufen müssen und nicht unter dem Hostsystem. Das heißt, da müsste man einen qemu starten mit einem vollständig automatisiert laufenden tyndur, das die Skripte abarbeitet und dann herunterfährt.

Zum Schluss noch automatisch bauen wenn jemand pusht und fertig ist das coole automagische Buildsystem

Was brauchst du für sowas? Die entsprechenden git-Hooks gibt es ja, wenn ich da irgendeinen HTTP-Request abschicken muss oder so, ist das machbar.

Ja, einfach die Adresse https://praios.lf-net.org/jenkins/job/T%C3%BDndur/build POSTen^^
Dann wird automagisch gebaut

EDIT: upps, zwei Zitate zusammengeworfen ...
Nen Tyndur-Qemu kann ich starten, Jenkins kann den KVM-Host unter Praios steuern (und tut das z.B. für Ingerimm)

[kevin]

klar geht das, aber ich sag halt pro Job ein Repository und jeder Job wird in seinem eigenen Workspace ausgeführt. Schritt 1 ist halt git clone/pull. Mir erscheint es etwas bloated für jedes kleine Programm das komplette lpt-Repo zu haben^^

Naja, die Größe des lpt-Repos ist echt überschaubar, da sind ja nur ein paar Skripte und Patches drin:

Code: [Auswählen]

$ du -sh lbuilds/
2,6M    lbuilds/
Was du aber auf jeden Fall haben willst ist ein persdistenter lokaler Cache von den Tarballs, die lbuilds runterlädt. Also vermutlich distfiles/ als Symlink auf ein gemeinsames Verzeichnis außerhalb des temporären Testverzeichnisses. (Ich gehe jedenfalls davon aus, dass jeder Build in einem sauberen Verzeichnis gestartet wird?)

Ja, einfach die Adresse https://praios.lf-net.org/jenkins/job/T%C3%BDndur/build POSTen^^
Dann wird automagisch gebaut

Kann ich heute abend mal versuchen, wenn ich ein paar freie Minuten habe.

Nen Tyndur-Qemu kann ich starten, Jenkins kann den KVM-Host unter Praios steuern (und tut das z.B. für Ingerimm)

Ok, dann könnte das klappen. Dürfte trotzdem noch ein bisschen Gebastel geben bis das dann tut, aber du willst ja auch noch ein bisschen was zu tun haben.

[LittleFox]

klar geht das, aber ich sag halt pro Job ein Repository und jeder Job wird in seinem eigenen Workspace ausgeführt. Schritt 1 ist halt git clone/pull. Mir erscheint es etwas bloated für jedes kleine Programm das komplette lpt-Repo zu haben^^

Naja, die Größe des lpt-Repos ist echt überschaubar, da sind ja nur ein paar Skripte und Patches drin:

Code: [Auswählen]

$ du -sh lbuilds/
2,6M    lbuilds/
Was du aber auf jeden Fall haben willst ist ein persdistenter lokaler Cache von den Tarballs, die lbuilds runterlädt. Also vermutlich distfiles/ als Symlink auf ein gemeinsames Verzeichnis außerhalb des temporären Testverzeichnisses. (Ich gehe jedenfalls davon aus, dass jeder Build in einem sauberen Verzeichnis gestartet wird?)

Stimmt, das ist echt überschaubar. distfiles symlinken klingt ok, besser wäre den distfiles-Ordner per Umgebungsvariable ändern zu können, dann kann ich das komplett in Jenkins machen - sonst brauch ich noch mehr Scripte im Jenkins
Ich kann saubere Builds machen, würde mir das für nightlies aber gerne sparen
Kann auch noch ein Release-Target machen, das nur bei Tags gebaut wird - und das dann sauber^^

Ja, einfach die Adresse https://praios.lf-net.org/jenkins/job/T%C3%BDndur/build POSTen^^
Dann wird automagisch gebaut

Kann ich heute abend mal versuchen, wenn ich ein paar freie Minuten habe.

Cool - kannst ja sehen ob es klappt wenn mal nicht Mitternacht gebaut wurde und ich  das nicht ausgelöst hab, sollte beides für nicht-eingeloggte sichtbar sein^^

Nen Tyndur-Qemu kann ich starten, Jenkins kann den KVM-Host unter Praios steuern (und tut das z.B. für Ingerimm)

Ok, dann könnte das klappen. Dürfte trotzdem noch ein bisschen Gebastel geben bis das dann tut, aber du willst ja auch noch ein bisschen was zu tun haben.

joar, wird gebastel - aber so kann ich helfen. Auch wenn ich genug andere Projekte habe, _eingerichtet_ hab ich das Jenkins ja nicht für Týndur

[BruceMP]

Hi alle,

baut hier von euch jemand regelmaessig eigene aktuelle Builds ??

Gruesse aus dem Ruhrgebiet,
Jens