GDev Runtime 700

Les quatre tickets ci-dessus ayant été traités, a priori nous sommes prêts pour relancer la ĞDev.

Je vous invite à relire les fichiers qui paramètrent la monnaie :

Pour le comité technique et les smiths, nous avons actuellement @Pini @Moul @HugoTrentesaux @tuxmain @1000i100 @vit et @cgeek, est-ce bon pour vous ?

A priori pour le démarrage je me propose de me lancer en solo parmi les autorités online, donc seulement mes sessions_keys de renseignées dans le fichier gdev.json puis vous me rejoignez au fur et à mesure.

Il faut aussi décider de la sudo_key, pour l’instant j’ai laissé celle par défaut.

4 Likes

Il me semble que first_ud et first_ud_reeval sont des timestamps. Dans ce cas les valeurs actuelles sont invalides, donc il faut soit choisir des timestamps une fois que tu sais quand tu vas la lancer, soit laisser None pour les définir à une période après le lancement.

Ça aiderait d’ajouter des commentaires avec les unités (seconde, bloc, session) parce que là c’est dur à lire (les commentaires sont dans le code Rust mais comme il y a 15 structs différentes pour les configs c’est long à retrouver).

2 Likes

Je prépare une branche pour changer ces fichiers vers le format YAML, et je vais commenter les valeurs.

3 Likes
  • ok pour les fichiers gdev, sauf pour first_ud qui est en timestamp comme dit tuxmain
  • je me rends compte qu’il n’y a pas de “block number” dans le fichier g1-data, ce sera pratique d’avoir le bloc v1 précis auquel les données ont été extraites
  • ok pour le comité technique
  • ok pour que tu lances en solo et qu’on rejoigne après en publiant no session keys avant
  • la sudo key, ce sera pratique que ce soit une clé qu’on se partage entre nous, mais on pourra la changer avec le comité technique si besoin
  • bonne idée de passer en yaml pour avoir des commentaires dedans !
4 Likes

J’ai initié la MR!195. Il y a déjà la conversion YAML et quelques commentaires.

Comme je ne vais pas avoir le temps d’y toucher avant ce soir, je vous invite à y contribuer directement si vous souhaitez faire avancer le sujet.

Vous pouvez tester avec :

cargo run -- build-spec --chain=gdev_live --raw > gdev-raw.json

L’avantage de cette commande est qu’elle affiche des logs d’informations sur le paramétrage, notamment en convertissant les valeurs en jours pour bien se rendre compte de ce que l’on fait :

2023-11-17 22:51:55 currency parameters:
        - existential deposit: 1 ĞD
        - currency decimals: 2
        - membership validity: 73 days
        - certification period: 24 hours
        - certification validity duration: 146 days
        - smith membership validity: 73 days
        - smith certification validity: 146 days
        - required certifications: 3
        - smith required certifications: 3
        - max certifications by issuer: 100
        - money growth rate: 4.88% every 24 hours
        - UD creation period: 4 hours
        - distance percent of required referees: 80%
        - distance max depth: 5
5 Likes

La ĞDev est relancée

Le bootnode par défaut est mon nœud gdev.cgeek.fr.

Les données Ğ1 sont celles d’aujourd’hui 08h15 environ.


Le build ARM64 ne semble pas être passé, je relance.

Je n’ai pas pu tester l’image Docker AMD64, je vous laisse ce soin car je n’ai déjà plus de temps pour aujourd’hui (cc @Pini si tu passes par là pour vérifier).

Édit : les images Docker ne sont pas fonctionnelles, nous allons les reconstruire.

Edit 2 : c’est bon ! les images AMD64 et ARM64 fonctionnent toutes les deux, j’ai pu tester :

docker run --rm -it -e DUNITER_CHAIN_NAME=gdev duniter/duniter-v2s-gdev
[...]
2023-11-19 16:22:01 ***** Duniter has fully started *****    
2023-11-19 16:22:06 ✨ Imported #3420 (0x930b…f085)    
2023-11-19 16:22:06 💤 Idle (2 peers), best: #3420 (0x930b…f085), finalized #3417 (0x810b…2370), ⬇ 231.5kiB/s ⬆ 4.2kiB/s    
2023-11-19 16:22:11 💤 Idle (2 peers), best: #3420 (0x930b…f085), finalized #3418 (0x3674…5b89), ⬇ 1.1kiB/s ⬆ 0.7kiB/s    
2023-11-19 16:22:12 ✨ Imported #3421 (0xfa18…82d8)

Bon, pour l’instant je suis tout seul, je vous attend :slight_smile:

6 Likes

Ne faut-il pas spécifier ton bootnode à cette ligne pour qu’on puisse se connecter à ton client ?

Je n’ai peut-être pas configuré correctement mon instance, voici ce que j’ai :

2023-11-19 17:23:19 💤 Idle (0 peers), best: #64 (0x21cd…21ec), finalized #0 (0xc234…a857), ⬇ 0 ⬆ 0    
2023-11-19 17:23:19 ❌ Error while dialing /dns/telemetry.polkadot.io/tcp/443/x-parity-wss/%2Fsubmit%2F: Custom { kind: Other, error: Timeout }  

De fait, je ne suis également pas visible dans la télémétrie. J’arrête l’instance pour l’instant.

C’est déjà le cas, sur la branche release/runtime-700.

Aussi, si tu réutilises une ancienne instance, il faut que tu supprimes les anciennes données auparavant. Par exemple avec :

docker run --rm -it --entrypoint duniter duniter/duniter-v2s-gdev purge-chain --chain=gdev -d /var/lib/duniter

Quant à la télémétrie, d’abord il faut t’assurer de voir des logs avec un n° de bloc supérieur à 4,000 (désormais, vu que la chaîne avance). Ensuite, et seulement ensuite, se montrer patient car la télémétrie affiche facilement le message :

❌ Error while dialing /dns/telemetry.polkadot.io/tcp/443/x-parity-wss/%2Fsubmit%2F: Custom { kind: Other, error: Timeout } 

Qui signifie simplement que le service de télémétrie est surchargé. Mais ça finit par se décanter.

1 Like

Hop !

2 Likes

Yeah ! :heart_eyes: et tu es bien sur le client 0.7.0, il faut que je le fasse aussi prochainement, j’ai démarré la GDev à partir d’un build Docker local.

Comment as-tu compilé pour ARM ?

Les scripts compilent pour armv7 et non aarch64 or une dépendance ne compile pas pour armv7.

D’ailleurs la toolchain n’est pas à jour dans docker/cross-arm.Dockerfile, je ne sais pas si c’est voulu.

J’ai réussi à compiler en musl sans Docker pour aarch64. (musl = exécutable statique portable) (téléchargeable ici)

Je vais faire un script dockerless.

Edit: par contre quand j’essaie de lancer le nœud j’ai un out of memory alors que j’ai plus de 4Go libre.

1 Like

La compilation pour arm64 ( ou armv8 ou aarch64) se fait via le Dockerfile.

1 Like

Super ! Il va y avoir pas mal de travail pour bien profiter de ce réseau, on pourra en discuter ce soir. Je vois que tu as publié les specs au format raw, mais il me manque les specs au format json pour démarrer l’indexeur.

Est-ce que tu aurais le bloc précis ? Ce serait intéressant comme info si jamais on doit debugger la migration. Et est-ce qu’il y avait des messages de warnings comme des certifications expirées ? Ce serait bien d’avoir le fichier g1-data.json aussi ^^

[edit] le g1-data pourrait être également publié ici : https://dl.cgeek.fr/public/backup-g1-duniter-1.8.7.tgz

1 Like

Re-Hop !!



1 Like

10 posts were split to a new topic: Différence réseau entre podman et podman-compose: runtime-700

J’ai ajouté 8Go de swap et toujours OOM. Idem en retirant toutes les options optionnelles.

$ duniter --chain gdev700.json
2023-11-20 11:51:15 Duniter    
2023-11-20 11:51:15 ✌️  version 0.7.0-c4773062fb5    
2023-11-20 11:51:15 ❤️  by Axiom-Team Developers <https://axiom-team.fr>, 2021-2023    
2023-11-20 11:51:15 📋 Chain specification: ĞDev    
2023-11-20 11:51:15 🏷  Node name: tuxmain-polux-smith-gdev    
2023-11-20 11:51:15 👤 Role: AUTHORITY    
2023-11-20 11:51:15 💾 Database: ParityDb at /home/pi/.local/share/duniter/chains/gdev/paritydb/full    
2023-11-20 11:51:15 ⛓  Native runtime: gdev-700 (duniter-gdev-1.tx1.au1)    
Error: Service(Client(Backend("IO Error: Out of memory (os error 12)")))

Il y a plusieurs issues sur Polkadot/Substrate à propos d’OOM ou de fuites mémoires mais seulement dans certaines phases de consensus, et jamais avec ce message. J’essaie de trouver d’où ça vient mais il faudrait arriver à installer valgrind ou lldb en arm64 (les dépôts raspbian bullseye sont uniquement en armv7).

Edit: C’est dans sc_service::new_full_parts, à cause du backend db. D’ailleurs ne comprends pas pourquoi les builds armv7 marchent puisque parity-db ne supporte que x86-64 et aarch64.

Edit: Finalement ça marche après suppression de l’ancienne db. C’est tout de même un bug de parity-db.

Il y a un problème chez moi avec la commande pour purger la chaîne :

Dans le container, /var/lib/duniter pointe sur mon dossier de données contenant chains/gdev/paritydb/full et pas .local/share/duniter/chains/gdev/paritydb/full

docker exec -ti home_duniter_validator.1.nalo348fqf89gavs2joq40c48 duniter purge-chain --chain=gdev
Are you sure to remove "/var/lib/duniter/.local/share/duniter/chains/gdev/paritydb/full"? [y/N]: y
"/var/lib/duniter/.local/share/duniter/chains/gdev/paritydb/full" did not exist.

Dans telemetry, je ne vois que mes deux nœuds en 0.7.0. Et seul le validator avance sur une nouvelle chaîne de blocs, le RPC reste sur l’ancienne…

Le fichier a bien été produit mais j’ai oublié de l’ajouter aux assets de la release. C’est corrigé dans le code et corrigé dans la release.

Oui, les tables LevelDB du dump indiquent : #657075.

Tout le détail se trouve dans les logs de ce job.

Il est dans les fichiers de la release, ça fait partie des livrables :slight_smile:

image

Je préfère qu’il soit dans la release plutôt que les fichiers d’input, puisque précisément ce n’est pas un fichier d’entrée mais un fichier intermédiaire généré par la CI dans son processus de création de la release.

Tu as raison, je vais éditer mon post plus haut, il faut lancer avec l’option -d /var/lib/duniter :

purge-chain --chain=gdev -d /var/lib/duniter
3 Likes

Je ne comprends pas tout à fait comment fonctionne la CI, mais a priori on ne publie les specs qu’une fois (au démarrage d’un réseau) alors qu’on peut faire des publications de runtime régulièrement (pour mettre à jour le réseau). Est-ce que comme tu l’as fait ces fichiers seront ajoutés à chaque release de runtime ou uniquement au démarrage d’un nouveau réseau ?

Chouette, facile, à retenir en plus ><

  • 12 certifications expirées (normal en 30 minutes)
  • 5319 adhésions expirées, pas la peine de les afficher toutes, uniquement les adhésions qui n’étaient pas expirées au bloc de l’export
  • actual monetary_mass (8,457,743,556) and initial_monetary_mass (8,457,771,775) do not match soit 28219 de différence, ~ ok pour 282 Ğ1

Comme pour l’instant nous sommes susceptibles de redémarrer régulièrement le réseau, la CI builde tous les fichiers à chaque release. Ensuite libre à nous ensuite de mettre à jour les raw-specs dans le code (étape 3) puis de relivrer une image Docker du Client (étape 4, voir le détail des étapes).

Mais effectivement à terme, la plupart des fichiers ne seront plus à livrer.