Encodage des documents

@cgeek Vu que l’on est à la version 10 du protocole, je suppose que la version à changé au cours de la vie de Ǧ1, non ? Pour pouvoir vérifier les blocs selon les anciennes règles, il faut du coup que j’implémente les vérifications pour les anciennes versions ?

La première version de la Ǧ1 était déja la 10 :wink: https://g1.duniter.org/blockchain/block/0

Elle a évolué pendant le cycle de vie des monnaies précédentes (meta brouzouf, zeta brouzouf, etc)

Pour la première monnaie de production, on est passé à la version 10.

Du coup je n’ai besoin d’implémenter que la 10.

J’ai fait un module v10, comme ça ça me permettra de pouvoir appliquer les bonnes règles en cas de changement.

1 Like

Oui typiquement pour Duniter 2.0 les documents vont passer en v11 !

Sur la branche feature/documents j’ai l’erreur suivante :

inso at archlinux in ~/code/duniter-rs/protocol (feature/document) 
$ cargo test                     
    Updating registry `https://github.com/rust-lang/crates.io-index`
 Downloading rust-crypto v0.2.36
 Downloading linked-hash-map v0.5.0
 Downloading base64 v0.7.0
 Downloading base58 v0.1.0
 Downloading time v0.1.38
 Downloading libc v0.2.33
 Downloading rand v0.3.18
 Downloading rustc-serialize v0.3.24
 Downloading gcc v0.3.54
 Downloading safemem v0.2.0
 Downloading byteorder v1.1.0
   Compiling linked-hash-map v0.5.0
   Compiling base58 v0.1.0
   Compiling libc v0.2.33
   Compiling rustc-serialize v0.3.24
   Compiling gcc v0.3.54
   Compiling byteorder v1.1.0
   Compiling safemem v0.2.0
   Compiling rand v0.3.18
   Compiling time v0.1.38
   Compiling base64 v0.7.0
   Compiling rust-crypto v0.2.36
   Compiling duniter-rs-protocol v0.0.0 (file:///home/inso/code/duniter-rs/protocol)
error[E0599]: no function or associated item named `from_hex` found for type `blocks::BlockHash` in the current scope
  --> src/blocks.rs:96:9
   |
96 |         BlockHash::from_hex("E3B0C44298FC1C149AFBF4C8996FB92427AE41E4649B934CA495991B7852B855").unwrap();
   |         ^^^^^^^^^^^^^^^^^^^
   |
   = help: items from traits can only be used if the trait is implemented and in scope
   = note: the following trait defines an item `from_hex`, perhaps you need to implement it:
           candidate #1: `rustc_serialize::hex::FromHex`

warning: unused variable: `text`
  --> src/blocks.rs:28:16
   |
28 |     pub fn new(text: &str) -> BlockHash {
   |                ^^^^
   |
   = note: #[warn(unused_variables)] on by default
   = note: to disable this warning, consider using `_text` instead

error: aborting due to previous error

error: Could not compile `duniter-rs-protocol`.
warning: build failed, waiting for other jobs to finish...
error: build failed

Une idée ?

Tu bosses avec quelle toolchain d’ailleurs ? La stable ou la nightly ?

En stable.
C’est normal, mon dernier commit est un work in progress car je devais changer de PC. Tu pourras tester avec le commit précédent normalement.

Bien vu :wink:

inso at archlinux in ~/code/duniter-rs/protocol (7a32fa3...●●) 
$ cargo test
   Compiling duniter-rs-protocol v0.0.0 (file:///home/inso/code/duniter-rs/protocol)
    Finished dev [unoptimized + debuginfo] target(s) in 4.96 secs
     Running target/debug/deps/duniter_rs_protocol-198a2beeb6cfecb0

running 6 tests
test keys::tests::base58_public_key ... ok
test keys::tests::base64_signature ... ok
test keys::tests::base58_private_key ... ok
test documents::v10::members::tests::real_identity_document_signature ... ok
test documents::tests::real_document_signature ... ok
test keys::tests::message_sign_verify ... ok

test result: ok. 6 passed; 0 failed; 0 ignored; 0 measured; 0 filtered out

   Doc-tests duniter-rs-protocol

running 2 tests
test src/documents/mod.rs - documents::GenericDocumentBuilder (line 185) ... ok
test src/keys.rs - keys (line 8) ... ok

test result: ok. 2 passed; 0 failed; 0 ignored; 0 measured; 0 filtered out

La génération de la doc fonctionne bien, c’est super propre, ça donnerait envie de se mettre au Rust !

Tes documents Builder vont aussi avoir la capacité de construire un document à partir de ses attributs ?

2 Likes

C’est à dire ? Quand tu regarde l’utilisation de IdentityDocument, tu dois d’abord le créer avec tous les attributs, puis ajouter la signature (deja connue quand tu reconstitue un document valide; ou créé avec la clé privée). C’est bien ce dont tu me parle ?

1 Like

Effectivement, j’ai lu trop vite. C’est bien ça :slight_smile:

Pourquoi avoir appelé le fichier member.rs ? Il contient la description des documents Identity pourtant ?

Il contiendra aussi les documents de certification et de révocation :slight_smile: C’est pour faire une séparation avec les documents relatifs aux blocs et transactions.

Ca ne risque pas de faire de gros fichiers à la fin ?

Pas forcément. Après chaque fichier correspond à un module, et avec un module composé d’1 ou 2 petites structs est assez redondant. On peut sinon faire plein de petits modules pour séparer les comportements, et dans le module parent réexporter avec un pub use les types. Habituellement c’est utilisé pour exposer les types vraiment importants pour ne pas aller les chercher au fin fond de la hiérarchie.

Dans tous les cas pour 3 ou 4 petites structs ça ne me semble pas nécessaire de les faire dans des fichiers différents, surtout quand elle ont un rapport :slight_smile:

1 Like

J’ai commit une nouvelle version avec le parsing du BlockUID et son utilisation dans IdentityDocument. C’est du coup beaucoup plus propre. Je cherche vraiment à faire des wrappers qui propose directement des objets manipulables, et non les simples String contenus dans le format d’origine.

1 Like

Il va pas y avoir un problème dans le formattage de BlockUID en mode Debug ?

Je découvre Rust, donc mes questions sont des questions de newb :slight_smile:


    /// Convert a `BlockUId` to its text format.
    pub fn to_string(&self) -> String {
        format!("{}", self)
    }

Or, je vois 2 implémentations de format :


impl Display for BlockUId {
    fn fmt(&self, f: &mut Formatter) -> Result<(), Error> {
        write!(f, "{}-{}", self.id, self.hash)
    }
}

impl Debug for BlockUId {
    fn fmt(&self, f: &mut Formatter) -> Result<(), Error> {
        write!(f, "BlockUId ( {} )", self)
    }
}

Tu saurais m’expliquer dans le détail comment tout ça fonctionne / devrait fonctionner ?

Merci :slight_smile:

Dans le protocole actuel les scripts sont stockés sous une forme textuelle. Est-ce les entrées utilisateurs sont normalisées ? C’est à dire :

  • Plusieurs espaces consécutifs sont remplacés par un seul.
  • Les espaces en debut et fin de chaîne sont supprimés (trim)
  • Un espace est obligatoirement présent autour des && et ||

J’aimerais dans mon implémentation stocker en mémoire un AST de ces scripts et les retransformer en texte si besoin est, au lieu de les stocker en texte et de les parser à chaque fois que j’en ai besoin. Or si ces chaînes ne sont pas normalisées, je ne peux pas régénérer la chaîne originale à partir de l’AST si cette première contenait des espaces en plus (ou autres détails que j’aurais oubliés).

Ca ne me dérange pas trop de les stocker en texte, mais il serait plus pratique de les stocker en AST pour pouvoir faire des traitement dessus rapidement, et les convertir en texte uniquement à la fin.

(Cette question est aussi valable avec les inputs qui sont constitués d’une liste d’éléments débloquants)

Les entrées des utilisateurs sont signées par eux, donc il n’y a rien de modifiable, si ça peut répondre à ta question.

Des champs non normalisés pourraient être considérés invalides.

Je vais le stocker en texte du coup, mais c’est vraiment pas pratique :stuck_out_tongue:

J’avais dis au dessus que j’allais faire des type de document mémoire qui peuvent être transformés en texte, mais je ne pense pas le faire vu que le nouveau protocole (RFC2) change vraiment les contraintes et les formats des différentes données, du coup ce n’est pas directement compatible. Il y aura dans la partie gestion de la blockchain un code qui permettra de faire la transition de l’un à l’autre au moment du hardfork et la vérification de la blockchain (avec le protocole actuel puis le nouveau).

EDIT : En fait ce n’est pas un problème de les stocker en texte, je réfléchissais du côté de mon builder mais celui-ci permet de créer de nouveaux documents, donc ce n’est pas un problème. Par contre pour vérifier d’anciens documents au format texte brut il faut que j’implémente un parseur capable de retourner une HashMap tout en gérant correctement les champs multilignes. Une idée de comment déterminer si une nouvelle ligne est une nouvelle ligne d’un champ ou un nouveau champ ? Je pensais le détecter avec le pattern KEY:VALUE mais certains champ multi-lignes ont des valeurs du style A:B:C:D … Je voudrais faire un parseur générique à tous documents. Une solution est d’enregistrer dans le parseur le nom des champs pour qu’il soit capable de les récupérer sans faire d’erreur avec les multilignes, mais ça me semble un peu sale et surtout demande trop de setup à l’utilisation, ce que je voudrais éviter :slight_smile:

T’es allé voir côté api python comment les documents étaient structurés ?

Je sais comment sont structurés les documents, là je parle du parsing. Dans ce code python il est fait à la main pour chaque document en utilisant des expressions rationnelles pour extraire directement les données.

Pour ma part je voudrais dans un premier temps transformer le document texte en une HashMap pour avoir mon Document (voir ici), puis ensuite dans le type de document spécifique parser quand j’ai besoin d’un champ (comme fait pour des champs simples ici et ). Par exemple je parse les issuers d’une transaction comme ceci. Je voudrais donc avoir le champ multi-ligne stocké dans ma HashMap.

Il me faut donc trouver une méthode générique pour parser n’importe quel document. Une première solution et de passer à ce parser la liste des clés dans un tableau (['Issuers', 'Outputs', 'Unlocks', ...]) pour détecter facilement les champs multilignes (qui ne commenceraient donc pas par ces mots clés). Cependant c’est un peu bancal et demande de passer une liste de champs à l’appel, ce qui pourrait poser problème si je veux ajouter une détection automatique du type de document en une seule passe. Je cherche donc une méthode pour différencier une nouvelle ligne d’une clée ou d’un champ multi-ligne.

Je suis peut-être hors sujet, mais autant passer l’info, au cas où. Les transactions sur le réseau stellar sont sérialisées au format xdr https://en.wikipedia.org/wiki/External_Data_Representation

Je trouve que c’est assez pratique, on peut stocker la transaction signée sous forme d’une chaîne texte en base 64, et la “poster” sur le réseau.

J’ai créé un paiement sur le réseau de test pour exemple :

lien vers une transaction signée, “prêt à poster” sur le réseau stellar