Je remets le nez dans les datapods

Nodes Datapods
1

Je remets le nez dans mes datapods pour lisser un peu les fonctionnalités rugueuses, notamment l’import de nouvelles données Cesium+ et voir si la synchro marche toujours comme prévu.

  1. Je lance le script d’import des données :
# importe depuis https://g1.data.e-is.pro
pnpm exec tsx ./src/scripts/cesium-plus-import.ts
  • 56900 profils téléchargés soit 2.2 Go
  • 56898 profils corrects (je n’ai pas compris quels étaient les deux qui plantaient)
  • 51920 documents initialement sur les datapods, 55281 après l’import (visiblement j’en ai perdu en route, je m’attendais à un peu plus que 56898)
  1. Je lance mon datapod local en utilisant les données importées :
# démarre le datapod local avec les données précédemment importées
pnpm start /ipfs/bafyreia4krh34z5xp7xsfg7hfxgzrqgv2bg565e2c4pjj62gckfcme62ga
  1. Je constate bien la synchronisation du noeud gyroi.de
$ docker compose logs -f datapod
[...]
datapod-1  | 🔄 syncing from peer /ipns/k51qzi5uqu5dip97g90ww9dxql8jc7t7sd0qi1fxx8g0rfr56vbt41tk17xnoe
datapod-1  | 👐 computing diff from bafyreicaa7u73lsvnz5nkfqx4zstvu6npyztsgvekbvkvmztdrjgrm4sly to bafyreidnic3rndabkgdc6blwlgopsfn7yms5rg6xw4tzlrtm54lbl3r734
datapod-1  | ➕ indexing 60 items to the db
datapod-1  | ➕ indexing 11 items to the db
datapod-1  | ➕ indexing 250 items to the db
datapod-1  | ➕ indexing 439 items to the db

Donc malgré les problèmes que j’ai avec IPNS, ça fonctionne quand même.

  1. Dans Duniter Panel, je constate bien la mise à jour d’un profil récent :

image
image1100×920 180 KB

Cette donnée a bien été importée dans le réseau datapod via mon noeud local et indexée par mon noeud distant.

Conclusion : c’est pas parfait, mais c’est pas si pire, ça fonctionne toujours même quand je remets le nez dedans longtemps après :joy:

[edit]

En fait, c’est bon, dans les 56898 il y a des doublons, ça fait 54399 après déduplication, et je me retrouve avec 55553 en comptant les demandes d’indexation faites hors Cesium plus.

4 Likes
2

Est-ce que tu filtres les profiles associés à des comptes avec moins de 2 G1 comme le faisait ce script ?

Il faudra que j’ose réinstaller IPFS sur mon infra un jour pour retester ça.

Si tu peux rappeler/préciser comment publier des données sans IPFS aussi.
Un post avec/sans ipfs serait cool :slight_smile:

1 Like
3

Non, je n’ai pas réalisé de filtre pour l’instant, j’ai pris tout ce qui était sur les pods Cesium+. Mais je compte faire du ménage un de ces jours notamment en utilisant ce genre d’info comme les Ğ1.

Faut que je voie comment calmer un peu IPFS au démarrage et que j’aie plus de métriques sur ce qui se passe sur ton réseau pour mieux comprendre le problème.

Ok, je ferai un post pour rappeler comment faire, c’est sur API RPC IPFS publique pour l’instant. Mais j’ai deux trois trucs à nettoyer avant (certains tickets).

2 Likes