# Maximum de 10000 membres quand on interroge la base de données de Cesium+

**URL:** https://forum.duniter.org/t/maximum-de-10000-membres-quand-on-interroge-la-base-de-donnees-de-cesium/7765
**Category:** CS+
**Created:** [17 November 2020 01:50 UTC](https://forum.duniter.org/t/maximum-de-10000-membres-quand-on-interroge-la-base-de-donnees-de-cesium/7765 "2020-11-17T01:50:55Z")
**Posts on this page:** 6
**Page:** 1

<div class="post-metadata">

### Author: ![hypericum](https://forum.duniter.org/letter_avatar/hypericum/32/5_5575768a8748004e209b776fc1b2916d.png) [@hypericum](https://forum.duniter.org/u/hypericum)
#### Post date: [17 November 2020 01:50 UTC](https://forum.duniter.org/t/maximum-de-10000-membres-quand-on-interroge-la-base-de-donnees-de-cesium/7765/1 "2020-11-17T01:50:55Z")

</div>

Pour pouvoir trouver des membres, avoir une liste de comptes membres ou non, qui peuvent ensuite se trier par critères, j’ai utilisé ce type de lien (bon on m’a un donné ce tuyau et un peu expliqué):  
[https://g1.data.duniter.fr/user/profile/\_search?from=10000&size=100](https://g1.data.duniter.fr/user/profile/_search?from=10000&size=100)

Ici il est volontairement calé à 10000 plus 100, endroit à partir de lequel il ne marche plus.  
Ça dit:

```
error	
root_cause	
0	
type	"query_phase_execution_exception"
reason	"Result window is too large, from + size must be less than or equal to: [10000] but was [10100]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level parameter."
type	"search_phase_execution_exception"
reason	"all shards failed"
phase	"query"
grouped	true
failed_shards	
0	
shard	0
index	"user"
node	"WSYegiRkSz-Jpf1gffKsHw"
reason	
type	"query_phase_execution_exception"
reason	"Result window is too large, from + size must be less than or equal to: [10000] but was [10100]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level parameter."
status	500

```

Du coup comment faut-il faire pour avoir la liste complète des membres sans buter sur cette limite?

---

<div class="post-metadata">

### Author: ![vit](https://forum.duniter.org/user_avatar/forum.duniter.org/vit/32/2775_2.png) [@vit](https://forum.duniter.org/u/vit)
#### Post date: [17 November 2020 08:24 UTC](https://forum.duniter.org/t/maximum-de-10000-membres-quand-on-interroge-la-base-de-donnees-de-cesium/7765/2 "2020-11-17T08:24:33Z")

</div>

Bienvenue @hypericum !

```auto
Result window is too large, from + size must be less than or equal to: [10000] but was [10100]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level parameter."

```

Vous faîtes une requête sur le serveur Elasticsearch de Cesium+. Le message d’erreur vous conseille d’utiliser les fonctions de scrolling :

> **[Scroll API | Elasticsearch Reference \[7.10\] | Elastic](https://www.elastic.co/guide/en/elasticsearch//reference/current/scroll-api.html)**

Ce n’est pas un bug Cesium+ ni Cesium. Il faut juste apprendre l’api Elasticsearch… 😉

---

<div class="post-metadata">

### Author: ![yyy](https://forum.duniter.org/letter_avatar/yyy/32/5_5575768a8748004e209b776fc1b2916d.png) [@yyy](https://forum.duniter.org/u/yyy)
#### Post date: [17 November 2020 12:31 UTC](https://forum.duniter.org/t/maximum-de-10000-membres-quand-on-interroge-la-base-de-donnees-de-cesium/7765/3 "2020-11-17T12:31:16Z")

</div>

Et attention avec cette API, le noeud [g1.data.duniter.fr](http://g1.data.duniter.fr) n’est, par exemple, pas parfaitement synchronisé, certaines entrées/sorties de membres ne sont pas retournées, certains montants sont également incorrectes (exemple : [Croissance (c) éclaircissements?](https://forum.duniter.org/t/croissance-c-eclaircissements/6083/14))

---

<div class="post-metadata">

### Author: ![hypericum](https://forum.duniter.org/letter_avatar/hypericum/32/5_5575768a8748004e209b776fc1b2916d.png) [@hypericum](https://forum.duniter.org/u/hypericum)
#### Post date: [9 December 2020 22:52 UTC](https://forum.duniter.org/t/maximum-de-10000-membres-quand-on-interroge-la-base-de-donnees-de-cesium/7765/4 "2020-12-09T22:52:16Z")

</div>

D’accord, je transmets à la personne qui sait!

Je ne comprends pas tout.

---

<div class="post-metadata">

### Author: ![Robin](https://forum.duniter.org/user_avatar/forum.duniter.org/robin/32/9505_2.png) [@Robin](https://forum.duniter.org/u/Robin)
#### Post date: [3 May 2023 16:39 UTC](https://forum.duniter.org/t/maximum-de-10000-membres-quand-on-interroge-la-base-de-donnees-de-cesium/7765/5 "2023-05-03T16:39:43Z")

</div>

Je cherche à explorer les données de la toile de confiance via Cesium+, je maîtrise pas l’API de elasticsearch.

Quand je requête sur

```auto
localhost:9200/wot/members

```

J’ai un problème similaire à @hypericum

```auto
Result window is too large, from + size must be less than or equal to: [10000] but was [10500]. See the scroll api for a more efficient way to request large data sets. This limit can be set by changing the [index.max_result_window] index level parameter.

```

J’ai essayé de réduire la taille de la fenêtre de recherche :

```auto
http://localhost:9200/wot/members/_search?size=250
http://localhost:9200/wot/members/_search?scroll=1m

```

J’ai systématiquement des erreurs de type 403.  
Si quelqu’un à une piste je suis preneur.

Peut-être qu’il y a d’autres méthodes pour récupérer les données ?

---

<div class="post-metadata">

### Author: ![tuxmain](https://forum.duniter.org/user_avatar/forum.duniter.org/tuxmain/32/6423_2.png) [@tuxmain](https://forum.duniter.org/u/tuxmain)
#### Post date: [3 May 2023 17:13 UTC](https://forum.duniter.org/t/maximum-de-10000-membres-quand-on-interroge-la-base-de-donnees-de-cesium/7765/6 "2023-05-03T17:13:20Z")

</div>

Ici je requête Césium+ avec scrolling&nbsp;: (vers ligne 125)

> **[py/gencache.py · master · Pascal Engélibert / WorldWotMap · GitLab](https://git.duniter.org/tuxmain/worldwotmap/-/blob/master/py/gencache.py#L125)**
>
> Une wotmap Duniter Ğ1 affichant comptes et certifications à leurs positions géographiques avec Cesium+.
