groupe de jurys?
constitution des jurys
Page : 1
Pseudo Messages
Page : 1
Rockeur - Publié le 26/04/2011 à 16:03:12


Pomme de terre
1875 messages
alors, en général, y'a des jury plus ou moins sévère
Y'a deux ou trois ans, y'avait un groupe de jury particulièrement sévère comparé aux autres, c'était pas équilibré.

Il est vrai que "des groupes de jury" c'est trobien, ça fait trostylé mais c'est pas top et en gros ce que je propose pour espérer la plus grosse égalité des chance, c'est qu'il n'y ait pas de groupe de jury, et que chaque jury ait sa liste de jeu...
en gros les jeux ne seraient plus regroupés en fonction de groupe de jury, mais en fonction des jury: ça prend un peu plus de temps, et il me semble que ça a été fait l'année dernière, ou des mails ont été envoyés aux jury personnellement...

D'ailleurs, cette méthode permet de ne pas avoir besoin d'attendre qu'un bon nombre de jeu arrivent pour commencer à répartir et ça donne des résultats en général plus équitable, bien que ça reste difficile, à ce niveau y'aura toujours de la malchance.

Façon de rédiger les tests:

En gros, pour les pré tests (pour vérifier si c'est pas une grosse blague et pour voir quels jurés peuvent continuer tout ça), ok avec le règlement, un court test..
Mais j'aimerais éviter les notes à ce niveau, juste "valable" ou "pas valable" quoi (pour continuer l'aventure): c'est une pré qualification et je trouve bête qu'il y ait des 3/5 , 4/5 car si on commence déjà à savoir qui va remporter le concours à partir de ces notes, c'est un peu mauvais, et ça influence par la suite je trouve (mfin après on peut noter, y'a rien de grave, mais je prône ne pas noter quand on peux éviter :x)


Pour les tests:

- le jury devra tester le jeu sur tout les critères sauf les critères tertiaires que l'auteur ne veux pas être évalué (mais on peux le faire si on veut, mais sans note)

- il y aura une fiche détaillant en quoi consiste les award pour savoir c'est quoi qu'il faut évaluer à peu prêt (car les noms des awards peuvent paraitre ambigus).

- vous pourrez commenter si vous le souhaitez les réponses donnés aux questions subsidiaire sur la fiche à rendre avec le jeu

chaque jury après fait à sa sauce et a sa façon d'évaluer... il est préférable quand même de dire pourquoi telle note a été donnée... bref je pense que je n'apprend rien


Si ce sont des groupes de jury, pour respecter la tradition, après tout c'est rigoulo mais faut faire très gaffe à la constitution des jurys :/ , on aura beau dire, le niveau de sévérité d'un groupe à l'autre varie bcp.. après niveau organisation c'est mieux.. mais pour la fiabilité c'est discutable :/

Voilà ce ne sont que des propositions, c'est pas une question que j'ai étudié à fond la caisse non plus (ce que je propose c'est un peu tiré de mes cours de sociologie, je ne me suis pas trop fait chier :p ) donc proposez..
Edité pour la dernière fois le 26/04/2011 à 16:04:27.
AlexRE - Publié le 26/04/2011 à 20:36:34

Amateur, Blablateur,
Webmaster
4362 messages
Tu comptes donc garder les notes chiffrées ? (après la phase de qualification)

J'avais songé à supprimer complètement ces notes chiffrées, ça me semble trop inutile et non pertinent. Quoi que ça peut aider au créateur de positionner son jeu par rapport aux autres jeux... Je ne sais pas.

La phase de qualification est là pour évincer les jeux vraiment trop trop mauvais. La sélection ne sera plus aussi rude qu'en 2010 où il n'est resté que 8 jeux au final. Qu'il y ait des notes sur 5 ne me dérange pas, les jeux évincés peuvent être ceux ayant 0/5 ou 1/5.

De toute façon, les notes chiffrées ne seront jamais suffisantes pour attribuer une victoire ou une défaite : la rédaction des tests est essentiel.
Quelqu'un qui met 5/5 à un jeu et commente "Ce jeu est cool" ne peut pas être considéré pareil que quelqu'un qui clame "Ce jeu est une perle, un must".
Et quelqu'un qui met 1/5 à un jeu et commente "Ce jeu est infâme" ne peut pas être considéré pareil que quelqu'un qui écrit "Ce jeu est moyen".

Là se pose le problème de la liberté d'expression des jurés. Une personne va être tentée de faire des euphémismes (dire "pas très bon" au lieu de "mauvais") dans ses tests si elle sait qu'ils vont être lus par l'auteur du jeu. Ses commentaires auront donc moins d'influence. Il y a là un problème, donc...


Pour la séparation du jury en groupes de jurés, je me suis rendu compte qu'en effet il y avait certains jeux qui étaient vraiment mal répartis. Je pense que si on gardait les groupes de jury, il faudrait faire 2 sessions de test : et à chaque session les groupes de jury changeraient et les jeux qui leurs sont attribués aussi.

Ce que tu proposes est une bonne idée Shuji, ne plus faire de groupes. Cependant une personne pourra alors se retrouver avec que des mauvais jeux tandis qu'une autre avec que des bons, ou que des longs (lui demandant du temps à tester). :s Il faut s'assurer que chaque juré ait un panel de jeux identique. (même proportion de jeux longs que de jeux courts par exemple) (enfin ça aurait pu être fait dans les groupes de jurés... ils ne l'avaient pas fait ? ou c'est difficile à faire ? ou ils l'ont fait aléatoirement, pour être "justes" ?)

Il faut s'assurer qu'un jeu se trouvant dernier dans un groupe de bons jeux ne soit pas premier dans un groupe de mauvais jeux. Ou sinon, il faut le réévaluer (le redonner à tester à d'autres jurés ?).

Il ne faudra pas hésiter à communiquer avec les jurés, leur demander des précisions concernant leurs tests, et leur demander de tester des jeux qu'ils n'ont pas eu pour arriver à placer ce jeu par rapport à un autre.


Une chose qu'on a souvent fait sur E-m et que je voudrais garder : le classement. Chaque juré fait un classement des jeux qu'il a testés. En regroupant tous les classements, on arrive à avoir une idée en gros de la place de chaque jeu. Après il faut affiner cela en prenant en compte les tests, et en demandant à certains jurés de jouer à des projets qu'il n'ont pas testés.


Bon tout ça doit être confus, mais je vois en gros comment procéder pour y arriver.


Et c'est une très bonne idée (et c'est essentiel !) de filer aux jurés une fiche avec la description de chaque award.
Edité pour la dernière fois le 26/04/2011 à 20:41:59.
http://www.alexzone.net/
shûji : "un alex roi c'est le O+ du groupe sanguin, il aime tout, les awards il a pas de préférence, il fait des tests élaboré, note normal, il est casable partout ~ juste qu'il faut prévoir 2 semaines d'avance avec lui pouce vert etc"
Rockeur - Publié le 27/04/2011 à 01:06:38


Pomme de terre
1875 messages
CitationTu comptes donc garder les notes chiffrées ? (après la phase de qualification)

J'avais songé à supprimer complètement ces notes chiffrées, ça me semble trop inutile et non pertinent. Quoi que ça peut aider au créateur de positionner son jeu par rapport aux autres jeux... Je ne sais pas.

La phase de qualification est là pour évincer les jeux vraiment trop trop mauvais. La sélection ne sera plus aussi rude qu'en 2010 où il n'est resté que 8 jeux au final. Qu'il y ait des notes sur 5 ne me dérange pas, les jeux évincés peuvent être ceux ayant 0/5 ou 1/5.

De toute façon, les notes chiffrées ne seront jamais suffisantes pour attribuer une victoire ou une défaite : la rédaction des tests est essentiel.
Quelqu'un qui met 5/5 à un jeu et commente "Ce jeu est cool" ne peut pas être considéré pareil que quelqu'un qui clame "Ce jeu est une perle, un must".
Et quelqu'un qui met 1/5 à un jeu et commente "Ce jeu est infâme" ne peut pas être considéré pareil que quelqu'un qui écrit "Ce jeu est moyen".


ben euh .. écoute, moi jsuis pas contre :x , c'est même idéal pour moi
mais comment on va faire pour attribuer chaque award? les juré vont aussi faire le classement pour chaque award?

pour la pré selection, en fait je trouve mauvais les note car si on met 3/5, la personne verra son pré-test et se dira "jcontinue l'aventure mais jsuis hors compet"
je préfère juste un "valable" on "pas valable" car on ne peux pas mettre une note en si peu de temps de jeu d'ailleurs >.<

si on met des notes c'est + pour la suite je trouve.. sans note c'est l'idéal c'est vrai, mais c'est une source de motiv autant pour les jury que pour ceux qui reçoivent un test, une note c'est toujours "stimulant" de jouer au prof ou de se mettre à la place de l'élève qui se positionne vià une note
j'avais pour désir de recevoir les notes des jury mais de les utiliser que pour les moyennes et de ne pas les diffuser après, juste les tests sans les notes :x

et classer vià une impression général, c'est mieux qu'un classement vià notes, jsuis d'accord




CitationLà se pose le problème de la liberté d'expression des jurés. Une personne va être tentée de faire des euphémismes (dire "pas très bon" au lieu de "mauvais") dans ses tests si elle sait qu'ils vont être lus par l'auteur du jeu. Ses commentaires auront donc moins d'influence. Il y a là un problème, donc...


ça on ne pourra jamais l'éviter tfaçon :x , quoi qu'on fasse


CitationPour la séparation du jury en groupes de jurés, je me suis rendu compte qu'en effet il y avait certains jeux qui étaient vraiment mal répartis. Je pense que si on gardait les groupes de jury, il faudrait faire 2 sessions de test : et à chaque session les groupes de jury changeraient et les jeux qui leurs sont attribués aussi.


relou mais c'est toujours mieux :/

CitationCe que tu proposes est une bonne idée Shuji, ne plus faire de groupes. Cependant une personne pourra alors se retrouver avec que des mauvais jeux tandis qu'une autre avec que des bons, ou que des longs (lui demandant du temps à tester). :s Il faut s'assurer que chaque juré ait un panel de jeux identique. (même proportion de jeux longs que de jeux courts par exemple) (enfin ça aurait pu être fait dans les groupes de jurés... ils ne l'avaient pas fait ? ou c'est difficile à faire ? ou ils l'ont fait aléatoirement, pour être "justes" ?)


niveau bon et mauvais jeux, j'ai envie de dire que... le jury est là pour aider, après prendre du plaisir c'est cool maiiis.. après pour moi l'objectif c'est l'éval quoi :/, aider (bon après c'est égoïste mais bon :p )
Après par rapport aux jeux long et court: yes! L'année ou j'ai participé en tant que falco, c'était pas trop équilibré, mais un peu quand même jpense
l'année dernière ça ne l'était pas du tout

CitationIl faut s'assurer qu'un jeu se trouvant dernier dans un groupe de bons jeux ne soit pas premier dans un groupe de mauvais jeux. Ou sinon, il faut le réévaluer (le redonner à tester à d'autres jurés ?).


c'est le prob des classements :/
C'st pour ça que les notes c'est bien, genre un tas de jeux nul, un juré mettra entre 1 et 2/5, et le premier du classement aurait 2/5 :p

jdois t'avouer que tu me motives à trouver une solution pour éviter cette notation, car là je me dit "c'est peu évitable" mais bon, jvais essayer de trouver un compromis :p

CitationIl ne faudra pas hésiter à communiquer avec les jurés, leur demander des précisions concernant leurs tests, et leur demander de tester des jeux qu'ils n'ont pas eu pour arriver à placer ce jeu par rapport à un autre.


j'aimerais surtout savoir à quel point chaque juré est + ou moins sévère, je me suis permet d'évaluer les juré de l'année ou j'avais noté au nom de falco:
un juré, sa moyenne des notes était de 1.5, un autre, de 3.1.. et c'est juste énorme :x
ça peut-être évalué lors de la phase de pré sélection ça aussi..

CitationUne chose qu'on a souvent fait sur E-m et que je voudrais garder : le classement. Chaque juré fait un classement des jeux qu'il a testés. En regroupant tous les classements, on arrive à avoir une idée en gros de la place de chaque jeu. Après il faut affiner cela en prenant en compte les tests, et en demandant à certains jurés de jouer à des projets qu'il n'ont pas testés.


comme dit, si l'un est premier dans le classement de mauvais jeux, ce même jeu dernier dans le classement d'un autre juré qui a que des bons jeux, c'est moyen.
Mais bon après ça reste mieux... mfin bref, après je doute que ce cas d figure se présente trop

AlexRE - Publié le 27/04/2011 à 15:46:54

Amateur, Blablateur,
Webmaster
4362 messages
Citationje préfère juste un "valable" on "pas valable" car on ne peux pas mettre une note en si peu de temps de jeu d'ailleurs >.<

Oui tu as raison, ce serait débile.


En fait en lisant tout ça, je me dis que chaque mode de notation a ses avantages :

=> Les notes : Savoir quel avis "absolu" (pas en fonction des autres jeux) le juré attribue.

=> La rédaction : Indiquer au créateur quelles sont ses erreurs, et indiquer à l'équipe pourquoi le jeu a de telles notes. Ça sert à moduler et préciser les notes.

=> Le classement : Pouvoir comparer les jeux entre eux si ils ont des notes proches. Permettre aussi au juré de se poser la question "tiens pourquoi j'ai mis une note plus élevée à ce jeu alors que j'ai préféré l'autre ?". Ça permet à l'équipe de déceler des incohérences. Et ça permet justement de savoir si deux jeux sont globalement de niveau proche ou éloigné.

=> La répartition des points : (Tu te souviens sur E-m : on a 10 points - ou 10 étoiles - à répartir entre tous les jeux, on peut par exemple en attribuer 6 à un très bon, 4 à un moyen et 0 aux autres) Ça peut avoir aussi un intérêt, mais je pense qu'avec le classement et les notes ça ferait trop.

Je pense qu'on devrait garder les 3 premiers points.

----

Une chose que je trouvais bien en 2010 c'était que tous les jurés testaient tous les jeux. Mais c'était facile étant donné qu'il n'y avait que 8 jeux.

Mais je crois que, les autres années, les jurés testaient tous les jeux nominés, non ? La séparation en groupes de jurés n'était plus utile après les nominations, c'est bien ça ?

Je pense qu'il faudrait garder ça : répartir les jeux entre les jurés comme tu proposais Shûji (sans faire de groupes). Et essayer de leur faire jouer plus qu'1/4 des jeux. (tout dépend du nombre de jeux au final...) Puis, une fois qu'ils ont nommé les jeux, tous les jurés devront tester tous les jeux.

Zim avait évoqué vouloir faire plusieurs étapes de qualification :
=> Qualification 1 : (on élimine les jeux vraiment trop nuls)
=> Qualification 2 : (on élimine les jeux qui ne peuvent avoir d'award nulle part)
=> ...
Et à chaque étape il y a une petite rédaction de la part du juré. (courte pour l'étape 1, plus longue pour l'étape 2) Tout ça pour n'avoir plus qu'une 20aine de jeux environ au final.

Mais en fait ce serait rapidement difficile à faire, je pense que tout jeu ayant passé l'étape de qualification peut prétendre à un award. Enfin il faudrait quand même s'arranger à trouver un moyen de faire tester le plus de jeux possible par juré, afin que les tests soient justes. Pas facile.
http://www.alexzone.net/
shûji : "un alex roi c'est le O+ du groupe sanguin, il aime tout, les awards il a pas de préférence, il fait des tests élaboré, note normal, il est casable partout ~ juste qu'il faut prévoir 2 semaines d'avance avec lui pouce vert etc"
Rockeur - Publié le 27/04/2011 à 16:46:03


Pomme de terre
1875 messages
CitationUne chose que je trouvais bien en 2010 c'était que tous les jurés testaient tous les jeux. Mais c'était facile étant donné qu'il n'y avait que 8 jeux.


oué, le must c'est que tout les jury testent tout les jeux, et ne donnent les notes qu'après avoir tout tester (car comme déjà dit, faut pas évaluer les jeux un par un... mfin j'en reparlerais).


CitationMais je crois que, les autres années, les jurés testaient tous les jeux nominés, non ? La séparation en groupes de jurés n'était plus utile après les nominations, c'est bien ça ?


je me souviens pas que tout les juré testaient tout les jeux masi après jsais pas

CitationJe pense qu'il faudrait garder ça : répartir les jeux entre les jurés comme tu proposais Shûji (sans faire de groupes). Et essayer de leur faire jouer plus qu'1/4 des jeux. (tout dépend du nombre de jeux au final...) Puis, une fois qu'ils ont nommé les jeux, tous les jurés devront tester tous les jeux.

Zim avait évoqué vouloir faire plusieurs étapes de qualification :
=> Qualification 1 : (on élimine les jeux vraiment trop nuls)
=> Qualification 2 : (on élimine les jeux qui ne peuvent avoir d'award nulle part)
=> ...
Et à chaque étape il y a une petite rédaction de la part du juré. (courte pour l'étape 1, plus longue pour l'étape 2) Tout ça pour n'avoir plus qu'une 20aine de jeux environ au final.


dans l'absolu ça serait bien

- Une étape pour éviter les jeux blagos
- Une étape ou les jurys évaluent les jeux en entier et commentent le jeu sur chaque point des awards dans le but de nominer les jeux pour chaque award: Des commentaire et une note pour chaque award? (ça me tue de dire ça en fait mais bon XD, je ne sais pas quoi faire d'autre) Les notes seront privé et ne serviront qu'aux organisateurs, qui proposeront pour chaque award la liste des 5 meilleurs sans préciser qui dans ces 5 a eu la meilleur ou la moins bonne note.
- Une fois que l'on connait les nominés pour chaque awards, les juré se concentrent sur les jeux pour les awards concerné et font un classement des nominés pour chaque awards
tout les juré font un classement pour chaque award en fait!



AlexRE - Publié le 27/04/2011 à 17:52:46

Amateur, Blablateur,
Webmaster
4362 messages
Ça me semble bien ! Mais il ne faudrait pas que les jurés aient à faire 2 fois le même travail (tester 2 fois chaque jeu, ou écrire 2 fois un avis pour le même award et le même jeu).


J'avais songé aussi faire des discussions entre jurés, quand 2 ou 3 jeux sont très proches et difficiles à départager. (plutôt vers la fin du concours)

Et il faudrait permettre que deux jeux aient un award (spécifique) à égalité. Mais il faudrait le limiter le plus possible. (par la discussion entre jurés justement)
Edité pour la dernière fois le 27/04/2011 à 20:23:47.
http://www.alexzone.net/
shûji : "un alex roi c'est le O+ du groupe sanguin, il aime tout, les awards il a pas de préférence, il fait des tests élaboré, note normal, il est casable partout ~ juste qu'il faut prévoir 2 semaines d'avance avec lui pouce vert etc"
Rockeur - Publié le 27/04/2011 à 20:21:07


Pomme de terre
1875 messages
Alex RoiEsper a écrit :Ça me semble bien ! Mais il ne faudrait pas que les jurés aient à faire 2 fois le même travail (tester 2 fois chaque jeu, ou écrire 2 fois un avis pour le même award et le même jeu).


en fait je voyais plutôt:
- phase de pré selection: une explication qui justifie le choix
- phase de qualification pour les awards: grand test
- phase de classement final pour les awards: petit texte expliquant juste pourquoi le juré a classé ainsi

wala \o/
Edité pour la dernière fois le 27/04/2011 à 20:23:34.
AlexRE - Publié le 27/04/2011 à 20:24:15

Amateur, Blablateur,
Webmaster
4362 messages
Ça me semble bien.
http://www.alexzone.net/
shûji : "un alex roi c'est le O+ du groupe sanguin, il aime tout, les awards il a pas de préférence, il fait des tests élaboré, note normal, il est casable partout ~ juste qu'il faut prévoir 2 semaines d'avance avec lui pouce vert etc"
Rockeur - Publié le 29/04/2011 à 00:39:11


Pomme de terre
1875 messages
pré sélection:

plusieurs jury (3 pour chaque jeu) testent.
chaque jury dit si le jeu est apte ou inapte à continuer l'aventure et explique pourquoi comme il le souhaite (2 lignes peuvent suffire genre "c'est ptètre pas un jeu qui remportera le concours mais il a été fait avec sérieux et mérite de concourir"

[ la pré

concours:

Les jeux ayant passés la pré sélection se voient évalué pour tout les awards (sauf ceux que les auteurs ne veulent pas)
Un commentaire précis et détaillé du juge se ferra sur l'award par rapport au jeu.
le juge pourra accessoirement parler de ce que l'auteur aura répondu aux question subsidiaire de la fiche s'il y a répondu.
Le testeur note chaque award pour chaque jeu (/5? /10 ? ABCDEF? de 0 à 1? XD)
(1/4 des juré pour chaque jeu? 1/3? ... choisis aléatoirement mais avec une petite variation our les jeux long/court, et pour la réput des juré sévère/ pas sévère si possible)

awards:

Chaque award a une liste de jeu nommé. Tout les juré devront évaluer tout les jeux et faire un classement pour chaque award
A priorit les juré ont déjà tésté un bon nombre de jeu... mais s'il y en a trop dans les différent awards, les jurés pourront choisit de classer pour des awards spécifiques!

wala :p

AlexRE - Publié le 29/04/2011 à 02:55:06

Amateur, Blablateur,
Webmaster
4362 messages
Pour les pré-sélections (que j'appelle comme Paladin : "Qualifications"), le juré devra écrire davantage de lignes que ça : cette épreuve permettra de juger de la capacité du juré à tester, et son sérieux.

Que veux-tu dire par "attribution en fonction de la sévérité du juré" ? Un juré sévère se verrait attribuer des "meilleurs jeux" qu'un juré plus laxiste ?

Pour le nombre de nommés par award, je dirais :
=> 5 pour l'award principal (Meilleur jeu) et pour les awards généraux
=> 3 pour les awards spécifiques
Plus ou moins 1 si toutefois un jeu le mérite vraiment ou pas.

Il faudra espérer que les jurés n'auront pas trop de jeux à tester après les nominations, et donc qu'il n'y aura pas trop de nominés (drôle de souhait ). Enfin pour cela il faudra vraiment répartir astucieusement les jeux. Pourquoi pas pour le classement s'ils n'ont pas tout testé !

Ça me semble bien.

(PS : Tu utilises les mots "jury" (=groupe de jurés) et "juge" pour parler des jurés )
Edité pour la dernière fois le 29/04/2011 à 02:56:06.
http://www.alexzone.net/
shûji : "un alex roi c'est le O+ du groupe sanguin, il aime tout, les awards il a pas de préférence, il fait des tests élaboré, note normal, il est casable partout ~ juste qu'il faut prévoir 2 semaines d'avance avec lui pouce vert etc"
Rockeur - Publié le 29/04/2011 à 03:00:12


Pomme de terre
1875 messages
tout d'accord

Alex RoiEsper a écrit :
Que veux-tu dire par "attribution en fonction de la sévérité du juré" ? Un juré sévère se verrait attribuer des "meilleurs jeux" qu'un juré plus laxiste ?



on va dire que si un juré a une réput d'être sévère et que 3 autres aussi, on donnera pas un même jeux à ces 4 jurés, amis c'est très difficile je suppose

Vous souhaitez donner votre avis sur ce sujet ? Connectez-vous à votre compte, ou créez-vous un compte !