Akademia Wojny - Portal Heroes of Might and Magic III

Do zakończenia I etapu konkursu MapMaker AW pozostało 4 dni
Odpowiedz do tematu
Poprzedni temat «» Następny temat
Co zmienić w kolejnej edycji MapMakera
Autor Wiadomość
mbehemot 



Pomógł: 8 razy
Dołączył: 24 Kwi 2007
Posty: 547
Wysłany: 2017-10-09, 11:10   Co zmienić w kolejnej edycji MapMakera

Już tydzień po konkursie, emocje opadły, proponuję omówić zmiany, jakie powinny zajść w kolejnej edycji.

Na pewno trzeba popracować nad moderacją ocen. Widzę tutaj dwa wyjścia:
A) Nie jedna, a kilka osób mogłoby weryfikować oceny - problemem może być uzbieranie takiej grupy osób, są chętni?
B) Oceny widoczne dla wszystkich, każdy zarejestrowany ma możliwość dać "+" albo "-" dla recenzji (recenzje mające więcej "minusów" jak "plusów" nie wliczają się do średniej) - rozwiązanie całkowicie zmieniające formę konkursu, gramy wtedy w "otwarte karty", wszystko jest jasne, bez ukrywania, ALE istnieje duża możliwość ingerowania w wyniki przez "eliminowanie" poszczególnych ocen.

Jakie jeszcze zmiany powinny zajść?
 
Begrezen 
ostatnia ostoja AW



Pomógł: 20 razy
Wiek: 100
Dołączył: 15 Mar 2014
Posty: 869
Skąd: z jaskini mbehemota
Wysłany: 2017-10-09, 12:54   

opcja b) była by odpowiednia tylko wtedy, jeśli mogłyby jej używac tylko zaufane i wiarygodne osoby, np. z kilkuletnim stażem na forum i określoną ilością postów, bo coś ostatnio podejrzanie dużo nowych kont powstało, bez żadnej aktywności na forum ;>
co do opcji a) - mapmodzi nie biorący udział w konkursie mogli by tym się zająć. to chyba powinno wystarczyć :)

https://cdn.discordapp.com/attachments/423457907317669898/642878021015044126/9LPPDD2GQOnd.gif
Członek Stowarzyszenia Pogromców Map i honorowy mapmaker IV stopnia.
 
heroes3 



Pomógł: 8 razy
Wiek: 38
Dołączył: 31 Maj 2015
Posty: 757
Wysłany: 2017-10-09, 14:49   

Pierwszą podstawową zmianą, od jakiej powinniśmy wyjść, jest zakaz oceniania i pisania na forum dla anonimów. Za dużo fermentu nasiali. Zawsze można ogłosić konkurs z większym wyprzedzeniem. Kto będzie chętny, zarejestruje się na forum. Może nie sprawi to, że głupie oceny znikną, ale na pewno ułatwi pracę map-modom oceniającym rzetelność recenzji.
Co do samej możliwości wglądu w recenzje dla map-modów, mam mieszane uczucia. Łatwiej będzie zapanować nad tym bałaganem kilku osobom, ale z drugiej strony taki map-moderator mógłby się zasugerować oceną innych, kiedy będzie wystawiał własną. Więc pomocnik admina musi się również zgodzić na to, że nie będzie oceniał map, żeby nie być posądzonym o sugerowanie się opinią innych.
 
Volkor
[Usunięty]

Wysłany: 2017-10-09, 14:51   

Witam,
Co do weryfikacji ocen wystarczy komisja map-moderatorów. Opcja minusowania lub plusowania ocen jest nietrafiona, bo każdy powinien wystawić subiektywną ocenę. To akurat się sprawdziło.
- oceniać powinni wyłącznie zalogowani użytkownicy, dotyczyć to powinno zarówno map konkursowych jak i zwykłych,
- odrzucanie po 1 recenzji skrajnej tj. np. 1.0 i 5.0
- wstępna weryfikacja map przed dodaniem ich do konkursu
- wprowadzenie systemu realnego banowania użytkowników strony w przypadku wykrycia multikont, wulgaryzmów etc.
 
Ravciozo 
Wielki Wuadca



Pomógł: 15 razy
Dołączył: 19 Lut 2014
Posty: 874
Skąd: Polska, Opole
Wysłany: 2017-10-09, 14:59   

Jeśli opcją ostateczną, co do weryfikacji recenzji miałaby zostać opcja inna niż "mapmoderatorzy", to jestem zainteresowany

And we'll all dance alone to the tune of your death...
 
heroes3 



Pomógł: 8 razy
Wiek: 38
Dołączył: 31 Maj 2015
Posty: 757
Wysłany: 2017-10-09, 16:01   

Volkor napisał/a:
- oceniać powinni wyłącznie zalogowani użytkownicy, dotyczyć to powinno zarówno map konkursowych jak i zwykłych,

Jestem zdecydowanie na tak!

Volkor napisał/a:
- odrzucanie po 1 recenzji skrajnej tj. np. 1.0 i 5.0

Nie przekonałeś mnie. Zapewne mówisz przez pryzmat ocen, które dostała Twoja mapa. Ale jeśli mamy zachować subiektywizm, to pozwólmy każdemu oceniać wg jego gustu. Z tym powinien się liczyć każdy, kto wstawia mapę na forum. A poza tym odrzucanie ocen tylko skomplikuje postawienie oceny ostatecznej. System wyliczania ocen powinien być prosty i przejrzysty. Nie przekombinujmy.
Mnie nie przekonałeś ;-)

Volkor napisał/a:
- wstępna weryfikacja map przed dodaniem ich do konkursu

Tak, ale pod warunkiem, że znajdzie się komisja chętnych, której się to uda. W tym roku (imo) ta część nie wypaliła, bo kilka map dodanych w ostatniej chwili prześlizgnęło się przez moje ręce. Nauczony doświadczeniem wiem, że samo spojrzenie w edytor to za mało, a na dokładne zagranie 30stu kilku map nie starczy czasu tuż przed konkursem.

Volkor napisał/a:
- wprowadzenie systemu realnego banowania użytkowników strony w przypadku wykrycia multikont, wulgaryzmów etc.

Oj zdecydowanie na tak!
 
Tilogour 



Pomógł: 8 razy
Wiek: 50
Dołączył: 25 Paź 2010
Posty: 945
Wysłany: 2017-10-09, 19:41   

heroes3 napisał/a:
Pierwszą podstawową zmianą, od jakiej powinniśmy wyjść, jest zakaz oceniania i pisania na forum dla anonimów.

Jestem za.


Ogolnie jestem za tym, żeby oceny były dobrze uargumentowane, zwłaszcza, te najbardziej skrajne.
(wypowiadam się, bo następnym razem jest szansa, że wezmę udział)

Członek Stowarzyszenia Obrońców Map i honorowy mapmaker Brazzers - portalu z niegrzecznymi mapami.
Save oreo!
 
Ravciozo 
Wielki Wuadca



Pomógł: 15 razy
Dołączył: 19 Lut 2014
Posty: 874
Skąd: Polska, Opole
Wysłany: 2017-10-09, 20:23   

Volkor napisał/a:
- oceniać powinni wyłącznie zalogowani użytkownicy, dotyczyć to powinno zarówno map konkursowych jak i zwykłych,

Podpisuję się pod tym.

Volkor napisał/a:
- odrzucanie po 1 recenzji skrajnej tj. np. 1.0 i 5.0

Zgodzę się, że jeśli jakaś mapa dostaje zarówno 1.0, jak i 5.0 to coś tu jest mocno nie tak, bo NIE MA możliwości, by po rzetelnej recenzji "gusta" mogły się aż tak mylić. Za to przy rozpiętości np. 3.5 - 4.5, to odrzucamy jak najbardziej zrozumiałe noty. Jestem ani nie na tak, ani nie na nie, może delikatnie więcej imo plusów, ale jakoś całkowicie przekonany nie jestem.

Volkor napisał/a:
- wprowadzenie systemu realnego banowania użytkowników strony w przypadku wykrycia multikont, wulgaryzmów etc.

No, za jakieś wybitnie ostre, to na pewno. Albo za jakieś gwałty w fabule (oczywiście nikt nie wie, o jakiej mapie mówimy :P).

And we'll all dance alone to the tune of your death...
 
Aramil 

Wiek: 34
Dołączył: 15 Wrz 2017
Posty: 8
Wysłany: 2017-10-09, 21:39   

Zdecydowanie najlepsza byłaby opcja a.

Jeśli nie udałoby się jej jednak wdrożyć to system ocen brzmi dobrze, ale pod warunkiem anonimizacji recenzji. Plusy i minusy można by dawać na osobnej podstronie, gdzie będą po prostu kolejno wpisane recenzje bez informacji do jakiej mapy i kto je pisał. Do tego sugeruję co najmniej 3 poziomy oceniania (np. "dobra", "w porządku", "nie nadaje się", drugi spokojnie może być "nieoficjalnie" wirtualny, ew. może kierować recenzję do moderacji).
Jakby tak to zrobić to imho jest to dość sprawiedliwa opcja - nie powoduje sugerowania się recenzjami innych i utrudnia "wywalanie" przez autora mapy niepochlebnych recenzji z innych kont.

Odrzucanie skrajnych ocen - imho warte zachodu o ile nie będzie konkretniejszej moderacji recenzji - w tym wypadku "same się odrzucą". Usunie to problem z ocenami w stylu "mapa mi się nie uruchomiła - 1". Ale biorąc pod uwagę niewielką ilość recenzji w ogóle, na pewno z dodatkowymi warunkami. Np. "Jeśli mapa posiada zarówno recenzje 1,5- oraz 4,5+ - odrzucana jest jedna recenzja - najdalsza od aktualnej średniej ocen" (albo do dwóch recenzji, każda musi się różnić o co najmniej 3 punkty od aktualnej średniej).

PS: Jestem w 100% za brakiem głosowania i wypowiadania się anonimów. Zastanowiłbym się też nad nieuwzględnianiem nowych kont i weryfikacją aktywności. Jeśli konto zostało założone, a potem pojawia się tylko w konkursie to na 90% jest to próba oszustwa - powinno mieć jakieś posty lub chociaż logowania od czasu do czasu. A jeśli takie będą to można łatwiej eliminować konta tworzone pod konkurs - inne IP, ale nadal większość będzie miała podobne czasy logowania.
 
heroes3 



Pomógł: 8 razy
Wiek: 38
Dołączył: 31 Maj 2015
Posty: 757
Wysłany: 2017-10-09, 22:31   

Aramil napisał/a:
Usunie to problem z ocenami w stylu "mapa mi się nie uruchomiła - 1".

Poruszyłeś bardzo ważną kwestię. Jeżeli jednemu graczowi na sto nie uruchamia się gra, to jego recenzję trzeba usunąć, bo wina leży po stronie jego sprzętu, więc czemu map-maker ma cierpieć?
Była za to w tamtym konkursie mapa, która wieszała się prawie każdemu i tu oczywistym jest, że nie powinniśmy usuwać recenzji (wina leży po stronie map-makera lub edytora samego w sobie).
Kwestia sporna to mapy, które wieszają się przy próbie wczytania save'a, z powodu np. nadmiernej ilości tabliczek. Jak by to tu rozwiązać... :?: :roll:
 
Aramil 

Wiek: 34
Dołączył: 15 Wrz 2017
Posty: 8
Wysłany: 2017-10-09, 23:15   

Myślę, że wystarczy "przechowywać" odrzucone recenzje i od czasu do czasu (albo po zamknięciu głosowania, ale przed ogłoszeniem wyników) na nie zerkać. Jeśli jakaś mapa zbierze sporo recenzji "nie uruchamia się", Behemoth czy inny nie biorący udziału w konkursie sędzia będzie mógł sprawdzić mapę ręcznie lub poprosić autorów o wyjaśnienia.
 
Tomeczek


Dołączył: 20 Lut 2017
Posty: 19
Wysłany: 2017-10-10, 00:00   

imo:

Jeśli zasady oceniania zmienią się na jury kilku uzytkowników:
+ konkurs staje się bardziej prestiżowy (wyselekcjonowana grupa najlepszych ekspertów ocenia naszą pracę)
- grono zainteresowanych konkursem zamyka się całkowicie w grupie sędziowskiej i uczestniczących, to nie konkurs chopinowski, zeby po prostu grający w mapy interesowali się jakkolwiek jego wynikami i tym czy wygra mapa która im się najbardziej podobała

Jeśli pozostaniemy przy ocenie użytkowników/użytkowników i anonimów to popieram opcję z odrzucaniem skrajnych not:
+Już w trakcie konkursu ktoś argumentował to tym, że w profesjonalnych komisjach też praktykuje się tę metodę i znacznie zmniejsza wpływ celowych minusów, a w zasadzie nie zmienia oceny map których noty wahają się jak w przykładzie wyżej między 3,5 a 4,5.
-jest to pewnego rodzaju komplikacja w regulaminie konkursu. Jak ktoś wyżej wspomniał im bardziej skomplikowane zasady - tym mniejsze grono odbiorców

Pomysł mbehemota z widocznymi recenzjami, które inni użytkownicy mogą plusować jeśli się z nimi zgadzają lub minusować jeśli uważają je za niezgodne z prawdą też uważam wstępnie za dobry, ale w zasadzie nie padły konkretne argumenty za lub przeciw więc istnieje na to nieco wąski punkt widzenia jak dotąd.
 
SIRWilczek 
Także tego



Dołączył: 17 Maj 2015
Posty: 34
Skąd: Nowy Targ
Wysłany: 2017-10-10, 21:22   

Popieram obydwa pomysły Behemota

Brain dead, eye drops
Pain meds, cyclops
Daybed, iPod
"May-back", Maybach
Trainwrecks, sidewalks
Payless, high-tops
K-Fed, iHop
Playtex, icebox
 
New Year 
Rinasce piu gloriosa



Pomógł: 38 razy
Dołączył: 20 Gru 2015
Posty: 666
Skąd: Z krainy ognia
Wysłany: 2017-10-11, 16:01   

Chciałbym na samym początku zauważyć, że konkurs to zabawa, więc darujmy sobie to wykluczanie skrajnych ocen i podobne propozycje. To nie są igrzyska olimpijskie, więc zasady oceniania powinny być jak najprostsze.

Ja aktualnie w głowie mam 4 pomysły, które mogą się sprawdzić.

1.Tylko zarejestrowani użytkownicy przed ogłoszeniem konkursu mogą pisać recenzje. Wówczas można sobie darować kontrolę ocen, albowiem bardzo trudno tutaj o oszustwo.

2.Komisja sprawdza recenzje po zakończeniu drugiego etapu. Wówczas mamy coś podobnego do tego co było w tym mapmakerze tylko, że z mniejszą liczbą naciąganych recenzji.

3.Komisja sprawdza recenzje w trakcie konkursu. Tak jak ktoś już wyżej powiedział mogą się oni sugerować oceną, więc jest to tylko teoretyczna propozycja.

4.Jest to moim zdaniem najlepsze rozwiązanie. Jest to bardzo podobne do punktu trzeciego z tą różnicą, że komisja zaczyna sprawdzać recenzje ok. tydzień przed końcem konkursu. W skład będą wchodziły osoby, które napisały wystarczająco dużo recenzji, nie chcą pisać kolejnych i zgłoszą się na chętnych. Nie mogą to być oczywiście osoby, które wystawiły mapę w konkursie. Osoby będące w komisji w momencie sprawdzania recenzji nie mogą zmieniać ocen ani wystawiać nowych. Nietrudno coś takiego zrealizować, a konkurs nie jest zamknięty dla osób z zewnątrz.

Moim zdaniem te cztery propozycje (a właściwie trzy) są do przeanalizowania. Nad resztą nie ma co się nawet zastanawiać (no chyba, że ktoś wpadnie na genialny pomysł).

Reszta zmian nie związana z systemem oceniania została już powyżej omówiona.

Jeszcze mam takie jedno ważne pytanie (proszę o odpowiedź użytkowników, którzy mają trochę tych postów i jakiś staż na forum):
Czy powinnyśmy sprawdzać wszystkie recenzje czy tylko od osób co do których mamy wątpliwości?
Jest to o tyle ważne, że wpłynie to na sposób w jakie będzie odbywała się następna edycja.

Feniks zawsze zaczyna ale TO ZAWSZE
 
Huntka
Łowca



Wiek: 40
Dołączył: 04 Lip 2017
Posty: 89
Skąd: Kraków
Wysłany: 2017-10-11, 17:30   

Wszystkich! Nie może być tak że "stali bywalcy" strzelają sobie oceną bez argumentów :)
 
Wyświetl posty z ostatnich:   
Odpowiedz do tematu
Strona 1 z 4
Skocz do:  

Nie możesz pisać nowych tematów
Nie możesz odpowiadać w tematach
Nie możesz zmieniać swoich postów
Nie możesz usuwać swoich postów
Nie możesz głosować w ankietach
Nie możesz załączać plików na tym forum
Możesz ściągać załączniki na tym forum
Powered by phpBB modified by Przemo © 2003 phpBB Group