Wysłany: 2017-10-09, 12:10 Co zmienić w kolejnej edycji MapMakera
Już tydzień po konkursie, emocje opadły, proponuję omówić zmiany, jakie powinny zajść w kolejnej edycji.
Na pewno trzeba popracować nad moderacją ocen. Widzę tutaj dwa wyjścia:
A) Nie jedna, a kilka osób mogłoby weryfikować oceny - problemem może być uzbieranie takiej grupy osób, są chętni?
B) Oceny widoczne dla wszystkich, każdy zarejestrowany ma możliwość dać "+" albo "-" dla recenzji (recenzje mające więcej "minusów" jak "plusów" nie wliczają się do średniej) - rozwiązanie całkowicie zmieniające formę konkursu, gramy wtedy w "otwarte karty", wszystko jest jasne, bez ukrywania, ALE istnieje duża możliwość ingerowania w wyniki przez "eliminowanie" poszczególnych ocen.
Pomógł: 20 razy Wiek: 100 Dołączył: 15 Mar 2014 Posty: 871 Skąd: z groty mbehemociej
Wysłany: 2017-10-09, 13:54
opcja b) była by odpowiednia tylko wtedy, jeśli mogłyby jej używac tylko zaufane i wiarygodne osoby, np. z kilkuletnim stażem na forum i określoną ilością postów, bo coś ostatnio podejrzanie dużo nowych kont powstało, bez żadnej aktywności na forum ;>
co do opcji a) - mapmodzi nie biorący udział w konkursie mogli by tym się zająć. to chyba powinno wystarczyć :)
Uwaga, Nagi content +18 <<< wchodzisz na własną odpowiedzialność.
Pomógł: 8 razy Wiek: 38 Dołączył: 31 Maj 2015 Posty: 757
Wysłany: 2017-10-09, 15:49
Pierwszą podstawową zmianą, od jakiej powinniśmy wyjść, jest zakaz oceniania i pisania na forum dla anonimów. Za dużo fermentu nasiali. Zawsze można ogłosić konkurs z większym wyprzedzeniem. Kto będzie chętny, zarejestruje się na forum. Może nie sprawi to, że głupie oceny znikną, ale na pewno ułatwi pracę map-modom oceniającym rzetelność recenzji.
Co do samej możliwości wglądu w recenzje dla map-modów, mam mieszane uczucia. Łatwiej będzie zapanować nad tym bałaganem kilku osobom, ale z drugiej strony taki map-moderator mógłby się zasugerować oceną innych, kiedy będzie wystawiał własną. Więc pomocnik admina musi się również zgodzić na to, że nie będzie oceniał map, żeby nie być posądzonym o sugerowanie się opinią innych.
Volkor [Usunięty]
Wysłany: 2017-10-09, 15:51
Witam,
Co do weryfikacji ocen wystarczy komisja map-moderatorów. Opcja minusowania lub plusowania ocen jest nietrafiona, bo każdy powinien wystawić subiektywną ocenę. To akurat się sprawdziło.
- oceniać powinni wyłącznie zalogowani użytkownicy, dotyczyć to powinno zarówno map konkursowych jak i zwykłych,
- odrzucanie po 1 recenzji skrajnej tj. np. 1.0 i 5.0
- wstępna weryfikacja map przed dodaniem ich do konkursu
- wprowadzenie systemu realnego banowania użytkowników strony w przypadku wykrycia multikont, wulgaryzmów etc.
Pomógł: 8 razy Wiek: 38 Dołączył: 31 Maj 2015 Posty: 757
Wysłany: 2017-10-09, 17:01
Volkor napisał/a:
- oceniać powinni wyłącznie zalogowani użytkownicy, dotyczyć to powinno zarówno map konkursowych jak i zwykłych,
Jestem zdecydowanie na tak!
Volkor napisał/a:
- odrzucanie po 1 recenzji skrajnej tj. np. 1.0 i 5.0
Nie przekonałeś mnie. Zapewne mówisz przez pryzmat ocen, które dostała Twoja mapa. Ale jeśli mamy zachować subiektywizm, to pozwólmy każdemu oceniać wg jego gustu. Z tym powinien się liczyć każdy, kto wstawia mapę na forum. A poza tym odrzucanie ocen tylko skomplikuje postawienie oceny ostatecznej. System wyliczania ocen powinien być prosty i przejrzysty. Nie przekombinujmy.
Mnie nie przekonałeś
Volkor napisał/a:
- wstępna weryfikacja map przed dodaniem ich do konkursu
Tak, ale pod warunkiem, że znajdzie się komisja chętnych, której się to uda. W tym roku (imo) ta część nie wypaliła, bo kilka map dodanych w ostatniej chwili prześlizgnęło się przez moje ręce. Nauczony doświadczeniem wiem, że samo spojrzenie w edytor to za mało, a na dokładne zagranie 30stu kilku map nie starczy czasu tuż przed konkursem.
Volkor napisał/a:
- wprowadzenie systemu realnego banowania użytkowników strony w przypadku wykrycia multikont, wulgaryzmów etc.
Pierwszą podstawową zmianą, od jakiej powinniśmy wyjść, jest zakaz oceniania i pisania na forum dla anonimów.
Jestem za.
Ogolnie jestem za tym, żeby oceny były dobrze uargumentowane, zwłaszcza, te najbardziej skrajne.
(wypowiadam się, bo następnym razem jest szansa, że wezmę udział)
Członek Stowarzyszenia Obrońców Map i honorowy mapmaker Brazzers - portalu z niegrzecznymi mapami.
Save oreo!
- oceniać powinni wyłącznie zalogowani użytkownicy, dotyczyć to powinno zarówno map konkursowych jak i zwykłych,
Podpisuję się pod tym.
Volkor napisał/a:
- odrzucanie po 1 recenzji skrajnej tj. np. 1.0 i 5.0
Zgodzę się, że jeśli jakaś mapa dostaje zarówno 1.0, jak i 5.0 to coś tu jest mocno nie tak, bo NIE MA możliwości, by po rzetelnej recenzji "gusta" mogły się aż tak mylić. Za to przy rozpiętości np. 3.5 - 4.5, to odrzucamy jak najbardziej zrozumiałe noty. Jestem ani nie na tak, ani nie na nie, może delikatnie więcej imo plusów, ale jakoś całkowicie przekonany nie jestem.
Volkor napisał/a:
- wprowadzenie systemu realnego banowania użytkowników strony w przypadku wykrycia multikont, wulgaryzmów etc.
No, za jakieś wybitnie ostre, to na pewno. Albo za jakieś gwałty w fabule (oczywiście nikt nie wie, o jakiej mapie mówimy :P).
And we'll all dance alone to the tune of your death...
Jeśli nie udałoby się jej jednak wdrożyć to system ocen brzmi dobrze, ale pod warunkiem anonimizacji recenzji. Plusy i minusy można by dawać na osobnej podstronie, gdzie będą po prostu kolejno wpisane recenzje bez informacji do jakiej mapy i kto je pisał. Do tego sugeruję co najmniej 3 poziomy oceniania (np. "dobra", "w porządku", "nie nadaje się", drugi spokojnie może być "nieoficjalnie" wirtualny, ew. może kierować recenzję do moderacji).
Jakby tak to zrobić to imho jest to dość sprawiedliwa opcja - nie powoduje sugerowania się recenzjami innych i utrudnia "wywalanie" przez autora mapy niepochlebnych recenzji z innych kont.
Odrzucanie skrajnych ocen - imho warte zachodu o ile nie będzie konkretniejszej moderacji recenzji - w tym wypadku "same się odrzucą". Usunie to problem z ocenami w stylu "mapa mi się nie uruchomiła - 1". Ale biorąc pod uwagę niewielką ilość recenzji w ogóle, na pewno z dodatkowymi warunkami. Np. "Jeśli mapa posiada zarówno recenzje 1,5- oraz 4,5+ - odrzucana jest jedna recenzja - najdalsza od aktualnej średniej ocen" (albo do dwóch recenzji, każda musi się różnić o co najmniej 3 punkty od aktualnej średniej).
PS: Jestem w 100% za brakiem głosowania i wypowiadania się anonimów. Zastanowiłbym się też nad nieuwzględnianiem nowych kont i weryfikacją aktywności. Jeśli konto zostało założone, a potem pojawia się tylko w konkursie to na 90% jest to próba oszustwa - powinno mieć jakieś posty lub chociaż logowania od czasu do czasu. A jeśli takie będą to można łatwiej eliminować konta tworzone pod konkurs - inne IP, ale nadal większość będzie miała podobne czasy logowania.
Pomógł: 8 razy Wiek: 38 Dołączył: 31 Maj 2015 Posty: 757
Wysłany: 2017-10-09, 23:31
Aramil napisał/a:
Usunie to problem z ocenami w stylu "mapa mi się nie uruchomiła - 1".
Poruszyłeś bardzo ważną kwestię. Jeżeli jednemu graczowi na sto nie uruchamia się gra, to jego recenzję trzeba usunąć, bo wina leży po stronie jego sprzętu, więc czemu map-maker ma cierpieć?
Była za to w tamtym konkursie mapa, która wieszała się prawie każdemu i tu oczywistym jest, że nie powinniśmy usuwać recenzji (wina leży po stronie map-makera lub edytora samego w sobie).
Kwestia sporna to mapy, które wieszają się przy próbie wczytania save'a, z powodu np. nadmiernej ilości tabliczek. Jak by to tu rozwiązać...
Myślę, że wystarczy "przechowywać" odrzucone recenzje i od czasu do czasu (albo po zamknięciu głosowania, ale przed ogłoszeniem wyników) na nie zerkać. Jeśli jakaś mapa zbierze sporo recenzji "nie uruchamia się", Behemoth czy inny nie biorący udziału w konkursie sędzia będzie mógł sprawdzić mapę ręcznie lub poprosić autorów o wyjaśnienia.
Jeśli zasady oceniania zmienią się na jury kilku uzytkowników:
+ konkurs staje się bardziej prestiżowy (wyselekcjonowana grupa najlepszych ekspertów ocenia naszą pracę)
- grono zainteresowanych konkursem zamyka się całkowicie w grupie sędziowskiej i uczestniczących, to nie konkurs chopinowski, zeby po prostu grający w mapy interesowali się jakkolwiek jego wynikami i tym czy wygra mapa która im się najbardziej podobała
Jeśli pozostaniemy przy ocenie użytkowników/użytkowników i anonimów to popieram opcję z odrzucaniem skrajnych not:
+Już w trakcie konkursu ktoś argumentował to tym, że w profesjonalnych komisjach też praktykuje się tę metodę i znacznie zmniejsza wpływ celowych minusów, a w zasadzie nie zmienia oceny map których noty wahają się jak w przykładzie wyżej między 3,5 a 4,5.
-jest to pewnego rodzaju komplikacja w regulaminie konkursu. Jak ktoś wyżej wspomniał im bardziej skomplikowane zasady - tym mniejsze grono odbiorców
Pomysł mbehemota z widocznymi recenzjami, które inni użytkownicy mogą plusować jeśli się z nimi zgadzają lub minusować jeśli uważają je za niezgodne z prawdą też uważam wstępnie za dobry, ale w zasadzie nie padły konkretne argumenty za lub przeciw więc istnieje na to nieco wąski punkt widzenia jak dotąd.
Pomógł: 38 razy Dołączył: 20 Gru 2015 Posty: 666 Skąd: Z krainy ognia
Wysłany: 2017-10-11, 17:01
Chciałbym na samym początku zauważyć, że konkurs to zabawa, więc darujmy sobie to wykluczanie skrajnych ocen i podobne propozycje. To nie są igrzyska olimpijskie, więc zasady oceniania powinny być jak najprostsze.
Ja aktualnie w głowie mam 4 pomysły, które mogą się sprawdzić.
1.Tylko zarejestrowani użytkownicy przed ogłoszeniem konkursu mogą pisać recenzje. Wówczas można sobie darować kontrolę ocen, albowiem bardzo trudno tutaj o oszustwo.
2.Komisja sprawdza recenzje po zakończeniu drugiego etapu. Wówczas mamy coś podobnego do tego co było w tym mapmakerze tylko, że z mniejszą liczbą naciąganych recenzji.
3.Komisja sprawdza recenzje w trakcie konkursu. Tak jak ktoś już wyżej powiedział mogą się oni sugerować oceną, więc jest to tylko teoretyczna propozycja.
4.Jest to moim zdaniem najlepsze rozwiązanie. Jest to bardzo podobne do punktu trzeciego z tą różnicą, że komisja zaczyna sprawdzać recenzje ok. tydzień przed końcem konkursu. W skład będą wchodziły osoby, które napisały wystarczająco dużo recenzji, nie chcą pisać kolejnych i zgłoszą się na chętnych. Nie mogą to być oczywiście osoby, które wystawiły mapę w konkursie. Osoby będące w komisji w momencie sprawdzania recenzji nie mogą zmieniać ocen ani wystawiać nowych. Nietrudno coś takiego zrealizować, a konkurs nie jest zamknięty dla osób z zewnątrz.
Moim zdaniem te cztery propozycje (a właściwie trzy) są do przeanalizowania. Nad resztą nie ma co się nawet zastanawiać (no chyba, że ktoś wpadnie na genialny pomysł).
Reszta zmian nie związana z systemem oceniania została już powyżej omówiona.
Jeszcze mam takie jedno ważne pytanie (proszę o odpowiedź użytkowników, którzy mają trochę tych postów i jakiś staż na forum):
Czy powinnyśmy sprawdzać wszystkie recenzje czy tylko od osób co do których mamy wątpliwości?
Jest to o tyle ważne, że wpłynie to na sposób w jakie będzie odbywała się następna edycja.
Nie możesz pisać nowych tematów Nie możesz odpowiadać w tematach Nie możesz zmieniać swoich postów Nie możesz usuwać swoich postów Nie możesz głosować w ankietach Nie możesz załączać plików na tym forum Możesz ściągać załączniki na tym forum