1

Téma: percentily

Jiří Matas (ve vláknu Budoucnost FEL/aktualizace DZ) napsal:

Co kdyby byl žebříček průměrný percentil výsledku zkoušky (přes množinu lidí zkoušených v předmětu v daném semestru)?To má opačný (a žádoucí) efekt - polepšit si pozici mohu nejlépe dobrým výsledkem v těžkých předmětech. Mají-li např. všichni A, je percentil všech 50% ...  Tento postup navíc eliminuje efekt velmi rozdílných rozložení výsledků u jednotlivých předmětů. Ještě nějaké ošetření opakovaní (v druhém termínu percentil korigován na minimálně 20? ve 3. na 30?) a váhy předmětu (počet kreditů?) a snad by to vyšlo něco vypovídajícího.

Tato myšlenka mě zaujala, takže jsem se rozhodl spočítat si ve svém předmětu lineární algebra pro STM percentily. Včera jsme měli poslední termín zkoušky, takže jsem mohl uzavřít výsledky. Nejprve připomenu definici percentilu: percentil testovaného je počet procent testovaných, kteří mají horší výsledek plus polovina procent testovaných, kteří mají stejný výsledek.

Počet všech testovaných je dle mého názoru roven počtu zapsaných. Dále si myslím, že nemá cenu rozlišovat skupinu ,,fail`` ve které jsou jednak studenti, kteří se vytratili během semestru, dále studenti bez zápočtu, dále studenti se zápočtem ale bez odvahy jít na jediný termín zkoušky, dále studenti se známkou F v prvním druhém nebo třetím termínu. To vše jsem shromáždil do rovnocenné skupiny fail. Ostatní známky jsem seřadil takto: 

A1 > A2 > A3 > B1 > B2 > B3 > C1 > C2 > C3 > D1 > D2 > D3 > E1 > E2 > E3 > fail

Například nerovnost D2>D3 čteme ,,známka D na druhý termín je lepší než známka D na třetí termín`` a nerovnost D3>E1 čteme ,,známka D na třetí termín je lepší než známka E na první termín``.

V následující tabulce jsou percentilové výsledky pro předmět A7B0LAG v semestru 2011/12. Můžete si všimnout, že tento předmět je postižen značným vychýlením rozdělení. Počet úspěšných studentů (114) je zde roven pouhým 31,5 procentům ze všech zapsaných. Pro učitele (a pro těch 247 studentů) je to hodně smutný pohled.

fail (247) % 34,21
E3   (12)  % 70,08
E2   (25)  % 75,21
E1   (33)  % 83,24
D3   (2)   % 88,09
D2   (11)  % 89,89
D1   (16)  % 93,63
C3   (1)   % 95,98
C2   (2)   % 96,40
C1   (6)   % 97,51
B2   (2)   % 98,61
B1   (3)   % 99,31
A1   (1)   % 99,86

celkem zapsáno:    361
udělených zápočtů: 258  (za docházku)
účastníků aspoň jednoho termínu zkoušky:  214
studenti se známkou A až E: 114

Najde-li si student svůj řádek v této tabulce, měl by si uvědomit, že výsledek je poněkud zkreslen. V tabulce je takový student porovnáván se studenty, kteří (doufám!) nebudou pokračovat ve studiu.

Dá sem ještě někdo další své výsledky zkoušek, abychom měli porovnání?

Zdravím

Petr Olšák

2

Re: percentily

Petr Olšák (olsak) napsal:

...
udělených zápočtů: 258  (za docházku)...

Rozumím tomu dobře, že na získání zápočtu nebylo potřeba více než pouhá fyzická přítomnost na cvičení? Dělal jsem to tak dříve taky, ale už nedělám. Přijde mi docela důležité intenzivně využívat tohoto nástroje (ne)udělování zápočtu, aby pak ta zkouška měla vůbec nějaký smysl. Proč se mám s nějakým lajdákem srazit až u zkoušky, kde má navíc nárok na několik "pokusů", a podle toho se často ke zkouškám staví (ve smyslu "zkouška je od slova zkusit"). To je hodně velké plýtvání pracovním časem.

3

Re: percentily

Vetsinou se zebricek dela pouze z tech, kteri projdou - pak by tabulka vypadala mnohem realisticteji. Treba West Point to tak dela uz druhe stoleti - dela poradi absolventu rocniku z tech, kteri ho dokoncili.
Jinak nedavno jsem mluvil s nekolika cleny FEL a zjistil jsem, ze je stale silna tendence prijimat vsechny bez prijimacek a pokud mozno co nejvice kusu. Ani muj argument, ze za kusy uz dnes nedostavame zaplaceno, nezabral. Kdyz jsem se zminil o nulove motivaci ucitele, ktery sleduje znudene vyrazy (v lepsim pripade) ci studenty pisici sms ci sledujici film na notebooku, tak jsem se dozvedel, ze je tam vzdy par lidi, kteri se snazi a poslouchaji. Jenze kdyz bude mit matematika cviceni rekneme po 20 studentech, tak je dost realna sance, ze zkousku neslouzi ANI JEDEN z nich.

4

Re: percentily

Tomáš Polcar (polcatom) napsal:

Jinak nedavno jsem mluvil s nekolika cleny FEL a zjistil jsem, ze je stale silna tendence prijimat vsechny bez prijimacek a pokud mozno co nejvice kusu.

Pokud vim, tak od sk. roku 2012/2013 maji vsechny studijni programy na FEL prijimaci zkousku, viz
http://www.fel.cvut.cz/cz/rozvoj/podminky-prijeti.html

5

Re: percentily

Tomáš Svoboda (svobodat) napsal:

Pokud vim, tak od sk. roku 2012/2013 maji vsechny studijni programy na FEL prijimaci zkousku, viz
http://www.fel.cvut.cz/cz/rozvoj/podminky-prijeti.html

To je sice pravda, ale delat prijimacky a nebrat vsechny nejsou totozne veci. Viz formulace z Dlouhodobeho zameru FEL jinde na tomto foru:
"V prvních letech bude přijímací zkouška nastavena tak, abychom odmítali  jen tu část nejslabších uchazečů, kteří se ke studiu evidentně nehodí."
Zjevne plyne, ze prijimackami projde i cast nejslabsich uchazecu - pak je opravdu otazkou, jestli je nahodou nedelame jen proto, ze to je pro FEL vyhodne (tusim ze nefinancovani studenti jsou castecne pokuta za absenci prijimacek).

6

Re: percentily

Tomáš Polcar napsal:

Vetsinou se zebricek dela pouze z tech, kteri projdou - pak by tabulka vypadala mnohem realisticteji.

Slovo percentil samozřejmě nemá význam, dokud neurčíme skupinu testovaných, vzhledem ke kterým se percentil počítá. Já jsem započítal všechny zapsané a vysvětlím proč.

Především je potřeba rozlišit percentil v jednom předmětu a percentil studijního výsledku předem vymezené skupiny: studentů zapsaných do dalšího semestru, absolventů v daném roce a programu, absolventů v oboru, atd.

V percentilu předmětu bych ohodnotil všechny zapsané, protože ,,soutěž o výsledek z tohoto předmětu`` se odehrává mezi zapsanými. Navíc nemáme jistotu, že ti, co zatím mají z tohoto předmětu ,,fail``, se nebudou  vyskytovat v jiných vymezených skupinách (např. zapsaných do dalšího  semestru). Takže někteří studenti si potřebují do výpočtu přinést percentil i z předmětů, které mají fail. Kdybychom jim dali nulu a ostatním počítali percentily z předmětu jen ze skupiny těch, co nemají fail, pak by percentilová vzdálenost mezi E3 a fail byla daleko menší a fail by nebyl tak značným handicapem ve výpočtu.

Konečně, na různých předmětech se student potkává s různými spolužáky, takže měřená skupina testovaných v jednom předmětu je typicky jiná než v jiném.

Dále mě napadlo, že bychom počítali tzv. ,,studijní výsledek`` studenta jako vážený průměr percentilů všech předmětů ukončených známkou, které během studia student zapsal. Váhou by byl počet kreditů u povinných předmětů a poloviční počet kreditů u předmětů ostatních. Pak bychom vymezili skupinu  studentů, u kterých chceme počítat percentil (studenti zapsaní do daného semestru, absolventi v daném roce a programu atd.) a v této skupině bychom seřadili studenty podle jejich studijního výsledku a z tohoto seřazení bychom znovu spočítali percentil.

Otázkou zůstává, jak se chovat k opakovaným zápisům předmětu. Jednou možností je započítat výsledky ze všech zápisů (včetně percentilů, které vyplynuly z výsledku fail). Pak by ale váha průměrného percentilu z vícenásobného zapsání byla n-krát větší, kde n je počet zápisů. To není asi dobré. Dalo by se to ošetřit ustanovením, že všechny váhové koeficienty   
u předmětu s n-násobným zapsáním se podělí číslem n. Druhá možnost: Percentilový výsledek z předchozího zápisu předmětu se zcela vymaže, ale nový výsledek se násobí koeficientem 2/3 pro n=2, 1/3 pro n=3 a 0 pro n>3. To je daleko přísnější postih pro opakovače, ke kterému bych se klonil více.

Pokud namítnete, že n je dle Stud. řádu maximálně 2, pak to není pravda. Existují recyklovaní studenti, se kterými se v algebře také v hojné míře potkávám. Ti si zapíší studium znovu, nechají si uznat některé předměty a znovu se zabývají algebrou. A často znovu přijdou na to, že ji nedají.   

Samozřejmě by bylo potřeba, aby metodika výpočtu studijního výsledku měla podporu v KOSu. Jinak tady můžeme pouze spekulovat, jak by to vypadalo, kdyby...

7

Re: percentily

Kolegovi Olsakovi rozumim - na FS jsem coby doktorand ucil fyziku v letech 2000-1, pak na FD jako asistent stejnou fyziku 2003-5. A ejhle, potkaval jsem dost znamych tvari. A svete div se, dva recyklanty FS-FD jsem potkal nekdy v 2010 na FEL, jeden dokonce propadl z FBMI - opet v prvnim rocniku. Algebru nejspise neudelali, ale mohou sepsat pameti nazvane Deset let prvakem na CVUT... Skola je nadsena, nebot za podobne studenty inkasuje stejne jako za dva spickove studenty s cervenym diplomem. Opakovani predmetu, recyklace studentu, uznavani predmetu, to vsechno neni proto, ze to nekdo skole naridil, ale proto, aby skola vytriskala co nejvice penez. Je to celkem paradox, nebot univerzity se u nas bouri proti kapitalismu ve vzdelavacim procesu, a pritom se chovaji opravdu trzne - kvalitu nahradila kvantita, jelikoz to zvysilo obrat. Nu, stalo se, ale je potreba to napravit. Stat se kupodivu snazi (i kdyz neobratne), takze doufejme, ze univerzity se budou zase chovat trzne a vzdelavat jen vzdelatelne.

Nastroje na to samozrejme mame, a pritom prijimacky jsou jen jednim z nich. Staci zprisnit pravidla pro prvni rocnik bakalare. Na MFF to bylo celkem jednoduche (alespon kdyz jsem tam byl ja). Prvni semestr se musel udelat cely - kdo do brezna nemel vsechno, koncil. Druhy semestr stejne. Od druheho roku pak uz bylo mozne kouzlit s kredity jako u nas, ale logicky vetsina lidi uz dostudovala, navic prodluzoval jen malokdo (proc taky). Prvni rocnik bakalare pritom nejspise nikam na staze ci Erasmy nejezdi, takze neni duvod, aby studenti neudelali vsechno. O studjnich planech si skola rozhoduje sama - nikdo nam nenarizuje pocet opravnych terminu, limity kreditu za rok, atd.

Naposledy upravil: polcatom (08.02.2012 13:08:59)