Refereepalvelun arvioijan yleisopas

Monipuolisen kokonaiskuvan Refereepalvelusta ja sen arviointikriteereistäja pisteytysohjeineen tarjoaa pdf-muodossa: Refereearvioijan yleisopas (pdf, 120 kB)

Miten arvioijaksi pääsee?

Arvioijaksi voi ilmoittautua tämän sivuston kautta. On myös mahdollista, että arviointiasiantuntija on pyydetty arviointiverkoston jäseneksi. Hän voi olla yhteiskäyttöisyyden, pedagogiikan, sisällön tai välineellisyyden asiantuntija.

Mitä arviointiryhmän vetäjä tekee?

Kun aineisto on ilmoitettu arvioitavaksi, SVY:n refereetoimittaja selvittää aineiston soveltuvuuden refereearviointiin, kiinnittää arvioijatiimin ja aikatauluttaa arviointiprosessin. Arviointiryhmää perustettaessa sille sovitaan vetäjä (puheenjohtaja), joka on yksi ryhmän jäsenistä, sekä sihteeri, joka on ryhmän jäsen tai refereetoimittaja.

Arviointiryhmän vetäjä koordinoi arviointiryhmän toimintaa ja toimii tiiviissä yhteistyössä refereetoimittajan ja sihteerin kanssa. Arviointiprosessi koostuu mahdollisesta perehdytyksestä, itsenäisestä arviointityöstä, arviointiryhmän kokouksesta sekä arviointiraportin kirjoittamisesta.

Mitä arvioija tekee?

Kun materiaalin arviointitilaus saapuu refereepalveluun refereetoimittaja esittää soveltuvalle arvioitsijalle arviointipyynnön ja sopii toimeksiannosta.

Arviointiprosessi alkaa yksilötyöllä. Arviointiasiantuntija saa arvioinnin käynnitysviestissä aineiston osoitteen ja muut kuvailu- ja oheistiedot, joiden tuella, refereekriteeristöä ja palvelun sähköistä arviointilomaketta käyttäen, hän aloittaa arviointiprosessin. Hän läpikäy materiaalin pisteyttämällä ja kommentoimalla sitä kriteerien sovellusohjeen mukaisesti. Arviointi voi aineiston kohdistua yhteiskäyttöisyyden, pedagogisiin, sisällöllisiin tai välineellisiin kriteereihin.

Itsenäisen työvaiheen tulokset kirjataan sähköiseen lomakkeeseen yhteisessä arviointikokouksessa käsiteltäviksi.

Miten arviointiryhmä työskentelee?

Kun yksilöllinen arviointityövaihe on saatettu päätökseen ja arviointityö on dokumentoitu sähköisellä lomakkeella, arviointityöryhmä pitää joko saman pöydän kokouksen tai etäkokouksen video/audioyhteyttä käyttäen. Kokous käy läpi kunkin arvioijan tekemät osa-arvioinnit ja muodostaa niiden pohjalta yhteisen yleisarvioinnin. Kokous määrittelee saadut pisteytystasot ja muotoilee alustavasti arviointiraportin tekstin. Sihteeri tallentaa kokouksessa tuotetun arviointiraporttiluonnoksen refereepalvelun tietokantaan ja viimeistelee sen sisällön. Kun ryhmän kaikkien jäsenten hyväksyntä dokumentille on saatu, sihteeri tallentaa raportin refereetietokantaan. Arvioinnin tilaaja saa tästä automaattisen sähköpostiviestin.

Miten arviointitietoa käytetään?

Jokaista 27 kriteeriä arvioidaan sekä numeerisesti että kommentoimalla. Arvioinnin tuloksia ei julkaista pisteittäin vaan pisteet muutetaan sekä yhteispisteiden että kriteeriryhmittäisten pisteiden osalta tähdiksi, joita annetaan yhdestä viiteen.

Refereepalvelusivustolla julkaistavan tiivistelmän lisäksi materiaalin tekijä saa arvioinnista seikkaperäisen raportin. Refereehyväksynnän pisterajana on kymmenen pistettä. Tällöin voidaan osoittaa, että verkko-oppimateriaali täyttää tietyn laatutason.

Aineiston arvioinnin jälkeen arviointitieto tallennetaan refereepalveluun sekä materiaalin metatietoihin julkaisuarkistossa tai oppimisalustassa. Metatietoihin lisätään arvioinnin numeerinen kokonaistulos ja linkin muodossa viittaus refereepalvelussa olevaan arviointitietoon.

Refereetoimittajan opas

Refereetoimittaja vastaa palvelun ylläpidosta, asiakasviestinnästä, arvioijien rekrytoinnista, arviointityön projektoinnista ja arviointitulosten julkaisemisesta. Refereetoimittajan oppaassa ohjeistetaan arviointiprosessin työvaiheet ja kuvataan työvälineiden ja tukidokumenttien käyttö sekä tuloksista tiedottaminen.
Refereetoimittajan opas (1,24 mb, pdf)

Itsearvioijan refereeopas

Tässä oppaassa kuvataan tiiviisti arviointilomakkeen ja arviointikriteerien käyttö itse- tai vertaisarvioinnissa. Näiden arviointien tuloksia ei julkaista Refereepalvelun arviotietokannassa, vaan ne jäävät aineiston tuottajan omaan käyttöön.
Itsearvioijan refereeopas (385 kb, pdf)