Raport z ewaluacji wewnętrznej produktu finalnego w ramach projektu innowacyjnego „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”
Autor raportu:
Martyna Przewoźnik Menedżer Projektów Naukowych
Łódź, maj 2013
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Spis treści 1. WPROWADZENIE............................................................................................................................................... 3 2. OCENA WIEDZY UŻYTKOWNIKÓW I ODBIORCÓW KONWERTERA W ZAKRESIE KOMERCJALIZACJI PRZED I PO TESTOWANIU APLIKACJI ....................................................................... 4 3. OCENA EFEKTYWNOŚCI PRODUKTU FINALNEGO – INNOWACYJNEGO NARZĘDZIA DO OPRACOWYWANIA DOKUMENTACJI PRZEDINWESTYCYJNEJ: KONWERTERA................................ 7 4. OCENA ZADOWOLENIA GRUPY TESTUJĄCEJ Z UDZIAŁU W PROJEKCIE ...................................... 15 5. OCENA EFEKTÓW PRACY Z KONWERTEREM – WYGENEROWANEJ DOKUMENTACJI PRZEDINWESTYCYJNEJ ..................................................................................................................................... 21 6. PODSUMOWANIE I WNIOSKI KOŃCOWE................................................................................................ 22
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
1. Wprowadzenie Niniejszy raport przedstawia opracowanie wyników ewaluacji wewnętrznej wstępnej wersji produktu finalnego – aplikacji Konwerter, stworzonej w ramach projektu „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych”. Ewaluacja wewnętrzna prowadzona była przez cały okres testowania przez Menadżera Projektów Naukowych. Celem ewaluacji wewnętrznej było bieżące monitorowanie procesu testowania oraz dokonanie oceny funkcjonalności, efektywności i skuteczności wypracowanego w ramach projektu innowacyjnego narzędzia. Informacje zebrane podczas okresu testowania zostaną wykorzystane podczas tworzenia ostatecznej wersji produktu finalnego, wprowadzania zmian i poprawek. W okresie testowania wstępnej wersji produktu finalnego przeprowadzone zostały spotkania bezpośrednie z grupą testującą –2 spotkania dla grupy Użytkowników oraz dla grupy Odbiorców (1 spotkanie rozpoczynające, 1 spotkanie podsumowujące), na których odbyły się panele dyskusyjne, podsumowania oraz dokonana została ocena efektów testowania. Omówione zostały problemy i trudności związane z modelem i funkcjonalnościami aplikacji. Do ewaluacji wewnętrznej zastosowane zostały następujące narzędzia badawcze:
Ankiety wejścia/wyjścia przeprowadzone w trakcie spotkań z grupą testującą, badające poziom wiedzy w zakresie przedsiębiorczości akademickiej, transferu wiedzy i komercjalizacji wiedzy; Karty konsultacji wypełniane przez Użytkowników i Odbiorców podczas testowania aplikacji; Wywiady pogłębione z przedstawicielami grup Użytkowników i Odbiorców, mające na celu uzyskanie informacji na temat konieczności wprowadzenia zmian w modelu komercjalizacji badań naukowych przez Konwerter; Ankiety badające zadowolenie uczestników z udziału w projekcie (wykonywane na każdym z 2 spotkań każdej z grup testujących); Projekty opracowane przez Użytkowników i Odbiorców, które powstały w ramach testowania produktu finalnego wraz z dokumentacją generowaną przez Konwerter (10 projektów).
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
2. Ocena wiedzy Użytkowników i Odbiorców Konwertera w zakresie komercjalizacji przed i po testowaniu aplikacji Innowacyjna aplikacja Konwerter ma na celu głównie opracowywanie projektów naukowych i tworzenie na ich podstawie dokumentacji przedinwestycyjnej, która można zaprezentować potencjalnym inwestorom. Posiada także Bazę Wiedzy, która jest narzędziem pomocniczym wykorzystywanym w trakcie wypełniania aplikacji. Osoba korzystająca z aplikacji podczas uzupełniania paneli może skorzystać z podpowiedzi, dzięki którym może szczegółowo zapoznać się z omawianymi zagadnieniami i przełożyć je na opracowywany przez siebie projekt. W aplikacji dostępne są również pretesty i posttesty badające wiedzę wejściową i wyjściową z danego obszaru tematycznego (panelu). Te funkcje aplikacji mają na celu zwiększenie wiedzy i praktycznych umiejętności osób korzystających z aplikacji na temat procesu komercjalizacji i transferu wiedzy. Aby sprawdzić, czy korzystanie z aplikacji Konwerter faktycznie wpływa na wzrost wiedzy z zakresu komercjalizacji, a tym samym, aby zbadać efektywność Bazy Wiedzy oraz pretestów i posttestów, w ramach ewaluacji wewnętrznej przeprowadzono testy kompetencyjne. Użytkownicy Konwertera, czyli pracownicy jednostek zajmujących się transferem technologii mają już dużą wiedzę na temat procesu komercjalizacji. Jednak korzystanie z Konwertera może pomóc im w uzupełnieniu wiedzy lub przypomnieniu pewnych informacji. Dodatkowo na uzupełnienie i aktualizację wiedzy Użytkowników mogły mieć również wpływ szkolenia, w których wzięli oni udział. Test kompetencyjny, który Użytkownicy wypełniali przed rozpoczęciem testowania aplikacji Konwerter zawierał 15 pytań z zakresu komercjalizacji wiedzy, transferu wiedzy i technologii oraz przedsiębiorczości akademickiej. Za każdą dobrą odpowiedź na pytanie przyznawany był 1 punkt, a za odpowiedź błędną nie było punktu. Maksymalnie do zdobycia było więc 15 punktów. Wyniki testu pokazują, że Użytkownicy już w momencie przystępowania do testowania mieli dość dużą wiedzę z badanego zakresu. Wyniki pierwszego testu w grupie Użytkowników mieszczą się w granicach od 8 do 11 punktów (od 47% do 87% poprawnych odpowiedzi). Średnio jest to 9,8 punktów (65%). Na zakończenie testowania Użytkownicy wypełniali drugi test kompetencyjny, który również zawierał pytania z zakresu komercjalizacji wiedzy, transferu wiedzy i technologii oraz przedsiębiorczości akademickiej. Drugi test zawierał 20 pytań z zakresów tematycznych objętych szkoleniami. Tu również można było uzyskać 1 punkt za każdą prawidłową odpowiedź, zatem maksymalna liczba punktów wynosi 20. Wyniki tego testu są bardzo dobre, a co najważniejsze – są lepsze niż testu początkowego. W grupie 1 punktacja uczestników projektu zawiera się w przedziale od 10 do 18 punktów (od 50% do 90% poprawnych odpowiedzi), a średnia wynosi 14,1 punktów (71%).
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Rysunek 1. Średnie wyniki testów kompetencyjnych w grupie Użytkowników 100% 90%
90%
87%
80%
79%
70%
65%
60% 50%
50%
47%
40% 30% 20% 10% 0% Test 1 Maksimum
Test 2 Minimum
Średnia
Wyniki testów w grupie Użytkowników pokazują zatem, że poziom wiedzy respondentów w zakresie komercjalizacji wiedzy i transferu technologii oraz przedsiębiorczości akademickiej wzrósł po okresie testowania aplikacji i odbyciu szkoleń. Daje to podstawy, aby stwierdzić, że funkcje w aplikacji Konwerter takie jak Baza Wiedzy oraz pretesty i posttesty oraz szkolenia przeprowadzone w ramach projektu są efektywne w grupie Użytkowników. Odbiorcy Konwertera również zostali poddani badaniu wiedzy przed i po testowaniu. Jednak ze względu na to, że dla grupy Odbiorców nie było przewidziane szkolenie, ocena wzrostu wiedzy została dokonana za pomocą kwestionariusza samooceny, który Odbiorcy wypełniali przed rozpoczęciem testowania i po jego zakończeniu. Kwestionariusz zawierał 7 pytań dotyczących samooceny wiedzy w zakresie komercjalizacji. Respondenci oceniali swoją wiedzę na skali od 0 (brak wiedzy na dany temat) do 6 (pełna wiedza na dany temat). Z odpowiedzi policzono średnie dla całej grupy. Wyniki badania przedstawia poniższy wykres.
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Rysunek 2. Wyniki kwestionariusza samooceny wiedzy zrealizowanego w grupie Odbiorców przed rozpoczęciem i po zakończeniu testowania Jak oceniasz swoją wiedzę na temat możliwości ochrony własności intelektualnej?
1,4
Jak oceniasz swoją wiedzę na temat możliwości formalnej współpracy sfery nauki i biznesu?
2,9
1,1
2,1
Jak pewnie czułbyś się w sytuacji zaprezentowania się przed inwestorem?
3,0
Jak szybko i trafnie potrafiłbyś znaleźć źródło finansowania dla swojego pomysłu na biznes?
1,6
Jak oceniasz swoją wiedzę na temat konstruowania biznesplanów?
2,5 2,2
Jak oceniasz swoją wiedzę na temat sposobów finansowania pomysłu na biznes?
1,7
3,4
3,3
2,3
Jak oceniasz swoje umiejętności zaprezentowania pomysłu na biznes przed inwestorem?
3,0 0,0
Przed testowaniem
0,5
1,0
1,5
2,0
2,5
3,0
3,6 3,5
4,0
Po testowaniu
Wyniki kwestionariusza samooceny wykazują, że subiektywne odczucie wiedzy badanych Odbiorców jest po zakończeniu okresu testowania większe niż przed jego rozpoczęciem. We wszystkich analizowanych obszarach średnie oceny wiedzy dokonywane na zakończenie testowania są wyższe niż na początku tego okresu. Można zatem stwierdzić, że testowanie aplikacji Konwerter, która zawiera takie elementy jak Baza Wiedzy oraz pretesty i posttesty, a także konsultacje z Menedżerem Projektów Naukowych i wspólna praca oraz konsultacje z Użytkownikami Konwertera miały pozytywny wpływ na wiedzę Odbiorców aplikacji w zakresie komercjalizacji.
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
3. Ocena efektywności produktu finalnego – innowacyjnego narzędzia do opracowywania dokumentacji przedinwestycyjnej: Konwertera W toku testowania innowacyjnego narzędzia, które powstało w ramach projektu „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” Menedżer Projektów Naukowych prowadził konsultacje i spotkania z grupą testującą, podczas których wypełniane były karty oceny aplikacji oraz prowadzone były indywidualne wywiady z Użytkownikami i Odbiorcami aplikacji. Na podstawie informacji zebranych podczas tych spotkań można wyciągnąć wnioski dotyczące efektywności i skuteczności Konwertera. W kartach oceny, które Użytkownicy i Odbiorcy aplikacji Konwerter wypełniali podczas testowania zawarto pytania dotyczące każdego z elementów aplikacji. Respondenci oceniali każdy z elementów na skali od 1 (ocena bardzo zła) do 5 (ocena bardzo dobra). Z ocen tych policzono średnie dla grupy Użytkowników i Odbiorców. Na początku zapytano o proces rejestracji i logowania do aplikacji. Rysunek 3. Ocena procesu rejestracji i logowania do aplikacji Konwerter
4,4
Długość procesu rejestracji
4,3
4,6
Długość procesu logowania
4,8 0
1 Użytkownicy
2
3 Odbiorcy
4
5
Zarówno długość procesu rejestracji, jak i długość procesu logowania zostały pozytywnie ocenione przez Użytkowników i Odbiorców Konwertera. Rozpoczęcie korzystania z Konwertera nie wiązało się z żadnymi problemami. Kolejnym ocenianym elementem Konwertera był panel główny aplikacji. Jest w nim dostępna instrukcja obsługi oraz krótki opis każdego z 5 paneli Konwertera. Z menu głównego jest dostęp do wszystkich paneli.
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Rysunek 4. Ocena panelu głównego Konwertera
4,2 Czytelność/przejrzystość 4,2
3,4 Układ graficzny 3,8 0
1
2
Użytkownicy
3
4
5
Odbiorcy
Grupa testująca pozytywnie oceniła panel główny pod względem jego czytelności i przejrzystości – zarówno Użytkownicy, jak i Odbiorcy wystawiali w tym przypadku oceny dobre i bardzo dobre. Nieco słabiej, ale nadal w większości pozytywnie oceniono układ graficzny aplikacji w jej panelu głównym. Nieco lepiej grafikę ocenili Odbiorcy niż Użytkownicy. Kolejnym ocenianym elementem były panele Konwertera – czyli ten element, za pomocą którego uzupełnia się dane, które następnie są konwertowane do dokumentacji docelowej. Na początku testerzy Konwertera oceniali: możliwość przemieszczania pomiędzy panelami, układ graficzny i funkcjonowanie od strony technicznej paneli aplikacji. Rysunek 5. Ocena paneli szczegółowych Konwertera
4,3
Możliwość przechodzenia między kolejnymi panelami
4,2
3,4
Układ graficzny
4,2
4,0
Funkcjonowanie od strony technicznej
4,0 0
1 Użytkownicy
2
3
4
5
Odbiorcy
Według respondentów, możliwość przechodzenia pomiędzy kolejnymi panelami Konwertera nie sprawia trudności, czy problemów – ten element został wysoko oceniony zarówno przez Użytkowników, jak i przez Odbiorców testujących aplikację. Ocena układu graficznego jest
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
znacznie lepsza wśród Odbiorców, którzy generalnie nie mieli do niego zastrzeżeń. Nieco bardziej krytyczni byli Użytkownicy – średnia ocena grafiki na poziomie 3,4. Dodatkowo Użytkownicy i Odbiorcy oceniali każdy z paneli Konwertera pod względem: zawartości merytorycznej panelu, adekwatności pytań do potrzeb panelu oraz długości wypełniania panelu. Wyniki oceny przedstawia poniższa tabela: Tabela 1. Ocena szczegółowa paneli Konwertera Elementy oceny
Zawartość merytoryczna U O
Adekwatność pytań U O
Długość U
O
Audyt pomysłu
4,2
4,0
4,3
4,1
3,9
4,0
Akcelerator rynkowy
3,4
4,0
3,9
3,7
4,5
4,3
Produktowa analiza technologii
3,8
4,4
3,7
3,7
4,0
4,4
3,6
3,5
3,4
3,2
2,3
2,4
3,8
3,5
3,8
3,3
4,7
4,2
Algorytm badania wartości prac badawczych Rekomendowany sposób finansowania
Wyniki oceny poszczególnych paneli są w większości pozytywne. Stosunkowo najsłabiej wypadł panel „Algorytm badania wartości prac badawczych”. Jest to najdłuższy z 5 paneli i właśnie jego długość została najsłabiej oceniona przez grupę testującą. Warto podkreślić, że zawartość merytoryczna wszystkich 5 paneli została przez Użytkowników i Odbiorców Konwertera oceniona bardzo dobrze lub dobrze. Badani testerzy Konwertera mieli również możliwość oceny Bazy Wiedzy, która jest elementem aplikacji, zawierającym podpowiedzi do wypełniania poszczególnych pól w aplikacji oraz stanowi zbiór cennych informacji o procesie komercjalizacji. Respondenci oceniali Bazę Wiedzy pod względem: merytoryki, przydatności i funkcjonalności.
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Rysunek 6. Ocena Bazy Wiedzy Konwertera
4,2
Merytoryka
3,9
3,8
Przydatność
3,9
2,9
Funkcjonowanie
3,7 0
1
2
Użytkownicy
3
4
5
Odbiorcy
Ocena Bazy Wiedzy wypadła dobrze. Bardzo wysoko badani ocenili merytoryczną stronę tej części aplikacji Konwerter. Również przydatność Bazy Wiedzy zdaniem respondentów jest wysoka. Nieco słabiej, zwłaszcza w grupie Użytkowników oceniono funkcjonowanie Bazy Wiedzy – otrzymano kilka zgłoszeń dotyczących tego, że podpowiedzi nie działały prawidłowo. Za każdym razem te zgłoszenia były przesyłane do informatyków czuwających nad działaniem aplikacji. Użytkownicy i Odbiorcy testujący aplikację Konwerter oceniali również pretesty i posttesty, czyli element sprawdzających ich wiedzę przed i po wypełnieniu poszczególnych paneli aplikacji. Rysunek 7. Ocena pretestów i posttestów Konwertera
3,0
Przydatność
3,6
2,9
Funkcjonowanie
3,1
2,7
Jakość merytoryczna
3,5 0
1 Użytkownicy
2
3
4
5
Odbiorcy
W porównaniu z innymi elementami aplikacji, ocena pretestów i posttestów wypadła nieco słabiej. Pretesty i posttesty zostały słabiej ocenione w grupie Użytkowników niż wśród Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Odbiorców. Użytkownicy najwięcej zastrzeżeń mieli do jakości merytorycznej pretestów i posttestów. Może to wynikać z faktu, że przedstawiciele tej grupy mają dużą wiedzę z zakresu komercjalizacji i odpowiadanie na pytania z tego zakresu było dla nich mało ciekawe. Pojawiały się także zastrzeżenia dotyczące adekwatności pytań do tematyki poszczególnych paneli Konwertera. Szczegółowe uwagi i zastrzeżenia badanych omówione zostaną w dalszej części tego rozdziału raportu. Na koniec procesu oceny Konwertera, grupa testująca została poproszona o wyrażenie opinii na temat wygenerowanego abstraktu oraz dokumentacji przedinwestycyjnej – czyli efektu pracy z Konwerterem. Badani mieli również możliwość wypowiedzieć się na temat czasu, jaki musieli poświęcić na wpisanie danych do aplikacji, aby tą dokumentację wygenerować. Rysunek 8. Ocena Abstraktu i Dokumentacji oraz czasu wypełniania Konwertera 4,4
Możliwość tworzenia Abstraktu
4,0 4,0 4,0
Wygląd wygenerowanego Abstraktu Kompletność wygenerowanej dokumentacji
4,4 4,5
Układ graficzny/poprawność logiczna wygenerowanej dokumentacji
4,1 4,1
Długość wygenerowanej dokumentacji
4,1 4,0
Długość wypełniania danych w całej aplikacji
2,9 2,7 0
1 Użytkownicy
2
3
4
5
Odbiorcy
Zarówno abstrakt, jak i dokumentacja przedinwestycyjna generowane przez Konwerter wypadły bardzo dobrze w ocenie badanych Użytkowników i Odbiorców. Pozytywnie oceniono możliwość tworzenia abstraktu, jego wygląd, a także kompletność, układ graficzny i długość wygenerowanej dokumentacji. Słabiej wypadła natomiast ocena długości wypełniania danych w całej aplikacji. Zarówno Użytkownicy, jak i Odbiorcy w większości uznali, że sam proces wypełniania trwa za długo. Podsumowując wyniki badania w oparciu o karty oceny aplikacji można stwierdzić, że zarówno Użytkownicy, jak i Odbiorcy aplikacji w większości analizowanych aspektów oceniają ją pozytywnie. Bardzo dobrze lub dobrze badani oceniali zawartość merytoryczną i przydatność poszczególnych elementów aplikacji, ich funkcjonalność i działanie. Układ graficzny aplikacji Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
został oceniony przeciętnie – nie jest zdaniem badanych zły, ale mógłby być lepszy. Najsłabiej wypada ocena długości procesu uzupełniania aplikacji, szczególnie panelu „Algorytm badania wartości prac badawczych” – większość badanych uważa, że proces wypełniania danych trwa zbyt długo. Podczas testowania Menedżer Projektów Naukowych prowadził także rozmowy, wywiady indywidualne na temat Konwertera i pracy z aplikacją. Również w kartach oceny Użytkownicy i Odbiorcy mieli możliwość wyrażenia swoich uwag i propozycji zmian w formie opisowych odpowiedzi. Na podstawie informacji zebranych tymi metodami można wyciągnąć następujące wnioski: 1. Testowanie przebiegało sprawnie i bez większych trudności. 2. Proces rejestracji i logowanie w większości przypadków nie sprawił żadnych problemów. W jednym przypadku był problem z rejestracją – link aktywacyjny nie został dostarczony na podany adres e-mail. Mogło mieć to jednak związek z zabezpieczeniami poczty na serwerze służbowym jednego z Użytkowników. „Rejestracja jak i logowanie przebiegają sprawnie i bez większych zaskoczeń. Nie mam uwag”. „Rejestracja w systemie nie wymaga podawania nadmiernej liczby danych”. „Problemy z zarejestrowaniem nowego użytkownika. Link aktywujący konto nie został wysłany przez system”. 3. Aplikacja zdaniem testerów jest intuicyjna, łatwo jest się po niej poruszać, nie jest potrzebna żadna dodatkowa instrukcja obsługi. Konwerter oceniany jest jako przejrzysty i schludny. „Aplikacja wykonana poprawnie, przejrzyście. Interfejs nie zawiera zbędnych elementów”. „Podział modułów na panele ułatwia prace z aplikacją. Aplikacja jest przejrzysta i czytelna. Jednak przyciski nawigacji powinny być bardziej widoczne”. „Aplikacja pod względem intuicyjności nie wyróżnia się niczym szczególnym”. 4. Grafika zdaniem testerów jest przejrzysta i schludna, jednak nie robi wrażenia. Zdaniem niektórych badanych jest mało ciekawa, niewyróżniająca się. „Jak na projekt innowacyjny oprawa graficzna jest dość wtórna”. „Grafika Konwertera jest poprawna, nie jest zaawansowana, ale jak na potrzeby aplikacji wystarczająca”. „Układ graficzny jest zbyt sterylny”. 5. Merytorycznie Konwerter został oceniony pozytywnie. Zdaniem wszystkich Użytkowników dokumentacja przedinwestycyjna, która zostałaby przygotowana za pomocą aplikacji, pod warunkiem, że zostanie ona w pełni wypełniona, będzie poprawna i pozwoli potencjalnemu inwestorowi na dokonanie oceny projektu. Zdaniem Odbiorców praca z Konwerterem umożliwia również rozpatrzenie takich kwestii,
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
o których wcześniej nie myśleli, nie zastanawiali się nad nimi myśląc o własnym projekcie, np. jeśli chodzi o analizę ryzyka. Zdaniem zdecydowanej większości osób testujących Konwertera, pytania w poszczególnych panelach są adekwatne do potrzeb i w efekcie przekładają się na wartościowe informacje w dokumentacji przedinwestycyjnej. Pojawiło się kilka uwag odnośnie sformułowania pytań pod względem stylistycznym oraz gramatycznym. Kilka osób zwróciło również uwagę na szczegółowe sformułowania, które ich zdaniem były niezrozumiałe lub zbyt mało wyjaśnione – wszystkie te szczegółowe uwagi na bieżąco przekazywano Kierownikowi Projektu. „Zawartość merytoryczna panelu jest adekwatna do zadań, jakie ma spełniać dana część aplikacji”. „Pytania i ich zawartość są adekwatnie do tematu panelu”. „Pytania w tym module pozwalają na przeprowadzenie analizy rynku”. 6. Zastrzeżenia Użytkowników i Odbiorców Konwertera dotycząc długości procesu wypełniania aplikacji. Zdaniem większości badanych trwa to zbyt długo, a niektóre pytania są za bardzo szczegółowe. Jednak przedstawiciele Użytkowników, którzy mają doświadczenie w przygotowywaniu dokumentacji dla inwestorów oraz w opracowywaniu projektów do komercjalizacji wiedzą, że im bardziej szczegółowo przedstawione są informacje, tym większe są szanse na pozyskanie inwestora. „Aplikacja jest bardzo obszerna, bardzo duża ilość pytań oraz ich szczegółowość powoduje, że proces uzupełniania, aplikacji jest bardzo długi”. „Cały proces wypełniania aplikacji jest długi i żmudny. Jednakże biorąc pod uwagę oczekiwania potencjalnych inwestorów, porządnie przygotowana dokumentacja wymaga czasu”. Użytkownicy i Odbiorcy przekazali wiele cennych uwag i sugestii zmian w aplikacji. Uwagi dotyczące kwestii technicznych (np. problemy z logowaniem, niedziałające odnośniki do Bazy Wiedzy, czy kalendarz) były na bieżąco zgłaszane informatykom czuwającym nad poprawnością działania aplikacji. Te usterki, które dało się usunąć bez konieczności powodowania przerw w działaniu aplikacji były usuwane na bieżąco. Poza tymi uwagami technicznymi pojawiały się propozycje zmian, które najczęściej dotyczyły następujących obszarów:
Kalendarz – mało funkcjonalny, problem ze zmianą roku. Baza Wiedzy – niektóre hasła są niejasne, Baza mogłaby być podzielona na kategorie, zawierać jakieś przykłady. Podział haseł alfabetycznie nie jest wystarczający. Pretesty i posttesty – pytania się niekiedy powtarzają, czasem pytania nie są adekwatne do tematyki panelu, nie od razu wyświetlają się wyniki – nie jest intuicyjne to, czy trzeba kliknąć „zapisz”, czy „dalej”.
Ponadto Użytkownicy i Odbiorcy proponują także: Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Wprowadzenie opcji uzupełniania jednego projektu przez kilka osób – praca zespołowa. Wprowadzenie możliwości dodawania załączników do dokumentacji. Wprowadzenie tylko 1 pretestu na początku korzystania z aplikacji i 1 posttestu na zakończenie – przed wygenerowaniem dokumentacji. Wprowadzenie opcji, dzięki której informacje podane w rejestracji pojawiałyby się automatycznie podczas uzupełniania Konwertera. Możliwość dodawania kolejnych pomysłodawców powinna być bardziej widoczna (znak „+” jest mało widoczny). Dodanie opcji „wstecz” podczas uzupełniania aplikacji – w każdym panelu jest „dalej” i „zapisz”, a „wstecz” brakuje. Pytania pominięte (nieuzupełnione) nie powinny się pojawiać w dokumentacji. Bardziej szczegółowe pytania powinny być zgrupowane w kilka bardziej ogólnych.
Wszystkie te sugestie zmian zostały przekazane Kierownikowi Projektu, będą one omawiane i konsultowane z informatykami pod względem możliwości ich wprowadzenia. Zmiany i sugestie testerów będą w miarę możliwości wprowadzone do wersji finalnej Konwertera.
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
4. Ocena zadowolenia grupy testującej z udziału w projekcie W okresie testowania Menedżer Projektów Naukowych dwukrotnie spotkał się z uczestnikami grupy testującej – na początku oraz na zakończenie testowania. Podczas tych spotkań zarówno Użytkownicy, jak i Odbiorcy testowali aplikację Konwerter, zadawali pytania i zgłaszali uwagi dotyczące funkcjonowania i efektywności aplikacji. Uczestnicy tych spotkań zostali poproszeni także o wypełnienie krótkiej ankiety, mającej na celu zbadanie ich zadowolenia i komfortu na spotkaniach. W ankiecie badani oceniali poszczególne aspekty spotkań na skali od 1 (bardzo źle) do 5 (bardzo dobrze). Z ocen tych policzono średnie dla każdej z grup. Wyniki badania w grupie Odbiorców są bardzo dobre – przedstawiciele tej grupy są w zdecydowanej większość zadowoleni zarówno z organizacji spotkań, jak i z ich jakości oraz pozytywnie ocenili prowadzącego spotkania Menedżera Projektów Naukowych. Rysunek 9. Ocena jakości spotkań w grupie Odbiorców, zorganizowanych w ramach testowania aplikacji Konwerter
Czy Pana/i zdaniem testowanie przebiegło sprawnie?
4,5
W jakim stopniu podczas spotkań dostał/a Pan/i odpowiedź na dręczące pytania?
4,5
4,8
4,9
1,0 Na początku testowania
2,0
3,0
4,0
5,0
Na zakończenie testowania
Badani Odbiorcy bardzo dobrze lub dobrze ocenili przebieg testowania Konwertera zarówno podczas spotkania rozpoczynającego, jak i podczas spotkania kończącego testowanie. Wszyscy badani otrzymali w zadowalającym stopniu odpowiedzi na dręczące ich pytania dotyczące testowanego narzędzia.
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Rysunek 10. Ocena organizacji spotkań w grupie Odbiorców, zorganizowanych w ramach testowania aplikacji Konwerter
4,8
Warunki spotkań
5,0 4,9
Wyposażenie sali
5,0 4,8
Catering
5,0 4,9
Atmosfera podczas spotkania
5,0 1,0
2,0
Na początku testowania
3,0
4,0
5,0
Na zakończenie testowania
Badani Odbiorcy nie mieli także zastrzeżeń do organizacji spotkań – wszyscy uczestnicy zarówno spotkania rozpoczynającego, jak i kończącego testowanie pozytywnie wypowiedzieli się odnośnie warunków lokalowych, wyposażenia sali, cateringu oraz atmosfery panującej podczas spotkań. Rysunek 11. Ocena osoby prowadzącej spotkania w grupie Odbiorców, zorganizowane w ramach testowania aplikacji Konwerter 4,8 5,0
Umiejętność odpowiadania na pytania
4,5
Umiejętność tłumaczenia szczególnie trudnych kwestii
4,9 4,7
Umiejętność właściwego organizowania czasu spotkania
5,0 4,8 5,0
Dbanie o dobrą atmosferę podczas spotkania 1,0 Na początku testowania
2,0
3,0
4,0
5,0
Na zakończenie testowania
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Bardzo dobrze został również oceniony Menedżer Projektów Naukowych, który prowadził spotkania w ramach testowania. Uczestnicy spotkań ocenili pozytywnie umiejętności odpowiadania na pytania, tłumaczenia szczególnie trudnych kwestii, oraz organizowania czasu, a także dbania o dobrą atmosferę. Rysunek 12. Ocena stopnia spełnienia oczekiwań Odbiorców względem spotkań zorganizowanych w ramach testowania Konwertera 5,0 5,0
4,7
4,0
3,0
2,0
1,0 Czy spotkanie spełniło Pana/ Pani oczekiwania? Na początku testowania
Na zakończenie testowania
Wyniki ankiety przeprowadzonej podczas spotkań z grupą Odbiorców pokazują, że uczestnicy spotkań są z nich zadowoleni – spotkania spełniły ich oczekiwania. Podobną ankietę wypełniali podczas spotkań Użytkownicy Konwertera. Oni również zostali poproszeni o ocenę jakości spotkań, ich organizacji oraz o ocenę osoby prowadzącej spotkania. Wyniki badania pokazują, że również Użytkownicy są zadowoleni z udziału w tych spotkaniach.
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Rysunek 13. Ocena jakości spotkań w grupie Użytkowników, zorganizowanych w ramach testowania aplikacji Konwerter
Czy Pana/i zdaniem testowanie przebiegło sprawnie?
4,5
W jakim stopniu podczas spotkań dostał/a Pan/i odpowiedź na dręczące pytania?
4,5
4,8
4,9
1,0 Na początku testowania
2,0
3,0
4,0
5,0
Na zakończenie testowania
Wszyscy badani Użytkownicy, którzy wzięli udział w spotkaniach w ramach testowania uznali, że testowanie przebiegło sprawnie oraz, że otrzymali odpowiedzi na dręczące ich pytania. Rysunek 14. Ocena organizacji spotkań w grupie Użytkowników, zorganizowanych w ramach testowania aplikacji Konwerter 4,5
Warunki spotkań
4,7 4,5
Wyposażenie sali
5,0 3,8
Catering
4,3 4,0
Atmosfera podczas spotkania
4,3 1,0
2,0
Na początku testowania
3,0
4,0
5,0
Na zakończenie testowania
Badani Użytkownicy, podobnie jak Odbiorcy nie mieli zastrzeżeń do organizacji spotkań – wszyscy uczestnicy zarówno spotkania rozpoczynającego, jak i kończącego testowanie pozytywnie wypowiedzieli się odnośnie warunków lokalowych, wyposażenia sali, cateringu oraz atmosfery panującej podczas spotkań.
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Rysunek 15. Ocena osoby prowadzącej spotkania w grupie Użytkowników, zorganizowane w ramach testowania aplikacji Konwerter Przygotowanie i wiedza merytoryczna prowadzącego
4,0 4,3 4,0 4,0
Sposób przekazywania informacji
4,0
Umiejętność odpowiadania na pytania
4,3
Umiejętność tłumaczenia szczególnie trudnych kwestii
3,8
Umiejętność właściwego organizowania czasu spotkania
3,8
4,7
4,0 4,0
Dbanie o dobrą atmosferę podczas spotkania
4,7 1,0
Na początku testowania
2,0
3,0
4,0
5,0
Na zakończenie testowania
Użytkownicy aplikacji Konwerter, którzy wzięli udział w spotkaniach ocenili także prowadzącego je Menedżera Projektów Naukowych. Ocena ta wypadła pozytywnie. Wysoko zostało ocenione przygotowanie i wiedza merytoryczna, sposób przekazywania informacji oraz umiejętność odpowiadania na pytania. Umiejętność tłumaczenia szczególnie trudnych kwestii została przez Użytkowników oceniona lepiej na drugim spotkaniu niż przy pierwszym kontakcie. Może to świadczyć o tym, że Menedżer po zapoznaniu się z grupą i jej wymaganiami dostosował formę i zakres spotkań do potrzeb uczestników. Dość dobrze wypadła również ocena organizowania czasu spotkania, a bardzo dobrze uczestnicy spotkań ocenili ich atmosferę.
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
Rysunek 16. Ocena stopnia spełnienia oczekiwań Użytkowników względem spotkań zorganizowanych w ramach testowania Konwertera 5,0 4,3 4,0 4,0
3,0
2,0
1,0 Czy spotkanie spełniło Pana/ Pani oczekiwania? Na początku testowania
Na zakończenie testowania
Wyniki ankiety przeprowadzonej podczas spotkań z grupą Użytkowników pokazują, że uczestnicy spotkań są z nich zadowoleni – spotkania spełniły ich oczekiwania.
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
5. Ocena efektów pracy z Konwerterem – wygenerowanej dokumentacji przedinwestycyjnej W toku ewaluacji wewnętrznej ostatnim elementem oceny była wygenerowana dokumentacja przedinwestycyjna. W ramach testowania powstało 10 projektów, które opracowali wspólnie Użytkownicy i Odbiorcy biorący udział w testowaniu: 1. 2. 3. 4. 5. 6. 7.
Mobilny lokalizator studencki; Koloidy srebra z Uniwersytetu Łódzkiego; Pozyskiwanie substancji probiotycznych z odpadów przemysłu browarniczego; Działanie przeciwbakteryjne olejków eterycznych na gronkowca; Serwis/portal internetowy; Wykorzystanie biosurfaktantów w przemyśle kosmetycznym; Zastosowanie pochodnych kwasów poli(oksyalkileno) ditiofosforowych jako wielofunkcyjnych dodatków do środków o niskiej zawartości fosforu; 8. Lokalizator restauracji; 9. Mini konsola – przenośna mini konsola oparta na systemie iOS; 10. Eko-rower bez łańcucha. Na podstawie analizy wygenerowanej dokumentacji przedinwestycyjnej ww. projektów dokonanej wspólnie przez Menedżera Projektów Naukowych oraz Użytkowników i Odbiorców wyciągnięto następujące wnioski:
Dokumentacja ma przejrzystą strukturę, chociaż brakuje w niej spisu treści, który ułatwiałby znalezienie potrzebnych informacji bez przeglądania całości. Zawartość dokumentacji oczywiście zależy od tego, w jakim stopniu osoba wypełniająca aplikację ją uzupełni. Wpisanie małej ilości danych powoduje, że w dokumentacji są luki i źle się ją czyta. Utrudnieniem w dobrym odbiorze tekstu dokumentacji jest również to, że widoczne są w niej nieuzupełnione pytania. Kolejność poszczególnych elementów dokumentacji jest prawidłowa i logiczna. Grafika dokumentacji jest dość monotonna. Niektóre elementy tekstu mogłyby być bardziej wyróżnione, aby czytanie było urozmaicone. Wykresy są niezbyt czytelne – kolory się zlewają. Analiza SWOT po wydruku również jest mało czytelna. Wygląd i zawartość abstraktu nie budzi zastrzeżeń.
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego
6. Podsumowanie i wnioski końcowe Wyniki z ewaluacji wewnętrznej produktu finalnego pozwalają na stwierdzenie, że innowacyjne narzędzie – Konwerter komercjalizacji prac naukowych w zasadzie spełnia oczekiwania Odbiorców i Użytkowników. Użytkownicy i Odbiorcy pozytywnie ocenili każdy z paneli Konwertera pod względem: zawartości merytorycznej, adekwatności pytań do potrzeb oraz długości wypełniania panelu. Wyniki badania pokazują, że wszystkie umieszczone panele Konwertera będą przydatne jego Użytkownikom i Odbiorcom. W ocenie osób testujących nieco słabiej w porównaniu z innymi wypadł panel „Algorytm badania wartości prac badawczych”. Problemem przy tym panelu wskazywanym przez osoby testujące była jego długość – jest to najdłuższy z 5 paneli. Jednakże zawartość merytoryczna wszystkich 5 paneli została przez Użytkowników i Odbiorców Konwertera oceniona bardzo dobrze lub dobrze. Grupa testująca miała niewielkie zastrzeżenia odnośnie grafiki Konwertera. Testujące osoby wskazywały na możliwość zastosowania bardziej oryginalnej grafiki. Jednakże nie ma to większego wpływu na wypełnianie aplikacji i generowanie dokumentacji przedinwestycyjnej. Wygląd i zawartość abstraktu nie budzi zastrzeżeń. Osoby testujące oceniły Bazę Wiedzy, jako bardzo przydatne narzędzie w procesie uzupełniania aplikacji. Jednocześnie wskazali na konieczność „uproszczenia” niektórych haseł, znajdujących się w Bazie Wiedzy. Osoby testujące widzą potrzebę uzupełniania pretestów i posttestów, jednakże wskazali kilka cennych uwag, które zostaną uwzględnione przy tworzeniu finalnej wersji Konwertera. Sam proces testowania został oceniony zarówno przez Odbiorców jak i przez Użytkowników bardzo dobrze lub dobrze. Osoby testujące aplikację Konwerter, które wzięły udział w spotkaniach zorganizowanych w ramach testowania oceniły w sposób bardzo dobry prowadzącego je Menedżera Projektów Naukowych. Na podstawie wyników ewaluacji wewnętrznej można stwierdzić, że Konwerter po wprowadzeniu niewielkich poprawek będzie narzędziem efektywnym i skutecznym oraz przydatnym dla jego Użytkowników i Odbiorców.
Projekt „Interaktywny system współpracy w zakresie komercjalizacji wynalazków i badań naukowych” współfinansowany ze środków Unii Europejskiej w ramach Europejskiego Funduszu Społecznego