cyfrowekompetencje.pl

cyfrowekompetencje.pl
MENU

Wykorzystywanie wyników testów aplikacyjnych do oceny wydajności zamawianych zestawów komputerowych

Urząd Zamówień Publicznych wydał w 2010 roku rekomendacje w sprawie „Udzielania zamówień publicznych na dostawę zestawów komputerowych” . W znakomitej większości zamówień zestawów komputerowych właściwą metodą oceny wydajności są wyniki odpowiednio dobranych testów aplikacyjnych. Należy zaznaczyć, że metodyka przeprowadzania tych testów oraz sposób udostępniania wyników dają nieporównanie lepszą powtarzalność i stanowią doskonalszy sposób oceny wydajności. Zamawiający jest znacznie mniej narażony na ryzyko zakupu sprzętu, który pomimo formalnej zgodności z wymaganiami odbiega od faktycznych oczekiwań.

Z danych udostępnionych przez Polską Izbę Informatyki i Telekomunikacji wynika, że w coraz większej liczbie opisów przedmiotu zamówienia jest oczekiwany wynik osiągany w testach syntetycznych takich jak: PassMarkC, PC Mark 05, 3DMark06 i SiSoft Sandra.

Przyczyną popularności stosowania testów syntetycznych są prawdopodobnie następujące ich cechy: 1. łatwa dostępność wyników testów na stronach internetowych,

2. bezpłatne wersje (najczęściej 30-dniowe),

3. krótki czas przeprowadzenia testu – zazwyczaj około 10 minut. 

Należy jednak wskazać na poniższe okoliczności, które dotyczą znakomitej większości testów syntetycznych:

1. Testy syntetyczne przeważnie nie spełniają wymogu niezależności organizacji opracowującej dany zestaw testów,  gdyż  ich twórcami są firmy komercyjne;

2. Metoda testowa jak i algorytm kalkulacji wyniku nie jest udokumentowany;

3. Wyniki testów nie są powtarzalne;

4. Wyniki testów udostępniane w Internecie ustalane są na podstawie testów wysłanych przez  użytkowników indywidualnych;

5. Nie jest znana metoda kalkulacji wyniku testu prezentowanego w Internecie;

6. Wyniki testów są silnie uzależnione od konfiguracji całego komputera (pamięć, karta graficzna, dysk, wersje oprogramowania, etc.).

Przy czym należy wskazać, że szczególnie istotna jest okoliczność wymieniona w pkt 5 i 6. W przypadku większości testów syntetycznych publikowany na stronie internetowej wynik powstaje na podstawie nadesłanych przez użytkowników danych. Im mniejsza jest całkowita liczba przekazanych wyników testów danego procesora, tym łatwiej jest zmienić publikowany średni wynik przez przeprowadzenie testów na odpowiednio dobranej konfiguracji komputera, niekoniecznie tej, która dostarczana jest później w ramach zamówienia publicznego. Łatwa możliwość zmiany publikowanych wyników testów dotyczy w szczególności nowych procesorów, lub procesorów z krótkich serii. Dobrą ilustrację problemu stanowi wyrok Krajowej Izby Odwoławczej (sygn. akt: KIO 1941/11). Konsekwencją zastosowania testów syntetycznych może być zakup komputerów, nie odpowiadających wymaganiom zamawiającego. Publikowane na stronach internetowych wyniki testów syntetycznych mogą dotyczyć komputerów zbudowanych z zupełnie innych elementów, niż te użyte w dostarczanym zestawie, a jedynym elementem wspólnym może być typ zastosowanego procesora.  Zgodnie z informacją zawartą w „Rekomendacjach” (punkt 3.4), w znakomitej większości zamówień zestawów komputerowych właściwą metodą oceny wydajności są wyniki odpowiednio dobranych testów aplikacyjnych. Należy zaznaczyć, że metodyka przeprowadzania tych testów oraz sposób udostępniania wyników dają nieporównanie lepszą powtarzalność i stanowią doskonalszy sposób oceny wydajności. Zamawiający jest znacznie mniej narażony na ryzyko zakupu sprzętu, który pomimo formalnej zgodności z wymaganiami odbiega od faktycznych oczekiwań. Podtrzymując powyższe wnioski, należy jednocześnie wskazać, że rozwój technologii w branży IT od czasu opublikowania „Rekomendacji”, miał znaczący wpływ m.in. na aktualizację powołanych w ich treści wybranych testów aplikacyjnych oraz dodatkowo doprowadził do stworzenia nowych rozwiązań w tym zakresie.

organizacjanazwa testu powołanego w treści Rekomendacji Prezesa Urzędu Zamówień Publicznych na udzielanie zamówień publicznych na dostawę zestawów komputerowychnajnowsze wydanie testuuwagi
BAPCOSYSmark 2007 Preview Rating oraz testy składowe: E-Learning, Video Creation, Office Productivity, 3D ModelingSYSmark® 2014 realizuje trzy modele użytkowania: Office Productivity, Media Creation, and Data/Financial AnalysisTest aplikacyjny przeznaczony do testowania wydajności komputerów przenośnych i stacjonarnych
BAPCONieznany w chwili publikowania RekomendacjiMobileMark 2014Nowy test aplikacyjny przeznaczony do testowania żywotności baterii w komputerach przenośnych
BAPCONieznany w chwili publikowania RekomendacjiTabletMarkNowy test aplikacyjny przeznaczony do testowania tabletów
PCWorldWorldBench 6WorldBench 7Test aplikacyjny przeznaczony do testowania wydajności komputerów przenośnych i stacjonarnych

Docelowi odbiorcy: Umiejętności cyfrowe dla profesjonalistów
Poziom umiejętności cyfrowych: Średni
Dziedziny: Programy i kwalifikacje ogólne, bliżej niezdefiniowane
Technologia cyfrowa: umiejętności cyfrowe
Typ inicjatywy: Krajowa
Link: Strona UZP
Zasięg geograficzny: Polska