Zdarzyło Ci się kiedyś zadać modelowi AI dokładnie to samo pytanie dwa razy i otrzymać dwie nieco inne odpowiedzi? To nie błąd – to cecha. W przeciwieństwie do klasycznego oprogramowania, które przy tym samym wejściu zawsze zwraca ten sam wynik, modele językowe operują na elemencie losowości, który nadaje im naturalność, kreatywność i zdolność „rozważania” wielu możliwych kontynuacji zdania.
Właśnie ta zmienność sprawia jednak, że ocena jakości AI jest znacznie trudniejsza niż w przypadku zwykłego oprogramowania. Jak poznać, czy model jest naprawdę dobry, skoro na to samo pytanie może dziś dać inną odpowiedź niż jutro? Przyjrzyjmy się mechanizmom stojącym za tą „nieprzewidywalnością” oraz sposobom, w jakie mimo to można wiarygodnie mierzyć jakość AI.
Zrozumienie, jak AI generuje odpowiedzi i jak mierzy się jej jakość, ma bezpośredni wpływ na:
Przyjrzyjmy się więc bliżej konkretnym pojęciom, które stoją za „osobowością” i jakością modeli AI.
Przy generowaniu każdego kolejnego słowa model nie zawsze wybiera najbardziej prawdopodobną opcję. Zamiast tego przypisuje prawdopodobieństwo dziesiątkom lub setkom kandydatów, a następnie jednego z nich losowo „wybiera” – z większą szansą dla bardziej prawdopodobnych słów. Ten proces nazywa się sampling i jest głównym powodem, dla którego odpowiedzi różnią się przy powtórzeniu.
Temperature to parametr kontrolujący, jak „odważny” jest model przy wyborze słów. Przy niskiej temperature (blisko zera) model niemal zawsze wybiera najbardziej prawdopodobne słowo – odpowiedzi są spójne, choć może nieco nudne. Przy wysokiej temperature model chętniej sięga też po mniej prawdopodobne słowa – wynik jest bardziej kreatywny, ale mniej przewidywalny, a czasem także mniej dokładny.
Jeśli ustawisz temperature na zero, model staje się niemal deterministyczny – przy tym samym wejściu powinien (niemal) zawsze zwrócić ten sam wynik. Mówimy „niemal”, ponieważ w dużych systemach działających na wielu serwerach drobne czynniki techniczne mogą powodować niewielkie odchylenia nawet przy zerowej temperature.
Gdy trzeba obiektywnie zmierzyć jakość AI – na przykład w zadaniach klasyfikacyjnych, wyszukiwaniu informacji czy wykrywaniu błędów – sięga się po trójkę klasycznych metryk:
Precision (precyzja) mówi, jaki procent rzeczy oznaczonych przez model jako poprawne był naprawdę poprawny. Recall (czułość) pokazuje z kolei, jaki procent wszystkich rzeczywiście poprawnych elementów model zdołał znaleźć. Ponieważ te dwie metryki często ze sobą konkurują – wyższa precyzja może oznaczać niższy recall i odwrotnie – stosuje się F1 score, który matematycznie równoważy je w jednej liczbie.
W ciągu jednego dnia nauczysz się praktycznie korzystać z nowoczesnych narzędzi AI, nawet bez wcześniejszej znajomości programowania. Wypróbujesz ChatGPT, DeepSeek, Google Colab, trenowanie własnego modelu na danych oraz poznasz możliwości AI w AWS.
Oprócz AI oferujemy również tradycyjne kursy programowania, na przykład w językach PHP czy Java. Dzięki nam zrozumiesz technologię dogłębnie, a nie tylko jej powierzchnię.
Wiąże się to z działaniem samplingu – model generuje najbardziej prawdopodobną kontynuację tekstu, a nie zweryfikowaną prawdę, dlatego może „pomylić się” w bardzo przekonujący sposób.
Niekoniecznie – zależy od zadania. Przy odpowiedziach faktograficznych tak, ale przy kreatywnym pisaniu wyższa temperature często daje ciekawsze rezultaty.
Oznacza, że model osiąga dobrą równowagę między precyzją a czułością – znajduje większość poprawnych odpowiedzi i jednocześnie rzadko się myli.