Czy ChatGPT dobrze sprawdza się w edukacji pacjentów?

Według grupy z Bostonu (badanie opublikowane 16 czerwca 2023 roku) pacjenci są lepiej edukowani, korzystając z materiałów edukacyjnych na stronie internetowej Towarzystwa Radiologii Interwencyjnej (SIR) niż z wyników ChatGPT na te same tematy. Badacze pod kierunkiem Colina McCarthy’ego z Harvard Medical School porównali wiedzę edukacyjną SIR dla pacjentów z odpowiedziami na te same tematy udzielonymi przez ChatGPT. Odkryli, że podsumowania chatbota były przydatne, ale w znacznej liczbie przypadków były trudniejsze do odczytania, bardziej szczegółowe i niedokładne.

„Platforma ChatGPT może generować niekompletne lub niedokładne treści edukacyjne dla pacjentów, a dostawcy powinni być zaznajomieni z ograniczeniami systemu w jego obecnej formie” – napisała grupa. Szacuje się, że w 2017 r. 74,4% pacjentów korzystało z Internetu jako pierwszego źródła informacji podczas badania stanu zdrowia. Biorąc pod uwagę potencjalną rolę dużych modeli językowych (LLM), takich jak ChatGPT, w edukacji pacjentów, badacze postanowili ocenić ich dokładność, kompletność i czytelność w porównaniu z tradycyjnym źródłem.

Naukowcy zebrali treści ze strony internetowej Centrum Pacjentów SIR i uzyskali 104 pytania na podstawie nagłówków stron docelowych każdego tematu. Pytania te zostały wprowadzone raz do ChatGPT-3.5 w ciągu dwóch dni w grudniu 2022 r. Treść strony internetowej SIR i wyniki ChatGPT zostały następnie przeanalizowane pod kątem liczby słów i zdań, czytelności przy użyciu wielu zatwierdzonych skal oraz poprawności merytorycznej i przydatności do edukacji pacjentów.

W sumie przeanalizowano 21 154 słów, w tym 7 917 słów ze strony internetowej i 13 377 słów reprezentujących całkowity wynik platformy ChatGPT w dwudziestu dwóch fragmentach tekstu. Według analizy, w porównaniu ze stroną internetową SIR, dane wyjściowe platformy ChatGPT były dłuższe i trudniejsze do odczytania na czterech z pięciu skal czytelności, a dane wyjściowe ChatGPT były nieprawidłowe w przypadku 12 ze 104 (11,5%) pytań. Ponadto naukowcy odkryli, że treści zarówno ze strony internetowej, jak i ChatGPT były znacznie powyżej zalecanego piątego lub szóstego poziomu edukacji pacjentów, przy średnim poziomie oceny Flesch Kincaid wynoszącym 11,1 (± 1,3) dla strony internetowej i 11,9 (± 1,6) dla treści ChatGPT.

„Ponieważ pacjenci i ich opiekunowie nadal szukają elektronicznych źródeł informacji zdrowotnych, społeczność medyczna powinna zdać sobie sprawę, że ich pierwszym przystankiem może nie być portal społecznościowy ani inne źródła podstawowej prawdy” – zauważyli autorzy. Ostatecznie jednak takie źródła mogą zyskać na ulepszeniach, w szczególności w celu zapewnienia, że ​​treść jest zrozumiała dla większości czytelników, napisali.„Mogą istnieć możliwości dostrojenia istniejących dużych modeli językowych, które można zoptymalizować pod kątem dostarczania treści edukacyjnych pacjentom” – podsumował McCarthy i współpracownicy.

https://www.auntminnie.com/index.aspx?sec=sup&sub=imc&pag=dis&ItemID=140460


Follow Us

hello@radiopeiron.com