Studiuesit vlerësojnë performancën e ChatGPT në përmbledhjen e abstrakteve mjekësore

Në një studim të fundit të botuar në Annals of Family Medicine, studiuesit vlerësuan efikasitetin e Chat Generative Pretrained Transformer (ChatGPT) në përmbledhjen e abstrakteve mjekësore për të ndihmuar mjekët. Studimi synoi të përcaktojë cilësinë, saktësinë dhe paragjykimet në përmbledhjet e krijuara nga ChatGPT, duke ofruar njohuri mbi potencialin e tij si një mjet për tretjen e sasive të mëdha të literaturës mjekësore mes kufizimeve kohore me të cilat përballen profesionistët e kujdesit shëndetësor.

Vlerësime të larta për cilësi dhe saktësi

Studimi përdori ChatGPT për të përmbledhur 140 abstrakte mjekësore nga 14 revista të ndryshme, duke reduktuar përmbajtjen me një mesatare prej 70%. Pavarësisht disa pasaktësive dhe halucinacioneve të zbuluara në një pjesë të vogël të përmbledhjeve, mjekët i vlerësuan shumë përmbledhjet për cilësinë dhe saktësinë. Gjetjet sugjerojnë se ChatGPT ka potencialin për të ndihmuar mjekët në rishikimin efikas të literaturës mjekësore, duke ofruar përmbledhje koncize dhe të sakta mes vëllimit dërrmues të informacionit.

Studiuesit zgjodhën 10 artikuj nga secila prej 14 revistave që mbulojnë tema dhe struktura të ndryshme mjekësore. Ata e ngarkuan ChatGPT të përmbledhë këto artikuj dhe vlerësuan përmbledhjet e krijuara për cilësinë, saktësinë, paragjykimin dhe rëndësinë në dhjetë fusha mjekësore. Studimi zbuloi se ChatGPT kondensoi me sukses abstraktet mjekësore me një mesatare prej 70%, duke marrë vlerësime të larta nga recensuesit e mjekëve për cilësinë dhe saktësinë.

Implikimet për kujdesin shëndetësor

Pavarësisht vlerësimeve të larta, studimi identifikoi pasaktësi serioze dhe halucinacione në një numër të vogël përmbledhjesh. Këto gabime varionin nga të dhënat kritike të hequra deri te keqinterpretimet e modeleve të studimit, të cilat mund të ndryshojnë potencialisht interpretimin e gjetjeve të kërkimit. Sidoqoftë, performanca e ChatGPT në përmbledhjen e abstrakteve mjekësore u konsiderua e besueshme, me paragjykime minimale të vërejtura.

Ndërsa ChatGPT tregoi një përafrim të fortë me vlerësimet njerëzore në nivel ditar, performanca e tij në përcaktimin e rëndësisë së artikujve individualë me specialitete specifike mjekësore ishte më pak mbresëlënëse. Kjo mospërputhje theksoi një kufizim në aftësinë e ChatGPT për të identifikuar me saktësi rëndësinë e artikujve të veçantë brenda kontekstit më të gjerë të specialiteteve mjekësore.

Studimi ofron njohuri të vlefshme për potencialin e AI, veçanërisht ChatGPT, për të ndihmuar mjekët në rishikimin efikas të literaturës mjekësore. Ndërsa ChatGPT premton në përmbledhjen e abstrakteve mjekësore me cilësi dhe saktësi të lartë, nevojiten kërkime të mëtejshme për të adresuar kufizimet dhe për të përmirësuar performancën e tij në kontekste specifike mjekësore.

Hulumtimet e ardhshme mund të fokusohen në përsosjen e aftësisë së ChatGPT për të njohur rëndësinë e artikujve individualë për specialitete specifike mjekësore. Për më tepër, përpjekjet për të zbutur pasaktësitë dhe halucinacionet në përmbledhjet e krijuara mund të rrisin më tej dobinë e mjeteve të AI në mjediset e kujdesit shëndetësor.

Burimi: https://www.cryptopolitan.com/chatgpt-in-summarizing-medical-abstracts/