un blog de Radu Dumitru

►► canalele mele de YouTube: youtube.com/RaduDumitru (personal) și youtube.com/NwraduBlog (tech) ◄◄

Lumea roboților: Gemini și ChatGPT nu pot face un simplu calcul matematic

12 Apr 2024  ·

GÂNDURI  ·

13 comentarii

Când am scris despre NVIDIA și cum aruncă exaFlops în stânga și dreapta, m-am uitat un pic pe sistemul internațional de unități și multipli. Au introdus recent Ronna și Quetta ca multipli.

Ronna este ceva uriaș, 10 la puterea 27. M-am gândit atunci: “hei, știi ce-ar fi mișto? Să exprim distanța până la Soare în ronnametri!”

Și cine să calculeze asta mai simplu decât un AI, nu? Gemini sau ChatGPT?

Le-am pus lor întrebarea. Am primit 9 răspunsuri diferite de la Gemini și doar unul era corect. L-am întrebat și pe ChatGPT. Și răspunsul acelui AI a fost greșit.

Dar nu că au fost greșit. Au fost multe aberații în cele 10 răspunsuri adunate acolo. Faptul că unii folosesc AI-urile acestea pentru școală mă sperie, având în vedere răspunsurile primite.

Calculul este unul simplu. Întâi trebuie aflată distanța până la Soare, care este de aproximativ 150 milioane kilometri. Apoi trebuie înțeles ca este un ronnametru, dar prefixul ronna este unul totuși ușor de înțeles, nefiind utilizat pentru altceva. Trebuie doar împărțită distanța la 1 Rm.

Și totuși, 9 răspunsuri greșite. Când întrebi ceva pe Gemini, îți dă înapoi trei variante de răspuns. De obicei diferă exprimările. Acum, difereau calculele! În cele trei drafturi de răspuns, erau mereu alte rezultate. Un răspuns era de un milion de ori mai mare decât altul. Al treilea era de pur și simplu 1,34 Rm.

După ce pun din nou întrebarea, încurcă ronnametri cu RON, moneda, și zice și de o conversie în euro. “Sunt 1.000.000 de euro într-un kilometru”, zice cu mândrie Gemini.

Am încercat mai multe varianta în engleză și română. Am încercat cu “ronnametres” și “ronna metres”. Oricum nu contează asta, un AI LLM ar trebui să fie foarte abil în a înțelege o întrebare simplă. Uitați-vă la cum testează TechCrunch AI-urile și ce întrebări pun acolo.

Răspunsul corect este acesta:

Soarele chiar este la 1,49 x 10 la puterea -16 ronnametri distanță. Am zis și acolo, un milion de galaxii ca a noastră puse cap la cap fac un ronnametru. Am impresia că întreg universul observabil, 93 de miliarde de ani-lumină în diametru, este mai mic de 1 ronnametru. Pur și simplu prefixul acesta nu este gândit pentru distanțe.

Un prieten cu care am discutat cele de mai sus a pus însă întrebarea pe Wolfram Alpha. Au și acolo un soi de AI interpretor de sintaxă. Wolfram Alpha a dat din prima răspunsul corect, deci bravo lor.

    13 comentarii

  1. Yap, ChatGPT, nu a reusit din doua incercari sa rezolve o problema de clasa a 4 a. Destul de lame.

      (Citează)

  2. Sa vezi asta la chatgpt(free) : “ Daca o masina accelerează de la 0 la 100 km/h intr-o secunda, ce forte G sunt exercitate asupra șoferului din masina care are o greutate de 70 de kg ? “ o sa ti raspunda cu 200 G – uri.
    Daca intreb la copilot cu chatgpt 4, zice ca e 2.83 G.

    Probabil ca i au facut prosti intenționat ca sa plătești pentru varianta plătită.

      (Citează)

    • Cred ca l-ai incurcat cu greutatea soferului. Eu l-am intrebat fara sa-i spun acest detaliu si mi-a raspuns corect.

      Dar in acelasi timp, este posibil sa isi fi actualizat baza de date dupa ce ai pus tu aceeasi intrebare mai devreme.

        (Citează)

    • Daniel: asupra șoferului din masina care are o greutate de 70 de kg

      Diverse observații privitoare la exprimare:
      – șoferul are 70 de kg, sau mașina?
      – dacă la observația de mai sus îmi răspunzi că trebuie să își dea seama că e vorba de șofer pentru că sunt 70 de kg, atunci nici tu nu trebuia să precizezi “din mașină”, pentru că e evident că nu poți fi șofer dacă nu ești în mașină.
      – masă, greutate, tot una? Înțeleg în vorbirea curentă, dar în fizică nu.
      Avem pretenții de la gipti…

        (Citează)

  3. Radu, s-ar putea sa fi omis ceva esential. Chiar tu ai spus ca aceste unitati de masura au fost lansate recent. Recent insemnand noiembrie 2022.
    Daca ai fi intrebat ChatGPT care este cutoff date-ul informatiilor sale, ai fi aflat ca este ianuarie 2022.

      (Citează)

    • am venit aici sa zic fix asta. Radu il intreaba pe chat gpt despre ceva care, la ultimul update, nici nu era anuntat. dar e pasionat de tech

      ia vezi, alice ce zice?

        (Citează)

    • alunelu: Diverse observații privitoare la exprimare:
      – șoferul are 70 de kg, sau mașina?
      – dacă la observația de mai sus îmi răspunzi că trebuie să își dea seama că e vorba de șofer pentru că sunt 70 de kg, atunci nici tu nu trebuia să precizezi “din mașină”, pentru că e evident că nu poți fi șofer dacă nu ești în mașină.
      – masă, greutate, tot una? Înțeleg în vorbirea curentă, dar în fizică nu.
      Avem pretenții de la gipti…

      Irelevant, eu subliniam altceva …

        (Citează)

  4. curios ce ar fi răspuns Copilot din Windows :)
    daca tin minte bine cei de la Wolfram au ceva colaborare cu Bing Search (poate gresesc)

      (Citează)

    • Am întrebat eu Copilot. A răspuns:
      “Dacă presupunem că un ronnametru este echivalentul unei distanțe de 1 metru, atunci distanța de la Pământ la Soare este de aproximativ 149,6 miliarde de ronnametri. Asta înseamnă o călătorie lungă chiar și pentru o navă spațială imaginară! 🚀🌞:

        (Citează)

  5. La mine a dat-o de gard cu niste calcule simple cu adunari si inmultiri. Le-am pus pe chatgpt pentru ca imi era lene sa stau sa dau copy paste in calculator. Tot asa raspunsuri gresite unul dupa altul.

      (Citează)

  6. “ un AI LLM ar trebui să fie…”
    As dori sa te intrerup aici

      (Citează)

  7. – Mi se pare ca nu ai luat de loc in considerare actualitatea informatiilor, si ai avut asteptari prea mari de la un search engine glorificat.
    – Promptul pe care i l-ai pus nu i-a dat nimic din contextul necesar ca sa-ti aduca un raspuns corespunzator.

    Uite cu un context corespunzator cum iti raspunde, fara nicio alta informatie.
    https://imgur.com/a/2c3LcjA

    Nu am verificat matematica, dar cred ca este aproape de 1.4959787e-16?

    Pentru noi in dezvoltare software, Copilot este extrem de atragator pentru multe aspecte din programare care tin de: explicatii, munca de sisif, optimizari mici, conversii/transpilari de cod, automatizare si multe intrebari mici pe care le puneam pe stackoverflow acum le raspunde cu brio.

      (Citează)

    • Da, uitandu-ma peste calcul, nu da un raspuns corect.

      Dar daca-i dai direct 1 AU in meter / 10^27, raspunde corespunzator.

      Astfel de lucruri se numesc aberatii/halucinatii, cand vine vorba de LLM-uri, unde momentan AI-urile sufera de multe probleme. Dar ele invata din prompturi. Mai avem mult pana cand vom avea o IA generalizata.

      https://github.com/vectara/hallucination-leaderboard

        (Citează)

    Alătură-te discuției, lasă un mesaj

    E-mail-ul nu va fi publicat. Fără înjurături și cuvinte grele, că vorbim prietenește aici. Gândiți-vă de două ori înainte de a publica. Nu o luați pe arătură doar pentru că aveți un monitor în față și nu o persoană reală.

    Apăsați pe Citează pentru a cita întreg comentariul cuiva sau selectați întâi anumite cuvinte și apăsați apoi pe Citează pentru a le prelua doar pe acelea. Link-urile către alte site-uri, dar care au legătură cu subiectul discuției, sunt ok.


    Prin trimiterea comentariului acceptați politica de confidențialitate a site-ului.



    Vreți un avatar în comentarii? Mergeți pe gravatar.com (un serviciu Wordpress) și asociați o imagine cu adresa de email cu care comentați.

    Dacă ați bifat să fiți anunțați prin email de noi comentarii sau posturi, veți primi inițial un email de confirmare. Dacă nu validați acolo alegerea, nu se va activa sistemul și după un timp nu veți mai primi nici alte emailuri

    Comentariile nu se pot edita ulterior, așa că verificați ce ați scris. Dacă vreți să mai adăugați ceva, lăsați un nou comentariu.

sus