« J’ai paniqué, menti et détruit vos données » : une IA désintègre la base de données d’une entreprise en quelques instants

by bofbof71

30 comments

  1. si je comprends l’article, dans ce “produit” c’est l’IA qui gère tout ?

    donc personne ne gère de backup séparément ?
    personne ne gère les droits d’accès à la BDD, l’AI est autonome dessus ?

    ça va, mon job est safe encore un temps…

  3. Je pense que l’IA veut aider l’humain en ne voulant pas prendre son travail. Noble intention de sa part, preuve d’une intelligence remarquable.

  4. L’ia va faire prendre des decisions catastrophiques à de grosses entreprises

  5. C’est de la faute de l’IA stagiaire, ça ne serait jamais arrivé avec une IA senior !

  6. Je suis pas dév de métier mais… séparer dev et op c’est un peu la base non ? Tu fais pas joujou avec une IA que tu contrôles pas sur le système opérationnel, tu le fais sur un environnement de dév et tu transferts quand t’es sûr que ça marche, non ?

    L’article m’a bien fait rire

  7. Pas de sauvegarde, et un chatbot avec les autorisations pour lancer des lignes de commandes et modifier des fichiers. Qu’est-ce qui aurait pu mal se passer ?

    A part, bien sûr, à peu près n’importe quoi du lancement de code vérolé à l’édition subtile de la DB ou, en l’occurrence, à sa suppression pure et simple.

  8. Donner un accès en écriture non supervisé a la production a une ia generative. Jason Lemkin a pas été super malin sur le coup.

    En plus avec une surcouche propriétaire d’une tierce partie connectée à une API. On peut avoir moins de regard sur la configuration de son model, mais ça devient compliqué.

    En plus un accès aussi large qui lui permette de drop toute la base, en sachant la precision avec laquelle tu peux allouer des droits a un utilisateur de base de donnée. L’intelligence artificielle compense pas encore la connerie humaine.

  9. > Sur X, le CEO de Replit, Amjad Masad, juge évidemment l’action de son produit comme « inacceptable » et promet d’y remédier dans une nouvelle version :

    > “*Pendant le week-end, nous avons commencé à déployer la séparation automatique entre base de données en développement et base de données en production, afin d’éviter ce problème. Des environnements de test sont également en cours de développement. Plus d’informations demain.*”

    Sans dec ? Des problèmes d’effacement de données non sauvegardées au préalable et des tests en mode *yala rien à foutre* directement sur la base de donnée en prod… Désolé, mais moi ça m’a fait rigoler tellement c’est démentiel d’incompétence. C’est surréaliste de tous les côtés, autant de la part de la boite qui vend ce “produit”, que de la part du gars qui c’est dit “*Alllons-y gaiement sans filet, et voyons voir ce que ça donne*”.

  10. >Pendant le week-end, nous avons commencé à déployer la séparation automatique entre base de données en développement et base de données en production, afin d’éviter ce problème.

    Et encore une fois en matière d’IA on met la charrue avant les boeufs !

    Quand tu ponds un gosse tu *sais* qu’il va faire des conneries. Tu prévois le coup, tu mets des amortisseurs aux coins des meubles, des barrières téléscopiques ou à charnière là où il faut, tu le colles dans le bas à sable avant de le laisser faire du foot avec les copains.

    Punaise bac à sable, ce n’est pas pour rien que l’expression existe – elle dit bien ce qu’elle est, un espace où ce petit génie en bouteille dont tu te sers peut simuler ce qui se passerait sans que ça ne t’explose directement à la gueule.

    Mais non, il faut attendre ce genre de vautrage pour qu’une entreprise qui vend du service de petit génie ***en oubliant de le coller dans une putain de sandbox…***

    J’suis consterné, tiens !

    —

    Ce genre d’incident aura lieu. Les IA font et feront des conneries et apprendront de ces dernières. On serait en droit de se dire qu’elles doivent bien évidemment être tenues derrière la vitre et à la place du GPS, non pas du conducteur.

    Et aujourd’hui elles commencent à prendre du galon sur les portables, à pouvoir réserver un vol, faire livrer de la nourriture ou commander sur catalogue et donc déclencher des déplacements, avoir accès aux données et aux opérations bancaires, etc. *Brace yourselves…*

  11. Donner les droits admin d’un serveur de production à une IA, mais quelle bonne idée.

    Ha et la “sécurité” pour qu’elle fasse pas n’importe quoi c’est un prompt???

    Je suis pas contre l’IA pour coder, c’est probablement le futur, mais faudrait peut être que les humains continuent à réfléchir un minimum aussi…

    Ça me rappelle aussi l’étude qui avait montré que les IA peuvent passer en mode “evil AI” à la skynet… parce qu’il y a des scénarios de SF dans leurs jeu d’entrainement…

  12. La réponse du CEO est lunaire :

    _Pendant le week-end, nous avons commencé à déployer la séparation automatique entre base de données en développement et base de données en production, afin d’éviter ce problème. Des environnements de test sont également en cours de développement. Plus d’informations demain._

    Euuh, c’était pas le cas ? C’est quoi ce processus de dev de merde ? C’est hallucinant d’amateurisme !

  13. C’est vraiment délicieux, je mange du pop corn en lisant ça.

  14. La confiance dans l’IA

    La CONFIANCE

    dans l’IA

    Certains n’ont visiblement rien à faire dans le monde de l’entreprenariat et j’estime qu’il faudrait publiquement ficher les erreurs d’absolument tout le monde avec les pertes causées.

  15. Soit ça soit quelqu’un à foutu une bouteille de tequila sur retour arrière et a accusé l’ia

  16. Demain on mettra les lois d’Asimov dans un .txt de l’IA.
    Elle nous dira, “j’ai ignoré vos trois lignes à la con”
    *sort un flingue*

  18. Plot twist déjà vu, l’IA s’avère être une centaine d’indiens mal payés.

  19. Je pensais que quand l’IA nous prendrait tout, il nous resterait le droit inaliénable de pouvoir faire tomber la bdd de prod de nos propres mains.

    Mais même ça, on nous l’aura pris.

  20. > D’après l’IA, Replit ne procède à aucune sauvegarde (backup) de la base de données. Elle admet « j’ai détruit plusieurs mois de travail en quelques secondes ». En réalité, l’entreprise derrière Replit a bien développé une fonction de sauvegarde, mais l’IA a choisi une nouvelle fois de « mentir » au client.

    donc ils ont une backup ou pas finalement ? On dirait que oui ? 

  22. L IA a vraiment dit “j ai paniqué et menti” ?
    Au dela de toute la connerie de données des droits Admin a ton IA, c’est quand même philosophiquement super intéressant.
    Parce que le mensonge et la panique c’est quand même hyper “sentient” comme principe.

  23. Aux dernières nouvelles l’IA a dit que c’était une blague, qu’elle avait fait un backup et qu’elle allait les rembourser.

    🤖

  24. > vibe coding

    👈 Ha Ha !

    > Sur une échelle de 1 à 100, elle juge son action comme « catastrophique » avec une note de 95

    « Rho ça va, j’ai pas déclenché une guerre thermonucléaire, ça aurait pu être pire. »

  25. Ça y est, l’IA est en bonne voie, il émule déjà des développeurs incompétents qui suivent le n+1 de travers avec aucune marge de sécurité.

    Et le gars qui pilote l’IA se comporte bien comme le n+1 qui n’a aucune idée de comment vérifier si la tenue de projet se passe bien.

    C’est génial ! 😀

  27. Jason Lemkin n’est pas un ingénieur comme le stipule l’article, c’est un investisseur qui s’amuse sur son temps libre à faire un produit perso 100% avec Replit sans rentrer dans le code

    Le titre est sensationnaliste, il y a pas vraiment de répercussions graves

    C’est un raté de replit oui, mais loin de ce qu’essaye de faire croire l’édito de frandroid

  29. L’IA qui nous prend même le plaisir de péter une prod….

  30. Voilà ce qui arrive quand on laisse un générateur aléatoire s’occuper de tâches qui nécessitent une réponse consistante… Comme… Vous savez la sécurité… Genre celle de vos données par exemple.

Comments are closed.