precision

0La chaleur

5Répondre

J'ai un code, et je ne le comprends pas. Je développe une application dont la précision est très importante. mais ce n'est pas important pour .NET, pourquoi? Je ne sais pas. double value = 3.5; Messa

5La chaleur

3Répondre

en virgule flottante Limitations

Mon code: a = '2.3' je voulais afficher a comme une valeur en virgule flottante. Depuis a est une chaîne, j'ai essayé: float(a) Le résultat je suis arrivé était: 2.2999999999999998 Je veux une s

18La chaleur

5Répondre

Quelle est la bibliothèque standard (ou la mieux supportée) de grand nombre (précision arbitraire) pour Lua?

Je travaille avec de grands nombres que je ne peux pas arrondir. En utilisant la bibliothèque mathématique standard de Lua, il semble qu'il n'y ait aucun moyen pratique de conserver la précision au-de

17La chaleur

5Répondre

Représentation d'entiers dans des doubles

Un double (d'un nombre donné d'octets, avec une balance mantisse/exposant raisonnable) peut-il toujours contenir exactement la plage d'un entier non signé de la moitié de ce nombre d'octets? E.g. un o

3La chaleur

2Répondre

Perte de précision sur GMP mpf_add. Où sont passés mes chiffres?

Je sommateurs deux flotteurs négatifs: char * lhs = "-2234.6016114467412141"; char * rhs = "-4939600281397002.2812"; Selon Perl, en utilisant bignum et Math :: BigFloat, la réponse est -49396002813

5La chaleur

5Répondre

Comment écrire un prototype pour Number.toFixed en JavaScript?

J'ai besoin pour arrondir les nombres décimaux à six endroits en utilisant JavaScript, mais je dois considérer les navigateurs existants pour que je can't rely on Number.toFixed La grosse prise avec t

4La chaleur

5Répondre

Dans quelles unités de mesure stockez-vous les données d'ingénierie?

Dans notre application, nous vivons actuellement avec l'héritage d'une décision de stocker toutes les données d'ingénierie dans notre base de données dans SI. Je crains que nous ne courions le risque