precision

47La chaleur

4Répondre

Régler la précision d'affichage d'un flotteur en Ruby

Est-il possible de définir la précision d'affichage d'un flotteur en Ruby? Quelque chose comme: z = 1/3 z.to_s #=> 0.33333333333333 z.to_s(3) #=> 0.333 z.to_s(5) #=> 0.33333 Ou dois-je remplacer

1La chaleur

2Répondre

Valider la plage de valeurs doubles et l'étape

J'essaie de construire un algorithme qui valide qu'une valeur double est un membre d'une plage définie avec des valeurs min, max et step. Le problème est de vérifier que la valeur obéit à la règle de

2La chaleur

3Répondre

La précision GPS dans le kit de carte n'est pas aussi précise que dans Maps.app

Pourquoi la précision de ma localisation dans Mapkit n'est-elle pas aussi bonne que dans l'application maps? La précision est réglée au mieux. Si j'essaie d'obtenir mon emplacement dans maps.app j'ai

9La chaleur

2Répondre

limite la précision sur std :: Cout des valeurs par défaut dans boost :: options_description

Quand je construis un coup de pouce :: instance options_description comme options.add_options() ("double_val", value(&config.my_double)->default_value(0.2), "it's a double"); et que vous voulez

0La chaleur

3Répondre

Stocker et renvoyer des nombres décimaux avec une précision saisie par l'utilisateur dans SQL Server

Est-ce que le type de données SQL Server decimal stockait le nombre réel de chiffres après le nombre décimal pour chaque valeur dans une colonne? Par exemple UPDATE [Mixes] SET [Concentration] = 0.001

0La chaleur

1Répondre

Spring queryForLong - Perte de précision

J'ai une application Spring exécutée sur une base de données MySql. J'ai une table de vente comme: +-------------------+------------------------------+------+-----+---------+-------+ | Field | Typ

2La chaleur

1Répondre

La notation scientifique affecte-t-elle la précision de Perl?

J'ai rencontré un comportement étrange en Perl. La soustraction suivante devrait donner zéro résultat (ce qu'il fait en Python): print 7.6178E-01 - 0.76178 -1.11022302462516e-16 Pourquoi faut-il se

8La chaleur

4Répondre

Pourquoi Math.sqrt (i * i) .floor == i?

Je me demande si cela est vrai: Quand je prends la racine carrée d'un nombre entier au carré, comme dans f = Math.sqrt(123*123) je vais obtenir un nombre à virgule flottante très proche de 123. En r

1La chaleur

2Répondre

ODP pilote ADO.NET renvoie décimal avec zéro supplémentaire dans la représentation de chaîne

Le problème d'aujourd'hui est le suivant: nous avons une table dans une base de données Oracle. La table contient un champ de type Number (18, 3). Sur la surface, les données d'enregistrement et de ch

8La chaleur

1Répondre

Comment puis-je définir le niveau de précision pour le bignum de Perl?

J'essaie d'utiliser le module bignum en Perl et je veux définir la précision. Je sais que cela peut être fait par une doublure aussi détaillée sur le module's CPAN page: $ perl -Mbignum=p,-50 -le 'pri