moduli.c

   1 /* $OpenBSD: moduli.c,v 1.14 2006/07/22 19:08:54 stevesk Exp $ */
   2 /*
   3  * Copyright 1994 Phil Karn <karn@qualcomm.com>
   4  * Copyright 1996-1998, 2003 William Allen Simpson <wsimpson@greendragon.com>
   5  * Copyright 2000 Niels Provos <provos@citi.umich.edu>
   6  * All rights reserved.
   7  *
   8  * Redistribution and use in source and binary forms, with or without
   9  * modification, are permitted provided that the following conditions
  10  * are met:
  11  * 1. Redistributions of source code must retain the above copyright
  12  *    notice, this list of conditions and the following disclaimer.
  13  * 2. Redistributions in binary form must reproduce the above copyright
  14  *    notice, this list of conditions and the following disclaimer in the
  15  *    documentation and/or other materials provided with the distribution.
  16  *
  17  * THIS SOFTWARE IS PROVIDED BY THE AUTHOR ``AS IS'' AND ANY EXPRESS OR
  18  * IMPLIED WARRANTIES, INCLUDING, BUT NOT LIMITED TO, THE IMPLIED WARRANTIES
  19  * OF MERCHANTABILITY AND FITNESS FOR A PARTICULAR PURPOSE ARE DISCLAIMED.
  20  * IN NO EVENT SHALL THE AUTHOR BE LIABLE FOR ANY DIRECT, INDIRECT,
  21  * INCIDENTAL, SPECIAL, EXEMPLARY, OR CONSEQUENTIAL DAMAGES (INCLUDING, BUT
  22  * NOT LIMITED TO, PROCUREMENT OF SUBSTITUTE GOODS OR SERVICES; LOSS OF USE,
  23  * DATA, OR PROFITS; OR BUSINESS INTERRUPTION) HOWEVER CAUSED AND ON ANY
  24  * THEORY OF LIABILITY, WHETHER IN CONTRACT, STRICT LIABILITY, OR TORT
  25  * (INCLUDING NEGLIGENCE OR OTHERWISE) ARISING IN ANY WAY OUT OF THE USE OF
  26  * THIS SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  27  */
  28
  29 /*
  30  * Two-step process to generate safe primes for DHGEX
  31  *
  32  *  Sieve candidates for "safe" primes,
  33  *  suitable for use as Diffie-Hellman moduli;
  34  *  that is, where q = (p-1)/2 is also prime.
  35  *
  36  * First step: generate candidate primes (memory intensive)
  37  * Second step: test primes' safety (processor intensive)
  38  */
  39
  40 #include "includes.h"
  41
  42 #include <sys/types.h>
  43
  44 #include <openssl/bn.h>
  45
  46 #include <time.h>
  47
  48 #include "xmalloc.h"
  49 #include "log.h"
  50
  51 /*
  52  * File output defines
  53  */
  54
  55 /* need line long enough for largest moduli plus headers */
  56 #define QLINESIZE               (100+8192)
  57
  58 /* Type: decimal.
  59  * Specifies the internal structure of the prime modulus.
  60  */
  61 #define QTYPE_UNKNOWN           (0)
  62 #define QTYPE_UNSTRUCTURED      (1)
  63 #define QTYPE_SAFE              (2)
  64 #define QTYPE_SCHNORR           (3)
  65 #define QTYPE_SOPHIE_GERMAIN    (4)
  66 #define QTYPE_STRONG            (5)
  67
  68 /* Tests: decimal (bit field).
  69  * Specifies the methods used in checking for primality.
  70  * Usually, more than one test is used.
  71  */
  72 #define QTEST_UNTESTED          (0x00)
  73 #define QTEST_COMPOSITE         (0x01)
  74 #define QTEST_SIEVE             (0x02)
  75 #define QTEST_MILLER_RABIN      (0x04)
  76 #define QTEST_JACOBI            (0x08)
  77 #define QTEST_ELLIPTIC          (0x10)
  78
  79 /*
  80  * Size: decimal.
  81  * Specifies the number of the most significant bit (0 to M).
  82  * WARNING: internally, usually 1 to N.
  83  */
  84 #define QSIZE_MINIMUM           (511)
  85
  86 /*
  87  * Prime sieving defines
  88  */
  89
  90 /* Constant: assuming 8 bit bytes and 32 bit words */
  91 #define SHIFT_BIT       (3)
  92 #define SHIFT_BYTE      (2)
  93 #define SHIFT_WORD      (SHIFT_BIT+SHIFT_BYTE)
  94 #define SHIFT_MEGABYTE  (20)
  95 #define SHIFT_MEGAWORD  (SHIFT_MEGABYTE-SHIFT_BYTE)
  96
  97 /*
  98  * Using virtual memory can cause thrashing.  This should be the largest
  99  * number that is supported without a large amount of disk activity --
 100  * that would increase the run time from hours to days or weeks!
 101  */
 102 #define LARGE_MINIMUM   (8UL)   /* megabytes */
 103
 104 /*
 105  * Do not increase this number beyond the unsigned integer bit size.
 106  * Due to a multiple of 4, it must be LESS than 128 (yielding 2**30 bits).
 107  */
 108 #define LARGE_MAXIMUM   (127UL) /* megabytes */
 109
 110 /*
 111  * Constant: when used with 32-bit integers, the largest sieve prime
 112  * has to be less than 2**32.
 113  */
 114 #define SMALL_MAXIMUM   (0xffffffffUL)
 115
 116 /* Constant: can sieve all primes less than 2**32, as 65537**2 > 2**32-1. */
 117 #define TINY_NUMBER     (1UL<<16)
 118
 119 /* Ensure enough bit space for testing 2*q. */
 120 #define TEST_MAXIMUM    (1UL<<16)
 121 #define TEST_MINIMUM    (QSIZE_MINIMUM + 1)
 122 /* real TEST_MINIMUM    (1UL << (SHIFT_WORD - TEST_POWER)) */
 123 #define TEST_POWER      (3)     /* 2**n, n < SHIFT_WORD */
 124
 125 /* bit operations on 32-bit words */
 126 #define BIT_CLEAR(a,n)  ((a)[(n)>>SHIFT_WORD] &= ~(1L << ((n) & 31)))
 127 #define BIT_SET(a,n)    ((a)[(n)>>SHIFT_WORD] |= (1L << ((n) & 31)))
 128 #define BIT_TEST(a,n)   ((a)[(n)>>SHIFT_WORD] & (1L << ((n) & 31)))
 129
 130 /*
 131  * Prime testing defines
 132  */
 133
 134 /* Minimum number of primality tests to perform */
 135 #define TRIAL_MINIMUM   (4)
 136
 137 /*
 138  * Sieving data (XXX - move to struct)
 139  */
 140
 141 /* sieve 2**16 */
 142 static u_int32_t *TinySieve, tinybits;
 143
 144 /* sieve 2**30 in 2**16 parts */
 145 static u_int32_t *SmallSieve, smallbits, smallbase;
 146
 147 /* sieve relative to the initial value */
 148 static u_int32_t *LargeSieve, largewords, largetries, largenumbers;
 149 static u_int32_t largebits, largememory;        /* megabytes */
 150 static BIGNUM *largebase;
 151
 152 int gen_candidates(FILE *, u_int32_t, u_int32_t, BIGNUM *);
 153 int prime_test(FILE *, FILE *, u_int32_t, u_int32_t);
 154
 155 /*
 156  * print moduli out in consistent form,
 157  */
 158 static int
 159 qfileout(FILE * ofile, u_int32_t otype, u_int32_t otests, u_int32_t otries,
 160     u_int32_t osize, u_int32_t ogenerator, BIGNUM * omodulus)
 161 {
 162         struct tm *gtm;
 163         time_t time_now;
 164         int res;
 165
 166         time(&time_now);
 167         gtm = gmtime(&time_now);
 168
 169         res = fprintf(ofile, "%04d%02d%02d%02d%02d%02d %u %u %u %u %x ",
 170             gtm->tm_year + 1900, gtm->tm_mon + 1, gtm->tm_mday,
 171             gtm->tm_hour, gtm->tm_min, gtm->tm_sec,
 172             otype, otests, otries, osize, ogenerator);
 173
 174         if (res < 0)
 175                 return (-1);
 176
 177         if (BN_print_fp(ofile, omodulus) < 1)
 178                 return (-1);
 179
 180         res = fprintf(ofile, "\n");
 181         fflush(ofile);
 182
 183         return (res > 0 ? 0 : -1);
 184 }
 185
 186
 187 /*
 188  ** Sieve p's and q's with small factors
 189  */
 190 static void
 191 sieve_large(u_int32_t s)
 192 {
 193         u_int32_t r, u;
 194
 195         debug3("sieve_large %u", s);
 196         largetries++;
 197         /* r = largebase mod s */
 198         r = BN_mod_word(largebase, s);
 199         if (r == 0)
 200                 u = 0; /* s divides into largebase exactly */
 201         else
 202                 u = s - r; /* largebase+u is first entry divisible by s */
 203
 204         if (u < largebits * 2) {
 205                 /*
 206                  * The sieve omits p's and q's divisible by 2, so ensure that
 207                  * largebase+u is odd. Then, step through the sieve in
 208                  * increments of 2*s
 209                  */
 210                 if (u & 0x1)
 211                         u += s; /* Make largebase+u odd, and u even */
 212
 213                 /* Mark all multiples of 2*s */
 214                 for (u /= 2; u < largebits; u += s)
 215                         BIT_SET(LargeSieve, u);
 216         }
 217
 218         /* r = p mod s */
 219         r = (2 * r + 1) % s;
 220         if (r == 0)
 221                 u = 0; /* s divides p exactly */
 222         else
 223                 u = s - r; /* p+u is first entry divisible by s */
 224
 225         if (u < largebits * 4) {
 226                 /*
 227                  * The sieve omits p's divisible by 4, so ensure that
 228                  * largebase+u is not. Then, step through the sieve in
 229                  * increments of 4*s
 230                  */
 231                 while (u & 0x3) {
 232                         if (SMALL_MAXIMUM - u < s)
 233                                 return;
 234                         u += s;
 235                 }
 236
 237                 /* Mark all multiples of 4*s */
 238                 for (u /= 4; u < largebits; u += s)
 239                         BIT_SET(LargeSieve, u);
 240         }
 241 }
 242
 243 /*
 244  * list candidates for Sophie-Germain primes (where q = (p-1)/2)
 245  * to standard output.
 246  * The list is checked against small known primes (less than 2**30).
 247  */
 248 int
 249 gen_candidates(FILE *out, u_int32_t memory, u_int32_t power, BIGNUM *start)
 250 {
 251         BIGNUM *q;
 252         u_int32_t j, r, s, t;
 253         u_int32_t smallwords = TINY_NUMBER >> 6;
 254         u_int32_t tinywords = TINY_NUMBER >> 6;
 255         time_t time_start, time_stop;
 256         u_int32_t i;
 257         int ret = 0;
 258
 259         largememory = memory;
 260
 261         if (memory != 0 &&
 262             (memory < LARGE_MINIMUM || memory > LARGE_MAXIMUM)) {
 263                 error("Invalid memory amount (min %ld, max %ld)",
 264                     LARGE_MINIMUM, LARGE_MAXIMUM);
 265                 return (-1);
 266         }
 267
 268         /*
 269          * Set power to the length in bits of the prime to be generated.
 270          * This is changed to 1 less than the desired safe prime moduli p.
 271          */
 272         if (power > TEST_MAXIMUM) {
 273                 error("Too many bits: %u > %lu", power, TEST_MAXIMUM);
 274                 return (-1);
 275         } else if (power < TEST_MINIMUM) {
 276                 error("Too few bits: %u < %u", power, TEST_MINIMUM);
 277                 return (-1);
 278         }
 279         power--; /* decrement before squaring */
 280
 281         /*
 282          * The density of ordinary primes is on the order of 1/bits, so the
 283          * density of safe primes should be about (1/bits)**2. Set test range
 284          * to something well above bits**2 to be reasonably sure (but not
 285          * guaranteed) of catching at least one safe prime.
 286          */
 287         largewords = ((power * power) >> (SHIFT_WORD - TEST_POWER));
 288
 289         /*
 290          * Need idea of how much memory is available. We don't have to use all
 291          * of it.
 292          */
 293         if (largememory > LARGE_MAXIMUM) {
 294                 logit("Limited memory: %u MB; limit %lu MB",
 295                     largememory, LARGE_MAXIMUM);
 296                 largememory = LARGE_MAXIMUM;
 297         }
 298
 299         if (largewords <= (largememory << SHIFT_MEGAWORD)) {
 300                 logit("Increased memory: %u MB; need %u bytes",
 301                     largememory, (largewords << SHIFT_BYTE));
 302                 largewords = (largememory << SHIFT_MEGAWORD);
 303         } else if (largememory > 0) {
 304                 logit("Decreased memory: %u MB; want %u bytes",
 305                     largememory, (largewords << SHIFT_BYTE));
 306                 largewords = (largememory << SHIFT_MEGAWORD);
 307         }
 308
 309         TinySieve = xcalloc(tinywords, sizeof(u_int32_t));
 310         tinybits = tinywords << SHIFT_WORD;
 311
 312         SmallSieve = xcalloc(smallwords, sizeof(u_int32_t));
 313         smallbits = smallwords << SHIFT_WORD;
 314
 315         /*
 316          * dynamically determine available memory
 317          */
 318         while ((LargeSieve = calloc(largewords, sizeof(u_int32_t))) == NULL)
 319                 largewords -= (1L << (SHIFT_MEGAWORD - 2)); /* 1/4 MB chunks */
 320
 321         largebits = largewords << SHIFT_WORD;
 322         largenumbers = largebits * 2;   /* even numbers excluded */
 323
 324         /* validation check: count the number of primes tried */
 325         largetries = 0;
 326         q = BN_new();
 327
 328         /*
 329          * Generate random starting point for subprime search, or use
 330          * specified parameter.
 331          */
 332         largebase = BN_new();
 333         if (start == NULL)
 334                 BN_rand(largebase, power, 1, 1);
 335         else
 336                 BN_copy(largebase, start);
 337
 338         /* ensure odd */
 339         BN_set_bit(largebase, 0);
 340
 341         time(&time_start);
 342
 343         logit("%.24s Sieve next %u plus %u-bit", ctime(&time_start),
 344             largenumbers, power);
 345         debug2("start point: 0x%s", BN_bn2hex(largebase));
 346
 347         /*
 348          * TinySieve
 349          */
 350         for (i = 0; i < tinybits; i++) {
 351                 if (BIT_TEST(TinySieve, i))
 352                         continue; /* 2*i+3 is composite */
 353
 354                 /* The next tiny prime */
 355                 t = 2 * i + 3;
 356
 357                 /* Mark all multiples of t */
 358                 for (j = i + t; j < tinybits; j += t)
 359                         BIT_SET(TinySieve, j);
 360
 361                 sieve_large(t);
 362         }
 363
 364         /*
 365          * Start the small block search at the next possible prime. To avoid
 366          * fencepost errors, the last pass is skipped.
 367          */
 368         for (smallbase = TINY_NUMBER + 3;
 369             smallbase < (SMALL_MAXIMUM - TINY_NUMBER);
 370             smallbase += TINY_NUMBER) {
 371                 for (i = 0; i < tinybits; i++) {
 372                         if (BIT_TEST(TinySieve, i))
 373                                 continue; /* 2*i+3 is composite */
 374
 375                         /* The next tiny prime */
 376                         t = 2 * i + 3;
 377                         r = smallbase % t;
 378
 379                         if (r == 0) {
 380                                 s = 0; /* t divides into smallbase exactly */
 381                         } else {
 382                                 /* smallbase+s is first entry divisible by t */
 383                                 s = t - r;
 384                         }
 385
 386                         /*
 387                          * The sieve omits even numbers, so ensure that
 388                          * smallbase+s is odd. Then, step through the sieve
 389                          * in increments of 2*t
 390                          */
 391                         if (s & 1)
 392                                 s += t; /* Make smallbase+s odd, and s even */
 393
 394                         /* Mark all multiples of 2*t */
 395                         for (s /= 2; s < smallbits; s += t)
 396                                 BIT_SET(SmallSieve, s);
 397                 }
 398
 399                 /*
 400                  * SmallSieve
 401                  */
 402                 for (i = 0; i < smallbits; i++) {
 403                         if (BIT_TEST(SmallSieve, i))
 404                                 continue; /* 2*i+smallbase is composite */
 405
 406                         /* The next small prime */
 407                         sieve_large((2 * i) + smallbase);
 408                 }
 409
 410                 memset(SmallSieve, 0, smallwords << SHIFT_BYTE);
 411         }
 412
 413         time(&time_stop);
 414
 415         logit("%.24s Sieved with %u small primes in %ld seconds",
 416             ctime(&time_stop), largetries, (long) (time_stop - time_start));
 417
 418         for (j = r = 0; j < largebits; j++) {
 419                 if (BIT_TEST(LargeSieve, j))
 420                         continue; /* Definitely composite, skip */
 421
 422                 debug2("test q = largebase+%u", 2 * j);
 423                 BN_set_word(q, 2 * j);
 424                 BN_add(q, q, largebase);
 425                 if (qfileout(out, QTYPE_SOPHIE_GERMAIN, QTEST_SIEVE,
 426                     largetries, (power - 1) /* MSB */, (0), q) == -1) {
 427                         ret = -1;
 428                         break;
 429                 }
 430
 431                 r++; /* count q */
 432         }
 433
 434         time(&time_stop);
 435
 436         xfree(LargeSieve);
 437         xfree(SmallSieve);
 438         xfree(TinySieve);
 439
 440         logit("%.24s Found %u candidates", ctime(&time_stop), r);
 441
 442         return (ret);
 443 }
 444
 445 /*
 446  * perform a Miller-Rabin primality test
 447  * on the list of candidates
 448  * (checking both q and p)
 449  * The result is a list of so-call "safe" primes
 450  */
 451 int
 452 prime_test(FILE *in, FILE *out, u_int32_t trials, u_int32_t generator_wanted)
 453 {
 454         BIGNUM *q, *p, *a;
 455         BN_CTX *ctx;
 456         char *cp, *lp;
 457         u_int32_t count_in = 0, count_out = 0, count_possible = 0;
 458         u_int32_t generator_known, in_tests, in_tries, in_type, in_size;
 459         time_t time_start, time_stop;
 460         int res;
 461
 462         if (trials < TRIAL_MINIMUM) {
 463                 error("Minimum primality trials is %d", TRIAL_MINIMUM);
 464                 return (-1);
 465         }
 466
 467         time(&time_start);
 468
 469         p = BN_new();
 470         q = BN_new();
 471         ctx = BN_CTX_new();
 472
 473         debug2("%.24s Final %u Miller-Rabin trials (%x generator)",
 474             ctime(&time_start), trials, generator_wanted);
 475
 476         res = 0;
 477         lp = xmalloc(QLINESIZE + 1);
 478         while (fgets(lp, QLINESIZE, in) != NULL) {
 479                 int ll = strlen(lp);
 480
 481                 count_in++;
 482                 if (ll < 14 || *lp == '!' || *lp == '#') {
 483                         debug2("%10u: comment or short line", count_in);
 484                         continue;
 485                 }
 486
 487                 /* XXX - fragile parser */
 488                 /* time */
 489                 cp = &lp[14];   /* (skip) */
 490
 491                 /* type */
 492                 in_type = strtoul(cp, &cp, 10);
 493
 494                 /* tests */
 495                 in_tests = strtoul(cp, &cp, 10);
 496
 497                 if (in_tests & QTEST_COMPOSITE) {
 498                         debug2("%10u: known composite", count_in);
 499                         continue;
 500                 }
 501
 502                 /* tries */
 503                 in_tries = strtoul(cp, &cp, 10);
 504
 505                 /* size (most significant bit) */
 506                 in_size = strtoul(cp, &cp, 10);
 507
 508                 /* generator (hex) */
 509                 generator_known = strtoul(cp, &cp, 16);
 510
 511                 /* Skip white space */
 512                 cp += strspn(cp, " ");
 513
 514                 /* modulus (hex) */
 515                 switch (in_type) {
 516                 case QTYPE_SOPHIE_GERMAIN:
 517                         debug2("%10u: (%u) Sophie-Germain", count_in, in_type);
 518                         a = q;
 519                         BN_hex2bn(&a, cp);
 520                         /* p = 2*q + 1 */
 521                         BN_lshift(p, q, 1);
 522                         BN_add_word(p, 1);
 523                         in_size += 1;
 524                         generator_known = 0;
 525                         break;
 526                 case QTYPE_UNSTRUCTURED:
 527                 case QTYPE_SAFE:
 528                 case QTYPE_SCHNORR:
 529                 case QTYPE_STRONG:
 530                 case QTYPE_UNKNOWN:
 531                         debug2("%10u: (%u)", count_in, in_type);
 532                         a = p;
 533                         BN_hex2bn(&a, cp);
 534                         /* q = (p-1) / 2 */
 535                         BN_rshift(q, p, 1);
 536                         break;
 537                 default:
 538                         debug2("Unknown prime type");
 539                         break;
 540                 }
 541
 542                 /*
 543                  * due to earlier inconsistencies in interpretation, check
 544                  * the proposed bit size.
 545                  */
 546                 if ((u_int32_t)BN_num_bits(p) != (in_size + 1)) {
 547                         debug2("%10u: bit size %u mismatch", count_in, in_size);
 548                         continue;
 549                 }
 550                 if (in_size < QSIZE_MINIMUM) {
 551                         debug2("%10u: bit size %u too short", count_in, in_size);
 552                         continue;
 553                 }
 554
 555                 if (in_tests & QTEST_MILLER_RABIN)
 556                         in_tries += trials;
 557                 else
 558                         in_tries = trials;
 559
 560                 /*
 561                  * guess unknown generator
 562                  */
 563                 if (generator_known == 0) {
 564                         if (BN_mod_word(p, 24) == 11)
 565                                 generator_known = 2;
 566                         else if (BN_mod_word(p, 12) == 5)
 567                                 generator_known = 3;
 568                         else {
 569                                 u_int32_t r = BN_mod_word(p, 10);
 570
 571                                 if (r == 3 || r == 7)
 572                                         generator_known = 5;
 573                         }
 574                 }
 575                 /*
 576                  * skip tests when desired generator doesn't match
 577                  */
 578                 if (generator_wanted > 0 &&
 579                     generator_wanted != generator_known) {
 580                         debug2("%10u: generator %d != %d",
 581                             count_in, generator_known, generator_wanted);
 582                         continue;
 583                 }
 584
 585                 /*
 586                  * Primes with no known generator are useless for DH, so
 587                  * skip those.
 588                  */
 589                 if (generator_known == 0) {
 590                         debug2("%10u: no known generator", count_in);
 591                         continue;
 592                 }
 593
 594                 count_possible++;
 595
 596                 /*
 597                  * The (1/4)^N performance bound on Miller-Rabin is
 598                  * extremely pessimistic, so don't spend a lot of time
 599                  * really verifying that q is prime until after we know
 600                  * that p is also prime. A single pass will weed out the
 601                  * vast majority of composite q's.
 602                  */
 603                 if (BN_is_prime(q, 1, NULL, ctx, NULL) <= 0) {
 604                         debug("%10u: q failed first possible prime test",
 605                             count_in);
 606                         continue;
 607                 }
 608
 609                 /*
 610                  * q is possibly prime, so go ahead and really make sure
 611                  * that p is prime. If it is, then we can go back and do
 612                  * the same for q. If p is composite, chances are that
 613                  * will show up on the first Rabin-Miller iteration so it
 614                  * doesn't hurt to specify a high iteration count.
 615                  */
 616                 if (!BN_is_prime(p, trials, NULL, ctx, NULL)) {
 617                         debug("%10u: p is not prime", count_in);
 618                         continue;
 619                 }
 620                 debug("%10u: p is almost certainly prime", count_in);
 621
 622                 /* recheck q more rigorously */
 623                 if (!BN_is_prime(q, trials - 1, NULL, ctx, NULL)) {
 624                         debug("%10u: q is not prime", count_in);
 625                         continue;
 626                 }
 627                 debug("%10u: q is almost certainly prime", count_in);
 628
 629                 if (qfileout(out, QTYPE_SAFE, (in_tests | QTEST_MILLER_RABIN),
 630                     in_tries, in_size, generator_known, p)) {
 631                         res = -1;
 632                         break;
 633                 }
 634
 635                 count_out++;
 636         }
 637
 638         time(&time_stop);
 639         xfree(lp);
 640         BN_free(p);
 641         BN_free(q);
 642         BN_CTX_free(ctx);
 643
 644         logit("%.24s Found %u safe primes of %u candidates in %ld seconds",
 645             ctime(&time_stop), count_out, count_possible,
 646             (long) (time_stop - time_start));
 647
 648         return (res);
 649 }