Beskedet kom vid ett besök i Cincinnati. Donald Trump betonade dock att den formella utnämningen kommer först på måndag.
James Mattis har sagt att ett svar på "politisk islam" är den viktigaste säkerhetsfrågan som USA står inför, och han har ofta uttalat att Washington saknar en generell strategi i Mellanöstern.
För att James Mattis ska kunna utnämnas till försvarsminister måste dock kongressen besluta om ett undantag från en federal lag som säger att försvarsministrar inte får ha varit i aktiv militärtjänst inom sju år före utnämningen.
Kongressen har gjort ett sådant undantag undantag tidigare när generalen George C Marshall utnämndes till försvarsminister 1950.