Aby rozpocząć budowę zamku, należało dokonać plantacji ziemi, czyli zdjęcia warstewki gleby pokrywającej podłoże skalne, co pozwoliło, aby architektura miała stworzone solidne fundamenty. Dzięki swojemu położeniu do budowy zamku dość łatwo pozyskiwano materiał. Mury, to piaskowiec, który można było pozyskać z pokładów, które znajdowały się w okolicy, cegły produkowano z okolicznej gliny, natomiast dolomity- zostały pobrane po wyrównywaniu placu na którym miał stać zamek. Legenda głosi, że przy budowie pracowali jeńcy wojenni, ale nie zostało to nigdy potwierdzone. Wyryta na ścianie zamku tablica głosi, że budowa zakończona została po dwudziestu czterech latach, czyli w 1644. Jednak prawdopodobnie było to oddanie stanu surowego budynku, reszta prac wykończeniowych trwała znacznie dłużej. Pewnie ze względu na przepych zaprojektowanych wnętrz, oraz ogrom założenia ogrodowego wokół pałacu. Uważa się, że Krzysztof Ossoliński nie miał sposobności dożyć do końca prac, więc nigdy nie zobaczyłby swego dzieła.