[Alex S]

Думаю, что вопрос можно считать закрытым. Вот конечный результат:

Код:

!include Colors.nsh

!include LogicLib.nsh
!define /IfNDef CC_ANYCOLOR 0x00000100
!define /IfNDef CC_FULLOPEN 0x00000002

OutFile "colors.exe"
ShowInstDetails show

Section
System::Call '*(&l4, p $hWndParent, p0, i0, @r0, i ${CC_ANYCOLOR}|${CC_FULLOPEN}, p, p0, p0)p.r1'
System::Call 'COMDLG32::ChooseColorA(pr1)i.r0'
${If} $0 <> 0
System::Call '*$1(i,p,p,i.r0)'
IntFmt $0 "%.6X" $0
StrCpy $9 $0
${EndIf}
System::Free $1

${GetRvalueX} $0 "$9"
${GetGvalueX} $1 "$9"
${GetBvalueX} $2 "$9"

#HexToDecimal((RRR*1)+(GGG*256)+(BBB*65536))
IntOp $R3 $0 * 1
IntOp $R4 $1 * 256
IntOp $R5 $2 * 65536
IntOp $R6 $R3 + $R4
IntOp $R7 $R6 + $R5
MessageBox MB_OK " Hex: $9 $\n RGB: $0,$1,$2 $\n Decimal: $R7"
SectionEnd