Глянец во многом зависит от формы, дешёвые его не дают. Насчёт растительного масла и моющих средств вместо пластификатора ничего не скажу, никогда так не делал

Формы смазываю обычной отработкой, тут главное не переборщить...если много намазать будут пятна на изделии. Пластификатор и красители беру "не дешёвые"...
Насчёт пропорций...мешаем 4 песка,2 цемента и 6 щебня (отсева, если будете брать более крупную фракцию возможны трещины ). Края могут осыпаться из-за отсутствия пластификатора, большого кол-ва цемента или недосушки.
Как вариант попробуйте залить несколько деталей с разными пропорциями.
Попробуйте подольше вибрировать, и варьировать время сушки. Также при снятии формы если туго идёт грейте феном (аккуратненько, чтобы не пропалить) те места где форма "прилипла"