Крайне интересная и поучительная статья

[pascendi]

В частности, рассмтариваются проблемы определения назначения системы и того, как допущения по умолчанию приводят к неожиданным результатам, если она имеет способность к самообучению.

Затронуты и другие проблемы: устойчивости системы при изменении внешних условий (robustness), то есть универсальности ее самообучения, и того, как добиться от нее правильных действий (assurance) путем мониторинга и ПРИНУЖДЕНИЯ (enforcement) к корректной работе :-)

Весьма распространяемо на человеческие системы.

Спасибо новому френду evan_gcrm за наводку.