<div dir="ltr"><div><div><div>In general I would completely agree with your position with regards safety critical products, but it is interesting to note that  it is not always a rational way of looking at the issue. Please don't get me wong here, I am not at all suggesting we have a careless attitude to designing safety critical products.<br>
<br></div>If we have a life saving product that will save 1000 people per year, but it has a bug that will kill 5 people per year then the cautionary approach would be to delay release until we have ironed out the bug that kills 5 people. Meanwhile we are not saving those other 1000 people per year, so by withholding the product we are letting people die. Such delays in the name of safety can actually cause more problems than they solve.<br>
<br></div>We see a similar thing happening after Sept 11th when planes were grounded in the interests of public safety and later when people chose not to fly. This lead to more car usage and approx 1500 more car deaths in USA than in the previous or next year.<br>
<br></div><div>We get worried about electronics & software failing in a braking system and such, but are less worried about mechanical failures (eg. broken cables) which are far more common.<br></div><div><br></div>As a species we have a very irrational way of looking at risk, and, back to my main point, lawyers exploit that irrationality to make it really hard to release new products.<br>
<br></div><div class="gmail_extra"><br><br><div class="gmail_quote">On Tue, Oct 15, 2013 at 1:45 PM, Helmut Walle <span dir="ltr"><<a href="mailto:helmut.walle@gmail.com" target="_blank">helmut.walle@gmail.com</a>></span> wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">On 10/15/2013 10:57 AM, Charles Manning wrote:<br>
<blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
[...]<br>
An extreme case of that is Therac25 which had a software bug during the first 2 years of operation. This caused 6 known cases of overdose which caused 3 deaths. Of course nobody writes about the thousands on lives that the machines saved during that time because that is not newsworthy. Did the company get lauded for saving thousands of lives? No, they got taken to the cleaners for the three deaths.<br>

<br>
Some people would argue that the Therac25 should have been better tested. Maybe. But it is worth considering that the machines were saving dozens of lives a day and delaying the release would have caused more deaths. Applying the "common good" principle, any delays in the release should be avoided.<br>

[...]<br>
</blockquote>
<br>
Safety-critical systems need to be developed as such. There are key concepts, standards and frameworks that can, and in many cases must, be followed. Based on many costly and sometimes fatal lessons learnt, a lot of work has gone into developing suitable development practices to make all kinds of products safer. For quite a while now, there have been system and software safety regulations (i.e. effective laws in the legal sense) that apply to various kinds of products, including aircraft, cars, medical equipment (like the Therac, but also wheelchairs, hospital beds, drugs, etc.), whiteware and many other things.<br>

<br>
If you look at the Therac-25 case in more detail, you will find that these incidents where patients were burnt and irradiated badly, should never have happened, and if the system had been developed under one of today's mandatory frameworks, they would never have happened. Today's technical systems are more complex and have more software than yesterday's. And so far, we haven't come up with any method to guarantee that a piece of software is free of bugs. But we have learnt a whole lot about neat development processes and practices, about QA, risk analysis, etc. And that is what puts us into quite a good position to develop complex systems to a high safety standard. Hindsight is a wonderful thing...<br>

<br>
Unfortunately, sometimes safety regulations aren't followed fully for cost or time reasons, and bad things do still happen. But at least there is a lot of formal responsibility that the makers of potentially hazardous equipment have to accept by law. Good manufacturers take this responsibility very seriously.<br>

<br>
Kind regards,<br>
<br>
Helmut.<br>
<br>
______________________________<u></u>_________________<br>
Chchrobotics mailing list <a href="mailto:Chchrobotics@lists.linuxnut.co.nz" target="_blank">Chchrobotics@lists.linuxnut.<u></u>co.nz</a><br>
<a href="http://lists.ourshack.com/mailman/listinfo/chchrobotics" target="_blank">http://lists.ourshack.com/<u></u>mailman/listinfo/chchrobotics</a><br>
Mail Archives: <a href="http://lists.ourshack.com/pipermail/chchrobotics/" target="_blank">http://lists.ourshack.com/<u></u>pipermail/chchrobotics/</a><br>
Web site: <a href="http://kiwibots.org" target="_blank">http://kiwibots.org</a><br>
Meetings 3rd Monday each month at Tait Radio Communications, 175 Roydvale Ave, 6.30pm<br>
<br>
When replying, please edit your Subject line to reflect new content.<br>
</blockquote></div><br></div>