Чат-бот оказался слишком убедительным.
67-летний фермер из китайского городского округа Чучжоу уничтожил почти весь урожай кунжута, следуя рекомендациям ИИ по борьбе с сорняками и вредителями. Мужчина использовал ИИ около года и за несколько месяцев убедился, что советы нейросети могут быть полезными. В результате это привело к ошибке, которая обернулась потерей примерно 10 гектаров посевов.
Фермер по фамилии Ву обратился к ИИ с запросом о защите кунжутной культуры от сорняков и вредителей. Нейросеть предложила рецепт обработки поля, в который вошли «высокоэффективный флупириметалин», «флусульфасульфаэфир», а также тиаметоксазин и метиловая соль. Ву не стал консультироваться с агрономами или самостоятельно проверять полученную информацию.
Последствия проявились на следующий день. После обработки погибли не только сорняки, но и всходы кунжута.
«Если опрыскать, на следующий день всходы не выживут», — рассказал фермер.
По его словам, растения погибали даже быстрее, чем сорняки.
Ву снова обратился к нейросети, чтобы выяснить причины случившегося. На этот раз ИИ предположил, что проблема могла быть связана с «флусульфасульфаэфиром».
Как отмечают специалисты в области сельского хозяйства, это вещество в основном применяют для борьбы с широколистными сорняками на соевых полях. Кунжут также относится к широколистным растениям, и потому гербицид может оказать влияние и на него. Более того, такое средство предназначено для обработки отдельных участков, а не для опрыскивания всего поля.
Фермер заявил, что нейросеть не предупредила его о возможных последствиях применения смеси. При этом на странице чата было предупреждение о том, что ответы ИИ могут быть ошибочными и нуждаются в проверке.
История Ву подчеркивает одну из основных проблем современных нейросетей: убедительный и детализированный ответ не означает, что он является правильным. ИИ может предоставить конкретную инструкцию даже в случаях, когда ошибка может привести к серьезным последствиям. В данном случае доверие к инструменту сформировалось после нескольких месяцев успешных рекомендаций, поэтому фермер решил без дополнительной проверки следовать и потенциально опасному совету.
<div class="mediaPollEmbed" data-prerendered><noscript><section><h2>Опрос «Календарь: анатомия рабочего дня»</h2><p>12 вопросов</p><form method="POST" action="https://media-poll.mail.ru/api/a4a052f6-2e66-5ef9-a2af-223ad1dcc37c"><fieldset><legend>Что лучше всего описывает вашу работу?</legend><label><input type="radio" name="30069" value="103883"/>В найме, и в моем дне есть встречи и созвоны онлайн</label><br/><label><input type="radio" name="30069" value="103884"/>Фрилансер или самозанятый, встречи и созвоны есть</label><br/><label><input type="radio" name="30069" value="103885"/>Работаю, но встреч и созвонов почти не бывает</label><br/><label><input type="radio" name="30069" value="103886"/>Сейчас не работаю</label><br/></fieldset><button type="submit">Далее</button></form></section></noscript></div><script type="text/javascript">(function(window){var mediaPoll=(window.mediaPoll=window.mediaPoll||{});var container=document.currentScript.previousElementSibling;var uuid="a4a052f6-2e66-5ef9-a2af-223ad1dcc37c";mediaPoll.loadAPIPromise=mediaPoll.loadAPIPromise||new Promise((resolve,reject)=>{const loadScript=(onload,onerror)=>{var head=document.getElementsByTagName('head')[0];var script=document.createElement('script');script.async=true;script.onload=onload;script.onerror=onerror;script.src='https://media-poll.mail.ru/-/1785419438635/embed/main.js';head.appendChild(script)};loadScript(resolve,()=>{mediaPoll.loadAPIPromise=null;reject()})});mediaPoll.loadAPIPromise.then(()=>{window.mediaPoll.render(uuid,container)})})(window)</script>
Фото: hi-tech.mail.ru