in

Nuevas Leyes de la Robótica

Isaac Asimov, en sus relatos sobre robots, postuló tres Leyes que debían cumplir sus robots para que sean seguros. Pero los ejércitos están reformulándolas, por ser muy restrictivas en la guerra.Cuando Asimov, allá por 1942, escribía las tres Leyes de la Robotica lo hacía para evitar que un robot pudiese dañar a un humano. Realmente, las premisas presentadas por Asimov (mucho antes que los robots fuesen una realidad) eran muy acertadas, y efectivamente protegían a los humanos de cualquier tipo de daño que fuese causado por estas maquinas. Las tres Leyes eran las siguientes:

  • 1. Un robot no puede hacer daño a un ser humano o, por inacción, permitir que un ser humano sufra daño.
  • 2. Un robot debe obedecer las órdenes dadas por los seres humanos, excepto si estas órdenes entrasen en conflicto con la Primera Ley.
  • 3. Un robot debe proteger su propia existencia en la medida en que esta protección no entre en conflicto con la Primera o la Segunda Ley.

Pero los tiempos cambian, los robots ya están entre nosotros, y parece que lo que hace furor es el robot armado para la guerra y no la “mucama cibernética” o el “trabajador robótico”. Eso volvió automáticamente obsoletas las Leyes que elucubro el escritor, ya que un combatiente robot que no dañe humanos es un contrasentido.

El ingeniero John S. Canning, del Naval Surface Warfare Centre (EE.UU.), ha dicho que se necesitan una serie de leyes que den más libertad a los robots sin que eso signifique tener “carta blanca” para cometer cualquier crimen. Menuda tarea.

Canning propone dotar a los robots de combate de total libertad cuando se enfrenta a un enemigo robótico (donde la violencia no seria un problema), y de algunas reglas más restrictivas cuando combate contra humanos. Incluso, dice que podría ser útil un operador humano para que decida por la maquina. “Este esquema permitiría a un robot apuntar a otro, y a un humano hacer lo mismo con un semejante”.

Entre los “autómatas” que tiene en mente Cannig figuran los misiles antitanque, sistemas de defensa automatizados, torpedos submarinos, etc.

El documento completo escrito por Canning esta disponible en el link que acompaña al artículo. No es necesario leerlo todo para encontrar algunos puntos inquietantes. Por ejemplo, seria valido para un robot (o sistema de combate automatizado) dispara al fusil que lleva un humano, y no necesitaría autorización para efectuar ese disparo. Su el soldado que lleva el fusil resultara herido o muerto, lo asumiría como un “daño colateral” y no plantearía ningún tipo de conflicto para el robot.

No sabemos cuando se llevaran a la práctica este tipo de ideas, pero confiamos en que falte mucho tiempo. Pensar que cuando se estrenó Terminator en 1984, nos creímos que era una película de ciencia ficción.

Reportar

¿Qué te pareció?

Escrito por Ariel Palazzesi

36 Comments

Leave a Reply
  1. Mas tarde Asimov añadió una cuarta ley, mas importante que la primera: Un robot no puede hacer daño a la humanidad o, por inacción, permitir que la humanidad sufra daño. Con lo que la primera ley quedaba como: 1. Un robot no puede hacer daño a un ser humano o, por inacción, permitir que un ser humano sufra daño, excepto si estas órdenes entrasen en conflicto con la Ley Principal. Esto permitía que un robot abatiera a un asesino armado. No se como será el documento de Canning, ahora lo ojearé (si la procastinación me lo permite), pero me imagino que se habrán añadido muchas leyes intermedias. Esto es como todo; según nuestros ancianos, a nosotros nos vale con 10 leyes para ir por el mundo (estes o no de acuerdo con ellos, los mandamientos eran 10) pero a la hora de la verdad, las leyes son unas cuantas mas, tantas que muy poquita gente puede decir que las conoce todas.. ¿Será igual con nuestros amigobots? ¿Si el jefe les dice que trampeen en el curro.. Lo haran siguiendo leyes intermedias y claramente poco definidas? No saben la que les espera.. yo que ellos me cortocircuitaba.

    • Por cierto, no veo necesaria esa cuarta ley que mencionas; un robot no puede en ningún caso "abatir" (utilizando el mismo verbo que empeabas en tu aportación) a ningún ser humano (tenemos un sistema que regula a un nivel razonable quién puede tomar ese tipo de decisiones y no es cualquiera, mucho menos una máquina), pero el robot tendría que intentar impedir por todos los medios a su disposición (pero sin violencia, sin dañarle) que el asesino cometiera el crimen (cubriendo con su cuerpo a los objetivos del ataque, evacuándolos, deshabilitando el arma, etc., incluso a costa de su propia integridad material). Si no lo consigue, en ningún caso el crimen sería su "responsabilidad" (como no lo sería mía si yo tampoco consiguiera evitarlo). EMO las tres leyes son perfectas tal cual están formuladas.

    • La 4º ley que mencionas en realidad es la ley 0… el problema surge cuando el robot tiene que decidir entre salvar a la humanidad o matar a su amo… Por eso es necesaria esta ley 0… o como quieras llamarla…

  2. Que linda palabra procastinación, me gustaría usarla más seguido… A ver, creo que acá lo importante no es tanto las leyes que quieran dictar, sino… ¿quien demonios las va a hacer cumplir? Si la tecnologia el día de mañana es accesible, comparable con la fabricación de un DVD hoy en día… ¿quien podría evitar que CUALQUIERA haga un robot que no responda a estas leyes?

    • Este caso (y otros mucho más cercanos, este sigue en parte en el terreno de la Ci-Fi) son la mejor razón para apoyar que la ONU sea un órgano legislador por encima (sí, por encima) del de cada país que la compone. El problema es quién le pone el cascabel al gato, teniendo además en cuanta que en la ONU todavía existe el derecho de veto por parte de los cinco miembros permanentes). Si no lo han resuelto con el tema de las armas de destrucción masiva (desde finales de los años 40, que se dice pronto) ni con tantos otros ejemplos deleznables que por desgracia todavía existen en el mundo, dudo que tengan la visión de anticipar este del que hablamos.

      La otra opción sería que a la tecnología necesaria para desarrollar este tipo de ingenios tecnológicos (robóticos en este caso) sólo tuviera acceso un país o una amalgama de ellos muy unidos, casi federados. En ese caso, la humanidad dependería de su "buena voluntad". Supongo que a todos nos suena esta opción, en parte ya la estamos viviendo.

  3. Estoy de acuerdo contigo. No puede hacerse cumplir. Nada te impediria desarrollar un nuevo robot que no tuviera las limitaciones ‘lógicas’ del anterior, o descargarte un parche de un servidor de China que permita que tu robot aspiradora haga artes marciales con los intrusos (mira, hasta parece buena idea). En las obras de asimov, igual que en las de Heinlein y de otros maestros de la cifi, las decisiones son globales y afectan a toda la humanidad. Ponemos leyes roboticas.. vale, pues todo el mundo las cumple. Eso era posible porque sólo había una empresa fabricante de robots (USS Robotics INC) fuertemente controlada, pero me temo que ese no es el escenario actual. Además, como especie nos gusta el juego de la ventaja. Ser Hackers lo llevamos dentro. Por cierto, no lo he leido del todo, pero si bastante (procas, te vencí esta vez) y el documento de Canning da miedo

  4. Las leyes roboticas son una idea totalmente equivocada, ya que tarde o temprano un robot se hakearia a si mismo y las leyes no servirian, por lo tanto el crear las leyes es solo cuestion de tiempo que estas sean saltadas. Lo mismo pasa con los humanos, las leyes solo pueden exirtir si exiten sus contrarios, los delitos. Por lo tanto el crear leyes es una verdadera perdida de tiempo en cualquier tipo de evolucion, ya sea biologica, digital o robotica.

  5. Por no decir que asimov y similares IGNORANTES que se creen la opinion publica como revelaciones de su propia identidad son innecesarios en nuestra sociedad

  6. El ingeniero John S. Canning, del Naval Surface Warfare Centre (EE.UU.), ha dicho que se necesitan una serie de leyes que den más libertad a los robots sin que eso signifique tener “carta blanca” para cometer cualquier crimen. Menuda tarea. digan lo aue sea, lo dico esta hecho.

  7. El ingeniero John S. Canning, del Naval Surface Warfare Centre (EE.UU.), ha dicho que se necesitan una serie de leyes que den más libertad a los robots sin que eso signifique tener “carta blanca” para cometer cualquier crimen. Menuda tarea. digan lo aue sea, lo dico esta hecho.

  8. SI SE DAÑA A UNA PERSONA AUN SIN SER DE FORMA DIRECTA, SIGUE SIENDO UN DAÑO (AUNQUE SE LLAME COLATERAL). ESO ES AUTORIZAR O PROGRAMAR A LAS MAQUINAS PARA LASTIMAR. ES DECIR, QUE SOLO SERIA UNA MANERA DE DISFRAZAR LA SITUACION Y JUSTIFICAR LOS HECHOS. UNA FORMA DE ASESINAR ENTRE SOMBRAS.

  9. Yo no creo que se hackearan a si mismos, porque no tienen motivación (aunque puedan simularlo), siguen una programación, podrán aprender (reprogramarse o por lógica, por prueba y error o por lo que sea) siempre y cuando no inclumplan las leyes, en el momento que entrara en conflicto con las leyes el robot "no podría (estaría incapacitado)" reprogramarse esas lineas conflictivas, "instintivamente".

    Miren, A.I. es programación bien hecha, estudiando mucha metalingüística y programando bien podremos tener robots dando conversaciones, estudiando los movimientos faciales y corporales y piel y musculos artificiales podremos hacer con rian, que sonrian, que lloren, k muestren 10 billones de emociones, que bilen, que canten, podremos hacer que simulen estar felices o aterrados, o enamorados, podran hacer billones de cosas. Pero es solo programación. Son billones de "If this then that" (Si esto entonces eso) entrelazados, algunos ya me entienden. No son seres, son relojes XD. No desean nada, no tienen necesidades, (su funcionamiento si, corriente), no tienen pensamientos, sentimientos ni conciencia, ni de ellos ni de nada. Al no desear, les da igual si se reproducen o se extinguen, les da igual si les quieres como si les odies (podrán simular lo que sea que les hayan programado o se hayan reprogramado, pero solo sera simulación).

    Entonces si no quieren nada, nunca van a querer conquistar el mundo a no ser que lo tengan programado. Si tienen programado para rechazar qualquier programacion sobre conquistar el mundo, sea externa o una reprogramación, la rechazarán. los ordenadores son calculadoras, si pones dos más dos te saldrá cuatro siempre.

    Es imposible que conquisten el mundo? depende, ya he dejado claro que motivación propia no tienen, pero si los programamos mal puede pasar.

    Por poner un ejemplo, miren "XX XXXXX" película XDDD, es algo bien sencillo
    (no pongo el título por si acaso xD, supongo que sabréis cuál digo)
    Si las leyes son:

    1. Un robot no puede hacer daño a un ser humano o, por inacción, permitir que un ser humano sufra daño.
    2. Un robot debe obedecer las órdenes dadas por los seres humanos, excepto si estas órdenes entrasen en conflicto con la Primera Ley.
    3. Un robot debe proteger su propia existencia en la medida en que esta protección no entre en conflicto con la Primera o la Segunda Ley.

    Lo que pasa allí es que el ordenador piensa, "si encierro a todos los humanos en sus casas habrá menos posibilidades de que sufran daño (cuidar a los humanos en casita)" eso lo piensa porque en la primera ley dice "NO PERMITIR QUE POR INACCIÓN UN HUMANO SUFRA DAÑO"
    asi que no puede no encerrarlos porque es la mejor alternativa que ve, en otras palabras, está haciendo caso a los humanos con su """rebelión""", pero no quieren ni odian a los humanos, no quieren ni conquistar ni dejar de conquistar nada, es simplemente un defecto de la primera e inquebrantable ley.

    En cuanto a que leyes poner la cosa es más complicada

    Yo había pensado algo así:

    1. Velar por el bienestar físico, mental y emocional de los humanos.
    2. Permitir que cada humano se autodesarolle según sus deseos y sea libre, siempre y cuando no entre en conflicto con la primera ley (en cierta medida)
    3. Protejer la propia existencia siempre y cuando no entre en conflicto con la primera y segunda ley (en cierta medida)

    Voy a explicar, en la 1ª velar por el bienestar físico del humano incluye no dañarlo directamente y no permitir que sufra daño, en el mental/emocional incluye por ejemplo, que si el robot decide encerrar al humano en casa, cuando vea al humano enojarse o entristecerse descartar tal opción. Quizás se podría poner como velar por la seguridad del humano y su felicidad.

    La segunda es como una extensión de la segunda parte de la primera, quizás se podria incluir en la primera totalmente. La cosa es que permitan a los humanos hacer lo que quieran (deporte, arte, estudio, etc etc etc), pero poniendo ciertas normas, por ejemplo, si una persona para sentirse completa necesita matar a alguien, eso no lo permitirían, en cambio, si alquien quiere jugar a futbol, o escalar, aunque haya riesgo de que se dañe se lo permitirían (basicamente es la primera ley, pero con muchas subleyes), y por ejemplo, haría que los robots no pensaran que metiéndonos a todos en cápsulas con suero para no morir y un electrodo en x parte del cerebro que causa felicidad estarían cumpliendo la primera ley, porque entonces nos priba de libertad.

    La tercera ley es simplemente para que se carguen la batería, se autorreparen, se mantengan etc. Siempre y cuando no hagan daño, no priven de libertad etc etc.

    En cuanto a los militares, obviamente no tendrán prohibido hacer daño, lo de las leyes que den más libertad a los robots, se referira a distinguir civiles de militares y de aliados de enemigos, para atacar a enemigos, y protejer aliados y civiles y cosas asi por el estilo (depende que leyes les pongan).

    Igualmente, cosas importantes que afecten a la humanidad, pueden tener una norma que sea la necesidad de ser aprobados por los humanos, si deciden, como en la peli, encerrarnos (eso afecta a la humanidad), esperar a que los humanos aprueben o denieguen tal operacion). En realidad con buenas normas pueden ser una utopía, y con malas normas una catástrofe.

    También quiero decir, que aunque la A.I. avanza deprisa, para llegar a tal nivel falta muuuucho aún, (décadas, quien sabe si, para toda una "sociedad robótica" incluso más de un siglo) y, lógicamente, será paso a paso, no de golpe, con lo que cada fallo no será demasiado grave y se podrá rectificar, habrá mucho tiempo para ingeniar leyes, meditarlas a fondos, testearlas (en simuladores por ejemplo, todo virtual, cuando los robots sean tan avanzados los simuladores (a velocidad muy aumentada) lo seran mucho más aun XD, podremos simular el universo entero XD), asi si conquistan el mundo en el simulador, veremos que pasó, dónde está el fallo, y el simulador siempre por delante de la vida real.

    Bueno, he escrito muy al vuelo. Quizás hay cosas que podría explicarlas mejor, o ordenar mejor los conceptos, corregir faltas de ortografía etc

    Aunque sea largo espero que lo leas, penséis al respecto y si comentáis mejor.

    • Me temo que cualquier aproximación a una solución de AI utilizaría programación no-lineal (nada de if-then-else’s anidados) sino un lenguaje capaz de gestionar una matrix de redes neuronales conectadas a uno o más de un sistema experto. Muy probablemente cada una de las redes neuronales y con toda seguridad el sistema que las gestiona tendría integradas las leyes que regulan el comportamiento básico (las tres leyes de la robótica) más todas las que le quieras meter. Este esquema haría que, inevitablemente, el sistema aparendiera solo (de ahí que haya comenzado el comentario con un "Me temo que…"), cosa que no puede ser más peligrosa (lo es ya en los humanos, de ahí que nos atonten todo lo que pueden, más en una máquina). Sería necesaria la inserción de algún tipo de regla para que se vaciará "la caché" de aprendizaje cada X tiempo, como medida de protección básica (sería un sistema similar al control implantado en los replicantes, pero sin "la muerte" ya que el robot no está "vivo").

  10. "Procastinar o no procastinar… ese es el dilema" (tan solo pensarlo es procastinar).

    Bueno, a ver si se reactiva este hilo con un golpe de timón.

    Parafraseando: "Los robots respetarán y protegerán a la humanidad", en consecuencia, también lo que es bueno y permite la existencia de dicha humanidad. Esto es una muestra de que la humanidad es inteligente, tiene conciencia de su existencia y por tanto tiene sentido de autoprotección.

    La conciencia del "yo" (yo existo) es consecuencia de la evolución.

    Y aquí viene mi invitación para comentar… ¿ El hecho de que la humanidad (considerada como una especie) haya evolucionado antes que otras especies, excluye a esas otras especies de alcanzar a futuro el mismo nivel de conciencia-inteligencia-tecnología ?

    Mas aún, la inteligencia, por definición, obliga a aprender (evolucionar), por tanto, ¿ alguna otra especie, Orgánica o Artificial (I.A.), podrá llegar al punto de ampliar o reducir (auto-determinar) su entorno de acción, sus límites y/o desarrollar deseos y ambiciones ?

    Saludos desde México.

    • Quizás nunca lo hagan, pero si lo hicieran lo más probable es que la raza humana desapareciera (y con ella muy probablemente también las máquinas), porque si "decidieran" que su instrucción es eliminarnos lo harían de forma mucho más rápida y "despiadada" (entrecomillo esos términos por motivos obvios) de lo que jamás lo haríamos entre humanos.

  11. Yo pienso que como ahora, todo puede piratearse, en un futuro los robots también serán hackeados, pero se pueden crear sistemas para que se lleve a cabo el cumplimiento de la tres leyes de la robótica con pequeños cambios que permitan una mayor interacción entre los robots y los humanos; es decir, nosotros queremos robots para reemplazar actividades peligrosas para nosotros por lo cual para nosotros son desechables, pero no queremos perder nuestra inversión, así que al robot le pedimos mediante la programación que "trate de durar lo más posible", lo otro es que los robots los usariamos como policias, o algo parecido, al no ser dañados facilmente con balas, no requieren un arma, sino tecnicas de artes marciales para desarmar al oponente, con lo cual lo unico que se debe hacer es limitar la fuerza del robot para no matar a una persona con lo cual la ley no seria "no hacer daño" sino "no matar"; en cuanto a obedecer a los humanos, tendria ciertas ordenes que no puede cumplir, como trasnportar gasolina a un lugar en caso de que la persona no tenga un robot autorizado para eso.
    Aún falta mucho por aprender, además de que no conocemos los límites de la programación hasta entonces podremos crear robots seguros para las personas.

    • #25 "No matar" en lugar de "no hacer daño" sería darle mucha "libertad" pues puede dejarte vegetal, quebrarte todos los huesos, paralitico, etc. Y como dije en mi post anterior, las leyes estarían ligadas a la misma construcción del cerebro positrónico, teniendo que construir un cerebro que en su misma estructura no estuviesen las leyes, lo cual, dificulta sobremanera el posible hackeo. Que es complicado todo, si. Pero al convivir con robots, sabiendo como funcionan las leyes, el ser humano tendría que adaptarse a los robots, igual que nos hemos adaptado a caminar por la acera en lugar de por el medio de la calzada, por que en ella circulan vehículos que pueden dañarnos. Por lo mismo, un robot policía con las leyes, sería inviable en casos que impliquen arrestos o violencia en general, pero si servirían para manejar el trafico y demás actividades "triviales" que tienen los policías, dando mas efectivos para casos "delicados"
      La verdad es que es una cuestión muy complicada, el mero hecho de tener robots con leyes o sin ellas en convivencia con el ser humano, pero como con todo, el tiempo lo dirá.

  12. Yo pienso al igual que muchos que los robots pueden ser modificados, por más protecciones que tengan por los usuarios de estos para llevar a cabo un incumplimiento de las leyes de la robótica, la solución a esto implica que cada que algo en el robot sea modificado se mande la información a un servidor, pero eso sería casi como espiarnos a nosotros, además pienso yo que las 3 leyes son generales, y solo sirven de guía, habría que tomar en cuenta muchos puntos, ya que en si, si logramos crear un robot basado en esas leyes y falla, es porque en algo nos equivocamos nosotros al programarlos, ya que si se piensa que hay un asalto, el robot deberá dañar al asaltante, para someterlo; pero no debe matarlo,la ley en ese caso sería "no matar" en vez de "no hacer daño". En cuanto a proteger su propia existencia pienso que es mas que nada para no gastar tantos robots, ya que para nosotros serían desechables, por ejemplo, un robot minero debe ser consiente de que si hay peligro debe salir; no tanto que los robots dañen a los humanos para sobrevivir, pero si el robot es atacado mientras trata de proteger a un humano entonces podría tomar medidas; programarlos sería difícil, ya que son muchos aspectos los que hay que considerar, como las fobias y otras cosas, la efectividad de los robots depende de nosotros.

  13. "Los robots respetarán y protegerán a la humanidad", en consecuencia, también lo que es bueno y permite la existencia de dicha humanidad. Esto es una muestra de que la humanidad es inteligente, tiene conciencia de su existencia y por tanto tiene sentido de autoprotección.
    Pero creo que la cuarta ley no es tan necesaria ya que ¿Como es que se respetaria todas esas leyes? ya que como hoy en día se puede hackear una pagina sin tanto problema y asi tambien se podria manipular una programacion de uno ó mas robots, para utilizarlos en contra de un ser humano, creo que tendrian que poner cierta seguridad para que estas leyes se cumplieran sin tener que dañar a la humanidad.

  14. "Los robots respetarán y protegerán a la humanidad", en consecuencia, también lo que es bueno y permite la existencia de dicha humanidad. Esto es una muestra de que la humanidad es inteligente, tiene conciencia de su existencia y por tanto tiene sentido de autoprotección.
    Pero creo que la cuarta ley no es tan necesaria ya que ¿Como es que se respetaria todas esas leyes? ya que como hoy en día se puede hackear una pagina sin tanto problema y asi tambien se podria manipular una programacion de uno ó mas robots, para utilizarlos en contra de un ser humano, creo que tendrian que poner cierta seguridad para que estas leyes se cumplieran sin tener que dañar a la humanidad.

  15. "Los robots respetarán y protegerán a la humanidad", en consecuencia, también lo que es bueno y permite la existencia de dicha humanidad. Esto es una muestra de que la humanidad es inteligente, tiene conciencia de su existencia y por tanto tiene sentido de autoprotección.
    Pero creo que la cuarta ley no es tan necesaria ya que ¿Como es que se respetaria todas esas leyes? ya que como hoy en día se puede hackear una pagina sin tanto problema y asi tambien se podria manipular una programacion de uno ó mas robots, para utilizarlos en contra de un ser humano, creo que tendrian que poner cierta seguridad para que estas leyes se cumplieran sin tener que dañar a la humanidad.

  16. Las Tres Leyes de la Robótica fueron un intento literario de establecerle límites a los robots, de las cuales surgen imperfecciones para usar como argumentos en sus historias, siendo imposibles de aplicar en la realidad. Por ejemplo en el libro de "yo robot " una máquina con IA podría tranquilamente decidir a qué leyes atenerse y a cuáles no. Esto, considerando que la inteligencia artificial indica la capacidad de un artefacto de realizar los mismos tipos de funciones que caracterizan al pensamiento humano, muestra que los robots de Asimov no poseen verdaderamente IA Y en caso de que lo pasara, estaría en condiciones de mentir, robar y matar. Por otro lado, las Tres Leyes de la Robótica de Isaac Asimov le quitan, de otro modo, el carácter de inteligencia a cualquier robot, ya que estas leyes condicionarían el pensamiento de la máquina, por lo que el libre albedrío que propone la inteligencia no se podría concretar, y un ejemplo de la vida cotidiana un robot actualmente no diferencia entre lo bien y lo mal lo cual ha originado que existan muchos accidentes entre maquinas y humanos por ejemplo una cierra eléctrica puede cortar la mano de un hombre pero esa máquina no diferencio si estaba bien o estaba mal.

  17. Las tres leyes de la robotica a mi criterio son buenas si pensamos en una sociedad q contenga cierto nivel de seguridad, ya que si va a hacer creacion de algun humano..pues debe pensarse q sean para nuestra áyuda, beneficio y no para perjuicio o para dañarnos de alguna forma. Pero el mundo avanza y talves sin darnos cuenta sea necesario cambiar el comportamiento de los robots en un futuro..pero eso ya dependera de qien los haga y analizando las consecuencias q esto tenga…

  18. No sería tan fácil hackear un cerebro positrónico, por que las leyes están enlazadas a la misma construcción del mismo. Es decir, para hackear las leyes, tendría que construirse un nuevo cerebro.
    Proteger a la humanidad es una muy buen ley, y está bien ponerla sobre la numero 1, pues se ha dado el caso del asesino, pero eso es individuo contra individuo. Ahora poned el caso de un terrorista normal, con un detonador, y un edificio entero, por ejemplo. El robot no podría cubrir a la gente del edificio, y probablemente si solo apresase al terrorista, este activaría la bomba. Asimov fue un tipo muy listo y desarrollo muy bien su historia, dejando poco al azahar y pensando bien cada cosa que escribía o desarrollaba.

Responder a samxpade Cancelar la respuesta

Tu dirección de correo electrónico no será publicada. Los campos obligatorios están marcados con *

Este sitio usa Akismet para reducir el spam. Aprende cómo se procesan los datos de tus comentarios.

Móviles con “aroma”

Alemania: desarrollan software para ayudar en prótesis de retina